| .. | .. |
|---|
| 88 | 88 | } |
|---|
| 89 | 89 | clear_ahg(qp); |
|---|
| 90 | 90 | wqe = rvt_get_swqe_ptr(qp, qp->s_last); |
|---|
| 91 | | - hfi1_send_complete(qp, wqe, IB_WC_WR_FLUSH_ERR); |
|---|
| 91 | + rvt_send_complete(qp, wqe, IB_WC_WR_FLUSH_ERR); |
|---|
| 92 | 92 | goto done_free_tx; |
|---|
| 93 | 93 | } |
|---|
| 94 | 94 | |
|---|
| .. | .. |
|---|
| 140 | 140 | qp, wqe->wr.ex.invalidate_rkey); |
|---|
| 141 | 141 | local_ops = 1; |
|---|
| 142 | 142 | } |
|---|
| 143 | | - hfi1_send_complete(qp, wqe, err ? IB_WC_LOC_PROT_ERR |
|---|
| 143 | + rvt_send_complete(qp, wqe, err ? IB_WC_LOC_PROT_ERR |
|---|
| 144 | 144 | : IB_WC_SUCCESS); |
|---|
| 145 | 145 | if (local_ops) |
|---|
| 146 | 146 | atomic_dec(&qp->local_ops_pending); |
|---|
| .. | .. |
|---|
| 216 | 216 | |
|---|
| 217 | 217 | case OP(SEND_FIRST): |
|---|
| 218 | 218 | qp->s_state = OP(SEND_MIDDLE); |
|---|
| 219 | | - /* FALLTHROUGH */ |
|---|
| 219 | + fallthrough; |
|---|
| 220 | 220 | case OP(SEND_MIDDLE): |
|---|
| 221 | 221 | len = qp->s_len; |
|---|
| 222 | 222 | if (len > pmtu) { |
|---|
| .. | .. |
|---|
| 241 | 241 | |
|---|
| 242 | 242 | case OP(RDMA_WRITE_FIRST): |
|---|
| 243 | 243 | qp->s_state = OP(RDMA_WRITE_MIDDLE); |
|---|
| 244 | | - /* FALLTHROUGH */ |
|---|
| 244 | + fallthrough; |
|---|
| 245 | 245 | case OP(RDMA_WRITE_MIDDLE): |
|---|
| 246 | 246 | len = qp->s_len; |
|---|
| 247 | 247 | if (len > pmtu) { |
|---|
| .. | .. |
|---|
| 271 | 271 | ps->s_txreq->ss = &qp->s_sge; |
|---|
| 272 | 272 | ps->s_txreq->s_cur_size = len; |
|---|
| 273 | 273 | hfi1_make_ruc_header(qp, ohdr, bth0 | (qp->s_state << 24), |
|---|
| 274 | | - mask_psn(qp->s_psn++), middle, ps); |
|---|
| 274 | + qp->remote_qpn, mask_psn(qp->s_psn++), |
|---|
| 275 | + middle, ps); |
|---|
| 275 | 276 | return 1; |
|---|
| 276 | 277 | |
|---|
| 277 | 278 | done_free_tx: |
|---|
| .. | .. |
|---|
| 413 | 414 | goto no_immediate_data; |
|---|
| 414 | 415 | else if (opcode == OP(SEND_ONLY_WITH_IMMEDIATE)) |
|---|
| 415 | 416 | goto send_last_imm; |
|---|
| 416 | | - /* FALLTHROUGH */ |
|---|
| 417 | + fallthrough; |
|---|
| 417 | 418 | case OP(SEND_MIDDLE): |
|---|
| 418 | 419 | /* Check for invalid length PMTU or posted rwqe len. */ |
|---|
| 419 | 420 | /* |
|---|
| .. | .. |
|---|
| 426 | 427 | qp->r_rcv_len += pmtu; |
|---|
| 427 | 428 | if (unlikely(qp->r_rcv_len > qp->r_len)) |
|---|
| 428 | 429 | goto rewind; |
|---|
| 429 | | - hfi1_copy_sge(&qp->r_sge, data, pmtu, false, false); |
|---|
| 430 | + rvt_copy_sge(qp, &qp->r_sge, data, pmtu, false, false); |
|---|
| 430 | 431 | break; |
|---|
| 431 | 432 | |
|---|
| 432 | 433 | case OP(SEND_LAST_WITH_IMMEDIATE): |
|---|
| .. | .. |
|---|
| 449 | 450 | if (unlikely(wc.byte_len > qp->r_len)) |
|---|
| 450 | 451 | goto rewind; |
|---|
| 451 | 452 | wc.opcode = IB_WC_RECV; |
|---|
| 452 | | - hfi1_copy_sge(&qp->r_sge, data, tlen, false, false); |
|---|
| 453 | + rvt_copy_sge(qp, &qp->r_sge, data, tlen, false, false); |
|---|
| 453 | 454 | rvt_put_ss(&qp->s_rdma_read_sge); |
|---|
| 454 | 455 | last_imm: |
|---|
| 455 | 456 | wc.wr_id = qp->r_wr_id; |
|---|
| .. | .. |
|---|
| 475 | 476 | wc.dlid_path_bits = 0; |
|---|
| 476 | 477 | wc.port_num = 0; |
|---|
| 477 | 478 | /* Signal completion event if the solicited bit is set. */ |
|---|
| 478 | | - rvt_cq_enter(ibcq_to_rvtcq(qp->ibqp.recv_cq), &wc, |
|---|
| 479 | | - ib_bth_is_solicited(ohdr)); |
|---|
| 479 | + rvt_recv_cq(qp, &wc, ib_bth_is_solicited(ohdr)); |
|---|
| 480 | 480 | break; |
|---|
| 481 | 481 | |
|---|
| 482 | 482 | case OP(RDMA_WRITE_FIRST): |
|---|
| .. | .. |
|---|
| 515 | 515 | wc.ex.imm_data = ohdr->u.rc.imm_data; |
|---|
| 516 | 516 | goto rdma_last_imm; |
|---|
| 517 | 517 | } |
|---|
| 518 | | - /* FALLTHROUGH */ |
|---|
| 518 | + fallthrough; |
|---|
| 519 | 519 | case OP(RDMA_WRITE_MIDDLE): |
|---|
| 520 | 520 | /* Check for invalid length PMTU or posted rwqe len. */ |
|---|
| 521 | 521 | if (unlikely(tlen != (hdrsize + pmtu + 4))) |
|---|
| .. | .. |
|---|
| 523 | 523 | qp->r_rcv_len += pmtu; |
|---|
| 524 | 524 | if (unlikely(qp->r_rcv_len > qp->r_len)) |
|---|
| 525 | 525 | goto drop; |
|---|
| 526 | | - hfi1_copy_sge(&qp->r_sge, data, pmtu, true, false); |
|---|
| 526 | + rvt_copy_sge(qp, &qp->r_sge, data, pmtu, true, false); |
|---|
| 527 | 527 | break; |
|---|
| 528 | 528 | |
|---|
| 529 | 529 | case OP(RDMA_WRITE_LAST_WITH_IMMEDIATE): |
|---|
| .. | .. |
|---|
| 550 | 550 | } |
|---|
| 551 | 551 | wc.byte_len = qp->r_len; |
|---|
| 552 | 552 | wc.opcode = IB_WC_RECV_RDMA_WITH_IMM; |
|---|
| 553 | | - hfi1_copy_sge(&qp->r_sge, data, tlen, true, false); |
|---|
| 553 | + rvt_copy_sge(qp, &qp->r_sge, data, tlen, true, false); |
|---|
| 554 | 554 | rvt_put_ss(&qp->r_sge); |
|---|
| 555 | 555 | goto last_imm; |
|---|
| 556 | 556 | |
|---|
| .. | .. |
|---|
| 564 | 564 | tlen -= (hdrsize + extra_bytes); |
|---|
| 565 | 565 | if (unlikely(tlen + qp->r_rcv_len != qp->r_len)) |
|---|
| 566 | 566 | goto drop; |
|---|
| 567 | | - hfi1_copy_sge(&qp->r_sge, data, tlen, true, false); |
|---|
| 567 | + rvt_copy_sge(qp, &qp->r_sge, data, tlen, true, false); |
|---|
| 568 | 568 | rvt_put_ss(&qp->r_sge); |
|---|
| 569 | 569 | break; |
|---|
| 570 | 570 | |
|---|