| .. | .. |
|---|
| 68 | 68 | goto bail; |
|---|
| 69 | 69 | } |
|---|
| 70 | 70 | wqe = rvt_get_swqe_ptr(qp, qp->s_last); |
|---|
| 71 | | - qib_send_complete(qp, wqe, IB_WC_WR_FLUSH_ERR); |
|---|
| 71 | + rvt_send_complete(qp, wqe, IB_WC_WR_FLUSH_ERR); |
|---|
| 72 | 72 | goto done; |
|---|
| 73 | 73 | } |
|---|
| 74 | 74 | |
|---|
| .. | .. |
|---|
| 161 | 161 | |
|---|
| 162 | 162 | case OP(SEND_FIRST): |
|---|
| 163 | 163 | qp->s_state = OP(SEND_MIDDLE); |
|---|
| 164 | | - /* FALLTHROUGH */ |
|---|
| 164 | + fallthrough; |
|---|
| 165 | 165 | case OP(SEND_MIDDLE): |
|---|
| 166 | 166 | len = qp->s_len; |
|---|
| 167 | 167 | if (len > pmtu) { |
|---|
| .. | .. |
|---|
| 185 | 185 | |
|---|
| 186 | 186 | case OP(RDMA_WRITE_FIRST): |
|---|
| 187 | 187 | qp->s_state = OP(RDMA_WRITE_MIDDLE); |
|---|
| 188 | | - /* FALLTHROUGH */ |
|---|
| 188 | + fallthrough; |
|---|
| 189 | 189 | case OP(RDMA_WRITE_MIDDLE): |
|---|
| 190 | 190 | len = qp->s_len; |
|---|
| 191 | 191 | if (len > pmtu) { |
|---|
| .. | .. |
|---|
| 351 | 351 | goto no_immediate_data; |
|---|
| 352 | 352 | else if (opcode == OP(SEND_ONLY_WITH_IMMEDIATE)) |
|---|
| 353 | 353 | goto send_last_imm; |
|---|
| 354 | | - /* FALLTHROUGH */ |
|---|
| 354 | + fallthrough; |
|---|
| 355 | 355 | case OP(SEND_MIDDLE): |
|---|
| 356 | 356 | /* Check for invalid length PMTU or posted rwqe len. */ |
|---|
| 357 | 357 | if (unlikely(tlen != (hdrsize + pmtu + 4))) |
|---|
| .. | .. |
|---|
| 359 | 359 | qp->r_rcv_len += pmtu; |
|---|
| 360 | 360 | if (unlikely(qp->r_rcv_len > qp->r_len)) |
|---|
| 361 | 361 | goto rewind; |
|---|
| 362 | | - qib_copy_sge(&qp->r_sge, data, pmtu, 0); |
|---|
| 362 | + rvt_copy_sge(qp, &qp->r_sge, data, pmtu, false, false); |
|---|
| 363 | 363 | break; |
|---|
| 364 | 364 | |
|---|
| 365 | 365 | case OP(SEND_LAST_WITH_IMMEDIATE): |
|---|
| .. | .. |
|---|
| 385 | 385 | if (unlikely(wc.byte_len > qp->r_len)) |
|---|
| 386 | 386 | goto rewind; |
|---|
| 387 | 387 | wc.opcode = IB_WC_RECV; |
|---|
| 388 | | - qib_copy_sge(&qp->r_sge, data, tlen, 0); |
|---|
| 388 | + rvt_copy_sge(qp, &qp->r_sge, data, tlen, false, false); |
|---|
| 389 | 389 | rvt_put_ss(&qp->s_rdma_read_sge); |
|---|
| 390 | 390 | last_imm: |
|---|
| 391 | 391 | wc.wr_id = qp->r_wr_id; |
|---|
| .. | .. |
|---|
| 400 | 400 | wc.dlid_path_bits = 0; |
|---|
| 401 | 401 | wc.port_num = 0; |
|---|
| 402 | 402 | /* Signal completion event if the solicited bit is set. */ |
|---|
| 403 | | - rvt_cq_enter(ibcq_to_rvtcq(qp->ibqp.recv_cq), &wc, |
|---|
| 404 | | - ib_bth_is_solicited(ohdr)); |
|---|
| 403 | + rvt_recv_cq(qp, &wc, ib_bth_is_solicited(ohdr)); |
|---|
| 405 | 404 | break; |
|---|
| 406 | 405 | |
|---|
| 407 | 406 | case OP(RDMA_WRITE_FIRST): |
|---|
| .. | .. |
|---|
| 441 | 440 | wc.ex.imm_data = ohdr->u.rc.imm_data; |
|---|
| 442 | 441 | goto rdma_last_imm; |
|---|
| 443 | 442 | } |
|---|
| 444 | | - /* FALLTHROUGH */ |
|---|
| 443 | + fallthrough; |
|---|
| 445 | 444 | case OP(RDMA_WRITE_MIDDLE): |
|---|
| 446 | 445 | /* Check for invalid length PMTU or posted rwqe len. */ |
|---|
| 447 | 446 | if (unlikely(tlen != (hdrsize + pmtu + 4))) |
|---|
| .. | .. |
|---|
| 449 | 448 | qp->r_rcv_len += pmtu; |
|---|
| 450 | 449 | if (unlikely(qp->r_rcv_len > qp->r_len)) |
|---|
| 451 | 450 | goto drop; |
|---|
| 452 | | - qib_copy_sge(&qp->r_sge, data, pmtu, 1); |
|---|
| 451 | + rvt_copy_sge(qp, &qp->r_sge, data, pmtu, true, false); |
|---|
| 453 | 452 | break; |
|---|
| 454 | 453 | |
|---|
| 455 | 454 | case OP(RDMA_WRITE_LAST_WITH_IMMEDIATE): |
|---|
| .. | .. |
|---|
| 479 | 478 | } |
|---|
| 480 | 479 | wc.byte_len = qp->r_len; |
|---|
| 481 | 480 | wc.opcode = IB_WC_RECV_RDMA_WITH_IMM; |
|---|
| 482 | | - qib_copy_sge(&qp->r_sge, data, tlen, 1); |
|---|
| 481 | + rvt_copy_sge(qp, &qp->r_sge, data, tlen, true, false); |
|---|
| 483 | 482 | rvt_put_ss(&qp->r_sge); |
|---|
| 484 | 483 | goto last_imm; |
|---|
| 485 | 484 | |
|---|
| .. | .. |
|---|
| 495 | 494 | tlen -= (hdrsize + pad + 4); |
|---|
| 496 | 495 | if (unlikely(tlen + qp->r_rcv_len != qp->r_len)) |
|---|
| 497 | 496 | goto drop; |
|---|
| 498 | | - qib_copy_sge(&qp->r_sge, data, tlen, 1); |
|---|
| 497 | + rvt_copy_sge(qp, &qp->r_sge, data, tlen, true, false); |
|---|
| 499 | 498 | rvt_put_ss(&qp->r_sge); |
|---|
| 500 | 499 | break; |
|---|
| 501 | 500 | |
|---|