| .. | .. |
|---|
| 8 | 8 | */ |
|---|
| 9 | 9 | |
|---|
| 10 | 10 | #include <bpf/libbpf.h> |
|---|
| 11 | | -#include "perf.h" |
|---|
| 12 | 11 | #include "debug.h" |
|---|
| 13 | 12 | #include "bpf-loader.h" |
|---|
| 14 | 13 | #include "bpf-prologue.h" |
|---|
| 15 | 14 | #include "probe-finder.h" |
|---|
| 16 | 15 | #include <errno.h> |
|---|
| 16 | +#include <stdlib.h> |
|---|
| 17 | 17 | #include <dwarf-regs.h> |
|---|
| 18 | 18 | #include <linux/filter.h> |
|---|
| 19 | 19 | |
|---|
| .. | .. |
|---|
| 142 | 142 | gen_read_mem(struct bpf_insn_pos *pos, |
|---|
| 143 | 143 | int src_base_addr_reg, |
|---|
| 144 | 144 | int dst_addr_reg, |
|---|
| 145 | | - long offset) |
|---|
| 145 | + long offset, |
|---|
| 146 | + int probeid) |
|---|
| 146 | 147 | { |
|---|
| 147 | 148 | /* mov arg3, src_base_addr_reg */ |
|---|
| 148 | 149 | if (src_base_addr_reg != BPF_REG_ARG3) |
|---|
| .. | .. |
|---|
| 159 | 160 | ins(BPF_MOV64_REG(BPF_REG_ARG1, dst_addr_reg), pos); |
|---|
| 160 | 161 | |
|---|
| 161 | 162 | /* Call probe_read */ |
|---|
| 162 | | - ins(BPF_EMIT_CALL(BPF_FUNC_probe_read), pos); |
|---|
| 163 | + ins(BPF_EMIT_CALL(probeid), pos); |
|---|
| 163 | 164 | /* |
|---|
| 164 | 165 | * Error processing: if read fail, goto error code, |
|---|
| 165 | 166 | * will be relocated. Target should be the start of |
|---|
| .. | .. |
|---|
| 241 | 242 | gen_prologue_slowpath(struct bpf_insn_pos *pos, |
|---|
| 242 | 243 | struct probe_trace_arg *args, int nargs) |
|---|
| 243 | 244 | { |
|---|
| 244 | | - int err, i; |
|---|
| 245 | + int err, i, probeid; |
|---|
| 245 | 246 | |
|---|
| 246 | 247 | for (i = 0; i < nargs; i++) { |
|---|
| 247 | 248 | struct probe_trace_arg *arg = &args[i]; |
|---|
| .. | .. |
|---|
| 276 | 277 | stack_offset), pos); |
|---|
| 277 | 278 | |
|---|
| 278 | 279 | ref = arg->ref; |
|---|
| 280 | + probeid = BPF_FUNC_probe_read_kernel; |
|---|
| 279 | 281 | while (ref) { |
|---|
| 280 | 282 | pr_debug("prologue: arg %d: offset %ld\n", |
|---|
| 281 | 283 | i, ref->offset); |
|---|
| 284 | + |
|---|
| 285 | + if (ref->user_access) |
|---|
| 286 | + probeid = BPF_FUNC_probe_read_user; |
|---|
| 287 | + |
|---|
| 282 | 288 | err = gen_read_mem(pos, BPF_REG_3, BPF_REG_7, |
|---|
| 283 | | - ref->offset); |
|---|
| 289 | + ref->offset, probeid); |
|---|
| 284 | 290 | if (err) { |
|---|
| 285 | 291 | pr_err("prologue: failed to generate probe_read function call\n"); |
|---|
| 286 | 292 | goto errout; |
|---|