.. | .. |
---|
8 | 8 | */ |
---|
9 | 9 | |
---|
10 | 10 | #include <bpf/libbpf.h> |
---|
11 | | -#include "perf.h" |
---|
12 | 11 | #include "debug.h" |
---|
13 | 12 | #include "bpf-loader.h" |
---|
14 | 13 | #include "bpf-prologue.h" |
---|
15 | 14 | #include "probe-finder.h" |
---|
16 | 15 | #include <errno.h> |
---|
| 16 | +#include <stdlib.h> |
---|
17 | 17 | #include <dwarf-regs.h> |
---|
18 | 18 | #include <linux/filter.h> |
---|
19 | 19 | |
---|
.. | .. |
---|
142 | 142 | gen_read_mem(struct bpf_insn_pos *pos, |
---|
143 | 143 | int src_base_addr_reg, |
---|
144 | 144 | int dst_addr_reg, |
---|
145 | | - long offset) |
---|
| 145 | + long offset, |
---|
| 146 | + int probeid) |
---|
146 | 147 | { |
---|
147 | 148 | /* mov arg3, src_base_addr_reg */ |
---|
148 | 149 | if (src_base_addr_reg != BPF_REG_ARG3) |
---|
.. | .. |
---|
159 | 160 | ins(BPF_MOV64_REG(BPF_REG_ARG1, dst_addr_reg), pos); |
---|
160 | 161 | |
---|
161 | 162 | /* Call probe_read */ |
---|
162 | | - ins(BPF_EMIT_CALL(BPF_FUNC_probe_read), pos); |
---|
| 163 | + ins(BPF_EMIT_CALL(probeid), pos); |
---|
163 | 164 | /* |
---|
164 | 165 | * Error processing: if read fail, goto error code, |
---|
165 | 166 | * will be relocated. Target should be the start of |
---|
.. | .. |
---|
241 | 242 | gen_prologue_slowpath(struct bpf_insn_pos *pos, |
---|
242 | 243 | struct probe_trace_arg *args, int nargs) |
---|
243 | 244 | { |
---|
244 | | - int err, i; |
---|
| 245 | + int err, i, probeid; |
---|
245 | 246 | |
---|
246 | 247 | for (i = 0; i < nargs; i++) { |
---|
247 | 248 | struct probe_trace_arg *arg = &args[i]; |
---|
.. | .. |
---|
276 | 277 | stack_offset), pos); |
---|
277 | 278 | |
---|
278 | 279 | ref = arg->ref; |
---|
| 280 | + probeid = BPF_FUNC_probe_read_kernel; |
---|
279 | 281 | while (ref) { |
---|
280 | 282 | pr_debug("prologue: arg %d: offset %ld\n", |
---|
281 | 283 | i, ref->offset); |
---|
| 284 | + |
---|
| 285 | + if (ref->user_access) |
---|
| 286 | + probeid = BPF_FUNC_probe_read_user; |
---|
| 287 | + |
---|
282 | 288 | err = gen_read_mem(pos, BPF_REG_3, BPF_REG_7, |
---|
283 | | - ref->offset); |
---|
| 289 | + ref->offset, probeid); |
---|
284 | 290 | if (err) { |
---|
285 | 291 | pr_err("prologue: failed to generate probe_read function call\n"); |
---|
286 | 292 | goto errout; |
---|