1
# 查看可用的追踪器
2
cat /sys/kernel/debug/tracing/available_tracers
3
# function function_graph wakeup wakeup_rt wakeup_dl irqsoff preemptoff
4
# preemptirqsoff blk mmiotrace branch nop
5

6
# 启用 function 追踪器
7
echo function > /sys/kernel/debug/tracing/current_tracer
8

9
# 只追踪 schedule 相关函数
10
echo 'fn:schedule*' > /sys/kernel/debug/tracing/set_ftrace_filter
11

12
# 查看追踪结果
13
cat /sys/kernel/debug/tracing/trace
14
#            <...>-1234  [000] d... 100.000: schedule <-schedule_timeout
15
#            <...>-1234  [000] d... 100.001: schedule <-do_nanosleep

1
echo function_graph > /sys/kernel/debug/tracing/current_tracer
2
echo '*schedule*' > /sys/kernel/debug/tracing/set_graph_function
3

4
cat /sys/kernel/debug/tracing/trace
5
# 0)               |  schedule() {
6
# 0)               |    __schedule() {
7
# 0)   0.123 us    |      rcu_note_context_switch();
8
# 0)   1.456 us    |    }
9
# 0)   1.789 us    |  }

1
# 列出所有可用的追踪事件
2
ls /sys/kernel/debug/tracing/events/
3
# block  bpf  cgroup  cpuhp  exceptions  filemap  fs  irq  jbd2
4
# kvm  lock  module  net  nmi  oom  power  printk  random
5
# ras  raw_syscalls  rcu  regulator  rpm  sched  signal  skb
6
# sock  sunrpc  swiotlb  syscalls  task  timer  vmscan  workqueue  writeback
7

8
# 启用调度事件追踪
9
echo 1 > /sys/kernel/debug/tracing/events/sched/sched_switch/enable

1
# 安装 trace-cmd
2
sudo apt install trace-cmd
3

4
# 追踪 sched_switch 事件 5 秒
5
trace-cmd record -e sched:sched_switch -p function_graph sleep 5
6

7
# 查看报告
8
trace-cmd report

1
# 统计命令的所有默认事件
2
perf stat ./my_program
3

4
# 统计缓存命中率
5
perf stat -e cache-references,cache-misses ./my_program
6
#   1,234,567  cache-references
7
#      45,678  cache-misses              # 3.70% of all cache refs
8

9
# 统计整个系统的上下文切换
10
perf stat -e context-switches -a sleep 5

1
# 以 99Hz 频率采样 CPU 性能数据
2
perf record -F 99 -g -- ./my_program
3

4
# 对整个系统采样 10 秒
5
perf record -F 99 -ag -- sleep 10
6

7
# 分析采样数据
8
perf report

1
# 实时显示内核和用户态函数热点
2
sudo perf top
3

4
# 只看内核态热点
5
sudo perf top -k /path/to/vmlinux
6

7
# 指定事件
8
sudo perf top -e cache-misses

1
perf annotate hot_function

1
探针类型:探针标识 /过滤条件/ { 动作 }

1
# 追踪所有 openat 系统调用，打印进程名和文件路径
2
bpftrace -e 'kprobe:__x64_sys_openat { printf("%s -> %s\n", comm, str(arg2)) }'
3

4
# 统计每个进程的 vfs_read 调用次数
5
bpftrace -e 'kprobe:vfs_read { @reads[comm] = count() }'
6

7
# 追踪 vfs_read 的返回值分布（直方图，单位微秒）
8
bpftrace -e 'kprobe:vfs_read { @start[tid] = nsecs }
9
  kretprobe:vfs_read /@start[tid]/ {
10
    @us[comm] = hist((nsecs - @start[tid]) / 1000);
11
    delete(@start[tid])
12
  }'
13

14
# 追踪新进程创建
15
bpftrace -e 'tracepoint:sched:sched_process_exec { printf("%s -> %s\n", comm, str(args->filename)) }'
16

17
# 每秒输出一次系统调用计数
18
bpftrace -e 'tracepoint:raw_syscalls:sys_enter { @syscalls[comm] = count() }
19
  interval:s:1 { print(@syscalls); clear(@syscalls) }'

1
# 追踪块设备 I/O 延迟分布
2
sudo biolatency -m
3
#      msecs           : count    distribution
4
#          0 -> 1      : 1234     |********************|
5
#          1 -> 2      : 56       |*                   |
6
#          2 -> 4      : 12       |                    |
7
#         64 -> 128    : 3        |                    |  ← 异常长尾！

1
sudo biosnoop
2
# TIME(s)     COMM           PID    DISK    T SECTOR     BYTES   LAT(ms)
3
# 1.234       mysqld         1234   sda     R 12345678  8192      0.234
4
# 1.567       mysqld         1234   sda     W 23456789  4096     67.890  ← 异常！

1
sudo execsnoop
2
# PCOMM            PID    PPID   RET  ARGS
3
# bash             12345  12300    0  /bin/bash
4
# curl             12346  12345    0  /usr/bin/curl http://suspicious.com

1
# 追踪指定进程的内存分配/释放不匹配
2
sudo memleak -p 1234
3
# Attaching to pid 1234, Ctrl+C to quit.
4
# ============================================
5
# Stack Traces with Unfreed Allocations:
6
# ============================================
7
# 4096 bytes in 1 allocations from stack
8
#     alloc_handler+0x23  [my_server]
9
#     process_request+0x45  [my_server]
10
#     main_loop+0x12  [my_server]

1
# 安装工具
2
sudo apt install trace-cmd
3

4
# 追踪 schedule 函数的调用图，持续 3 秒
5
sudo trace-cmd record -p function_graph -l schedule sleep 3
6
sudo trace-cmd report | head -50
7

8
# 追踪 sched_switch 事件
9
sudo trace-cmd record -e sched:sched_switch sleep 5
10
sudo trace-cmd report

1
# 安装工具
2
sudo apt install linux-tools-common linux-tools-$(uname -r)
3

4
# 查看缓存命中率
5
perf stat -e cache-references,cache-misses,L1-dcache-loads,L1-dcache-load-misses \
6
  dd if=/dev/zero bs=1M count=1024 | md5sum
7

8
# 采样并生成火焰图（需要 FlameGraph 工具）
9
perf record -F 99 -ag -- sleep 10
10
perf script | stackcollapse-perf.pl | flamegraph.pl > flamegraph.svg
11

12
# 实时查看内核热点
13
sudo perf top -k /boot/vmlinux-$(uname -r)

1
# 安装 bpftrace
2
sudo apt install bpftrace
3

4
# 追踪 openat 系统调用
5
sudo bpftrace -e 'kprobe:__x64_sys_openat { printf("PID=%d COMM=%s FILE=%s\n", pid, comm, str(arg2)) }'
6

7
# 统计每个进程的 vfs_read 调用次数
8
sudo bpftrace -e 'kprobe:vfs_read { @reads[comm] = count() }' -c 'sleep 5'
9

10
# 追踪 TCP 连接建立
11
sudo bpftrace -e 'kprobe:tcp_v4_connect { printf("%s -> %s\n", comm, ntop(arg2)) }'

1
# 安装 BCC
2
sudo apt install bpfcc-tools linux-headers-$(uname -r)
3

4
# 追踪新进程
5
sudo execsnoop-bpfcc
6

7
# 块设备 I/O 延迟直方图
8
sudo biolatency-bpfcc -m
9

10
# 追踪 TCP 重传
11
sudo tcpretrans-bpfcc
12

13
# 内存泄漏检测
14
sudo memleak-bpfcc -p $(pgrep my_server)

1
# 使用 ftrace 追踪 schedule 函数，测量开销
2
echo nop > /sys/kernel/debug/tracing/current_tracer
3
echo 0 > /sys/kernel/debug/tracing/tracing_on
4
# 基准测试
5
perf stat -e cycles,instructions -- dd if=/dev/zero bs=1M count=512 of=/dev/null 2>&1 | tee baseline.txt
6

7
# 启用 ftrace
8
echo function > /sys/kernel/debug/tracing/current_tracer
9
echo 1 > /sys/kernel/debug/tracing/tracing_on
10
# 同样的测试
11
perf stat -e cycles,instructions -- dd if=/dev/zero bs=1M count=512 of=/dev/null 2>&1 | tee ftrace.txt
12

13
# 对比 cycles 差异
14
# 关闭追踪
15
echo nop > /sys/kernel/debug/tracing/current_tracer