1
bpftrace -e '
2
    profile:hz:99 /pid == $1/ {
3
        @[ustack] = count();
4
    }
5
'
6

7
# 使用 perf 采集 Off-CPU 数据
8
perf record -e sched:sched_stat_sleep -p <pid> -- sleep 60

1
perf list
2

3
# 常用事件
4
# instructions      — 指令数
5
# branch-misses     — 分支预测失败

1
# 采集 CPU 性能数据（默认 99 Hz）
2
perf record -g -p <pid> -- sleep 60
3

4
perf record -F 999 -g -p <pid> -- sleep 30
5

6
# 采集特定事件
7
perf record -e cache-misses -g -p <pid> -- sleep 60
8

9
perf record -g -a -- sleep 10
10

11
# 采集 Off-CPU 数据
12
perf record -e sched:sched_stat_sleep -g -p <pid> -- sleep 60

1
perf report
2

3
# 输出调用图
4
perf report --stdio
5

6
perf report --stdio --sort symbol
7

8
# 过滤特定进程
9
perf report --stdio --pid=<pid>

1
perf record -F 99 -g -p <pid> -- sleep 60
2

3
# 2. 折叠调用栈
4
perf script | stackcollapse-perf.pl > out.perf-folded
5

6
flamegraph.pl out.perf-folded > flamegraph.svg
7

8
# 使用 Brendan Gregg 的 FlameGraph 工具
9
git clone https://github.com/brendangregg/FlameGraph.git
10
cd FlameGraph
11
perf script | ./stackcollapse-perf.pl | ./flamegraph.pl > flamegraph.svg

1
# 1. 加载 eBPF 程序到内核
2
# 3. 每次采样时，eBPF 程序：
3
#    b. 采集用户态和内核态调用栈
4
# 4. 用户态定期读取 Map 数据

1
import "github.com/grafana/pyroscope-go"
2

3
func main() {
4
    // 启动 Pyroscope profiling
5
    pyroscope.Start(pyroscope.Config{
6
        ApplicationName: "order-service",
7
        ServerAddress:   "http://pyroscope:4040",
8
        Logger:          pyroscope.StandardLogger,
9
        Tags:            map[string]string{"region": "us-east-1"},
10

11
        ProfileTypes: []pyroscope.ProfileType{
12
            pyroscope.ProfileCPU,
13
            pyroscope.ProfileMemObjects,
14
            pyroscope.ProfileMemInuse,
15
            pyroscope.ProfileGoroutines,
16
            pyroscope.ProfileBlock,
17
            pyroscope.ProfileMutex,
18
        },
19
    })
20

21
    // 应用逻辑...
22
}

1
# 使用 Java Agent（零代码修改）
2
java -javaagent:pyroscope.jar \
3
     -Dpyroscope.application.name=order-service \
4
     -Dpyroscope.server.address=http://pyroscope:4040 \
5
     -jar my-app.jar

1
perf record -e mem-loads -g -p <pid> -- sleep 60
2

3
# 使用 bpftrace 采集 malloc 调用
4
bpftrace -e '
5
    uprobe:/lib/x86_64-linux-gnu/libc.so.6:malloc /pid == $1/ {
6
        @stack[ustack] = sum(arg0);
7
    }
8
'

1
import (
2
    "net/http"
3
    _ "net/http/pprof"  // 自动注册 /debug/pprof 路由
4
)
5

6
func main() {
7
    // 启动 pprof HTTP 端点
8
    go func() {
9
        http.ListenAndServe(":6060", nil)
10
    }()
11

12
    // 应用逻辑...
13
}

1
curl -o cpu.prof http://localhost:6060/debug/pprof/profile?seconds=30
2

3
# 采集堆内存 Profile
4
curl -o heap.prof http://localhost:6060/debug/pprof/heap
5

6
# 采集 goroutine Profile
7
curl -o goroutine.prof http://localhost:6060/debug/pprof/goroutine
8

9
# 采集阻塞 Profile
10
curl -o block.prof http://localhost:6060/debug/pprof/block
11

12
# 采集锁竞争 Profile
13
curl -o mutex.prof http://localhost:6060/debug/pprof/mutex

1
# 交互式分析（命令行）
2
go tool pprof cpu.prof
3
# (pprof) top 10     — 显示 Top 10 热点函数
4
# (pprof) web        — 生成调用图（需要 graphviz）
5
# (pprof) list func  — 查看函数级别的性能数据
6

7
# Web UI 分析
8
go tool pprof -http=:8080 cpu.prof
9

10
# 差分对比
11
go tool pprof -base cpu_before.prof cpu_after.prof

1
// Pyroscope 内部使用 pprof 的方式
2
import (
3
    "runtime/pprof"
4
    "time"
5
)
6

7
func collectAndSend() {
8
    for range time.Tick(10 * time.Second) {
9
        // 采集 CPU Profile
10
        var cpuBuf bytes.Buffer
11
        pprof.StartCPUProfile(&cpuBuf)
12
        time.Sleep(10 * time.Second)
13
        pprof.StopCPUProfile()
14

15
        // 发送到 Pyroscope Server
16
        sendToPyroscope(cpuBuf.Bytes())
17
    }
18
}

1
地址 0x7f3a2b1c3d40 → main.processOrder (order_service.go:142)
2
地址 0x7f3a2b1c4e50 → database.Query (db.go:87)

1
# 编译时保留符号信息
2
go build -o app .
3

4
# 验证符号信息
5
go tool objdump -s "main." app

1
# 编译时添加调试符号
2
gcc -g -O2 -o app app.c
3

4
# 或使用 DWARF 调试信息
5
gcc -gdwarf-4 -O2 -o app app.c
6

7
# strip 后的符号表需要单独保存
8
objcopy --only-keep-debug app app.debug
9
strip -s app
10
objcopy --add-gnu-debuglink=app.debug app

1
优化前: json.Marshal 占 60% CPU
2
优化后: json.Marshal 占 30% CPU, sonic.Marshal 占 10% CPU
3
差分:   json.Marshal -30%, sonic.Marshal +10%, 总 CPU -20%

1
# Parca Agent 资源配置（每个节点）
2
resources:
3
  requests:
4
    cpu: 100m
5
    memory: 128Mi
6
  limits:
7
    cpu: 500m
8
    memory: 512Mi
9

10
# Parca Server 资源配置（根据规模调整）
11
resources:
12
  requests:
13
    cpu: "2"
14
    memory: 4Gi
15
  limits:
16
    cpu: "4"
17
    memory: 8Gi

1
# Parca Agent 采集配置
2
scrape_configs:
3
  - job_name: "kubernetes-pods"
4
    scrape_interval: 10s        # 采集间隔
5
    profiling_config:
6
      cpu:
7
        enabled: true
8
        sample_rate: 19         # 19 Hz（低开销）
9
      memory:
10
        enabled: true
11
        sample_rate: 19

1
# Parca Agent 需要的权限（Kubernetes）
2
# 1. 访问 /proc 和 /sys（读取进程信息）
3
# 2. CAP_BPF 或 CAP_SYS_ADMIN（eBPF 采集）
4
# 3. 访问容器运行时（Docker/containerd）
5

6
# 最小权限配置
7
securityContext:
8
  capabilities:
9
    add: ["CAP_BPF", "CAP_SYS_PTRACE"]
10
  readOnlyRootFilesystem: true
11
  runAsNonRoot: false  # eBPF 需要 root

1
# Pyroscope Docker Compose
2
services:
3
  pyroscope:
4
    image: grafana/pyroscope:latest
5
    ports:
6
      - "4040:4040"
7
    volumes:
8
      - pyroscope-data:/var/lib/pyroscope
9
    environment:
10
      - PYROSCOPE_LOG_LEVEL=info
11

12
  # 应用集成
13
  app:
14
    environment:
15
      - PYROSCOPE_APPLICATION_NAME=order-service
16
      - PYROSCOPE_SERVER_ADDRESS=http://pyroscope:4040

1
docker compose up -d pyroscope
2
curl http://localhost:4040

1
// Go 应用集成
2
pyroscope.Start(pyroscope.Config{
3
    ApplicationName: "demo-api",
4
    ServerAddress:   "http://pyroscope:4040",
5
    ProfileTypes: []pyroscope.ProfileType{
6
        pyroscope.ProfileCPU,
7
        pyroscope.ProfileMemInuse,
8
        pyroscope.ProfileGoroutines,
9
    },
10
})

1
# 打开 Grafana Explore
2
open http://localhost:3000/explore
3

4
# 选择 Pyroscope 数据源
5
# 查看火焰图