从小白到精通：揭秘perf工具的全部功能与操作技巧

一、引言

perf工具是Linux操作系统下的一款性能分析工具，主要用于分析程序的性能瓶颈和优化程序的性能。它可以快速定位和解决系统性能问题，提高程序的运行效率和稳定性。

1. perf工具可以快速定位和解决系统性能问题。它可以收集程序运行时的性能数据，包括CPU、内存、IO等方面的信息，并提供详细的性能分析和报告。
2. perf工具可以生成程序的调用图，记录程序中函数之间的调用关系，并提供详细的调用图分析和报告。
3. perf工具可以检测程序的内存泄漏问题，收集程序运行时的内存数据，并提供详细的内存泄漏分析和报告。
4. perf工具可以提供程序性能优化的建议，分析程序运行时的性能数据，并提供优化的建议和方案。

在当今竞争激烈的软件开发领域，性能优化是一个至关重要的任务。不仅要确保软件的快速响应和高效运行，还需要解决可能出现的性能瓶颈和内存泄漏等问题。正是在这样的背景下，perf工具显得尤为重要。

想象一下，投入了大量时间和精力开发一个应用程序，希望它可以快速、流畅地运行，为用户提供最佳的体验。然而，当应用程序开始面临性能问题时，用户的体验会大打折扣。应用变得缓慢、卡顿甚或崩溃，这无疑会影响用户的满意度和持续使用。

这时候，perf工具闪亮登场，提供了一把解锁性能优化的钥匙。通过perf工具，可以深入了解应用程序的执行过程，追踪CPU使用情况、内存占用、函数调用堆栈等关键指标。可以发现隐藏在代码背后的性能瓶颈，并有针对性地优化应用程序，提升其性能和稳定性。

使用perf工具，可以轻松定位问题，深入了解性能瓶颈的原因，并提供有效的优化策略。可以分析函数调用图，找到热点函数并针对其进行优化；可以监控程序的内存使用情况，快速定位并解决内存泄漏问题；还可以通过事件采样，精确地了解各种事件的发生频率和消耗资源，帮助调整应用程序的行为。

二、理解perf工具的基本概念

perf（Performance Counter）是Linux系统上一个强大的性能分析工具集，用于收集和分析系统性能数据。它提供了广泛的功能，可以监测和分析进程、线程、内核以及硬件的性能指标。

perf最早由Red Hat的开发者Ingo Molnar在2008年开发，并于Linux 2.6.31内核版本中首次正式引入。它是一个基于硬件性能计数器的工具，可以通过收集硬件事件和计数器的数据来分析系统在不同层面的性能瓶颈。

perf工具的历史可以追溯到早期的Oprofile项目，该项目主要关注软件事件的性能分析。随着硬件计数器在现代处理器中变得更加复杂和强大，perf的设计目标是更好地利用硬件性能计数器，以提供更全面和精确的性能分析。

通过perf，可以收集各种性能相关的数据，如CPU利用率、缓存命中率、指令执行次数等。它还提供了丰富的命令行参数和选项，以便于用户快速定位和分析系统性能瓶颈。

随着时间的推移，perf工具在Linux社区中得到了广泛的应用和扩展。不断的更新和改进使得perf成为了一个功能强大、可靠性高的性能分析工具集，被广泛用于开发、调优和调试各种类型的应用程序和系统。

perf工具的基本原理是利用硬件性能计数器（hardware performance counters）来收集系统的性能数据，并将其与用户定义的事件关联起来。硬件性能计数器是现代处理器中内置的特殊计数器，可用于测量各种硬件事件，如指令执行次数、缓存命中率、分支预测等。

perf工具的工作原理如下：

1. 首先，perf会使用特殊的指令将硬件性能计数器设置为所需的事件类型。这可以包括CPU周期、指令执行数、缓存命中数等。
2. perf会定期读取计数器的值，以获得一组采样数据。采样的频率可以由用户配置。
3. perf将采样数据与相应的事件关联起来，并进行分析。这可以包括计算平均值、最大值、最小值，以及计算事件之间的关联性等。
4. perf可以将分析结果以各种不同的格式进行输出，如报告、图形化界面等。用户可以根据需要选择适合自己的输出格式。

图片

perf工具是一个功能强大且灵活的性能分析工具。它提供了多种功能。首先，perf可以用于收集各种系统性能数据，包括CPU利用率、内存使用情况、磁盘IO、网络传输等等。通过收集和分析这些数据，可以了解系统的瓶颈和性能瓶颈，并针对性地进行优化。

此外，perf还提供了丰富的分析工具和功能，如事件采样、函数追踪、调用图分析等。这些功能可以深入了解代码的性能问题，找出瓶颈所在，并进行针对性的优化。通过perf，开发人员可以详细地了解代码的执行路径、函数调用关系、耗时分布等信息，从而进行性能调优。

另外，perf还支持事件采样，可以根据指定的事件进行采样，并生成性能分析报告。这对于分析特定事件的性能问题非常有用，比如CPU缓存缺失、指令执行时间等。

三、安装与配置perf工具

3.1、不同操作系统的perf工具安装

对于不同操作系统，安装perf工具的方法有所不同。下面是一些常见操作系统的perf工具安装指南：

1. Linux：大多数Linux发行版都包含perf工具。可以使用包管理器来安装perf，例如在Ubuntu上可以使用以下命令进行安装： sudo apt-get update sudo apt-get install linux-tools-common linux-tools-generic linux-tools-$(uname -r)
2. macOS：在macOS上，perf工具不是默认安装的，但可以通过安装Xcode命令行工具来获取。 xcode-select --install 安装完成后，在终端中使用perf命令。
3. Windows：在Windows上，perf工具不是默认提供的。可以使用一些第三方工具来进行性能分析，例如Microsoft Performance Toolkit (WPT)。
   • 下载Windows Performance Toolkit（WPT）：可以从Microsoft的官方网站下载WPT安装程序。
   • 运行安装程序并按照指示进行安装。
   • 安装完成后，可以使用WPT来进行性能分析。

3.2、perf工具的配置选项和环境设置

perf工具在Linux上有一些常见的配置选项和环境设置：

1. 内核配置：perf工具需要操作系统内核支持。确保Linux内核启用了性能事件计数器（Performance Counter）子系统。可以通过检查内核配置选项来确认，通常是在内核配置文件（例如/usr/src/linux/.config）中搜索以下选项： CONFIG_PERF_EVENTS=y 如果该选项没有被启用，需要重新编译内核并启用该选项。
2. 权限设置：默认情况下，perf工具需要root权限才能运行。如果普通用户想使用perf工具，可以通过设置合适的权限来实现。一种常见的方法是将perf可执行文件设置为具有特殊权限的可执行文件，并将其所有者设置为具有性能计数器访问权限的用户，例如： sudo chown root:perf /usr/bin/perf sudo chmod 2755 /usr/bin/perf 这样一来，普通用户就可以在不使用sudo的情况下运行perf工具了。
3. 环境变量设置： 可以通过在终端中使用export命令来设置这些环境变量，例如： export PERF_RECORD_FREQ=10000 export PERF_RECORD_OPTIONS=cpu-clock,call-graph=2
   • PERF_RECORD_FREQ: 设置性能事件采样的频率。
   • PERF_RECORD_OPTIONS: 设置性能事件采样的选项，例如采样的事件类型和采样的调用链深度等。
   • PERF_MAP_OPTIONS: 设置perf记录的内核符号表选项，用于在分析时显示符号信息。
   • PERF_DATA_DIR: 设置perf数据文件存储的目录。

四、perf工具的常用命令和功能

4.1、perf工具的基本命令结构和常用参数

基本命令结构：

perf <command> [options] [arguments]

常用命令和参数：

• record：用于收集性能数据的命令。
  • -e <event>：指定要采集的性能事件，例如-e cycles表示采集CPU周期计数器。
  • -p <pid>：指定要采集的进程ID。
  • -g：采集调用链(call stack)数据。
  • -o <output file>：指定输出文件的名称。
  • --call-graph <type>：设置调用链类型，例如--call-graph dwarf使用DWARF调试信息进行调用链采集。
• report：用于分析和显示收集到的性能数据的命令。
  • -i <input file>：指定输入文件的名称。
  • -n：显示每个符号的调用次数。
  • -t <event>：指定要显示的性能事件类型，例如-t cycles表示显示CPU周期计数器的数据。
  • --stdio：将结果输出到标准输出而不是交互式界面。

这只是perf工具的一小部分命令和参数示例，还有很多其他命令和参数可以用于不同的分析和调优需求。通过运行perf --help命令或查阅perf工具的官方文档来获取完整的命令和参数列表，以及更详细的使用说明。

4.2、perf工具的常见用法和功能

1. 性能计数器（Performance Counters）： perf工具可以利用硬件的性能计数器来测量各种系统和应用程序的性能指标，如CPU周期数、指令数、缓存命中率等。通过指定合适的事件类型（如cycles、instructions等），可以对特定的性能指标进行监测和分析。
   • 示例：使用perf工具来测量一个C语言程序的CPU周期数。
   • 步骤：
   1. 编译C语言程序，并确保没有进行优化（例如使用-O0选项）。
   2. 运行perf record命令来收集性能数据： perf record -e cycles <your_program>
   3. 运行perf report命令来查看性能数据报告： perf report
2. 事件采样（Event Sampling）： perf工具可以以一定的频率对指定的事件进行采样，获取事件发生时的上下文信息，以及调用链数据。这样可以较为准确地了解事件的发生频率、发生位置和调用链的关系，帮助分析程序的热点和性能瓶颈。
   • 示例：使用perf工具对一个运行中的进程进行事件采样，并获取调用链数据。
   • 步骤：
   1. 获取进程的PID（进程ID）。
   2. 运行perf record命令采样指定的事件，并指定进程ID和调用链选项： perf record -e <event> -p <pid> -g
   3. 运行perf report命令来查看采样数据报告： perf report
3. 调用图（Call Graph）： perf工具可以采集程序的调用链数据，生成函数调用关系图，展示函数之间的调用关系和调用次数。这对于分析程序的调用层次、函数之间的耗时以及优化热点函数等非常有用。
   • 示例：使用perf工具生成一个C++程序的调用图。
   • 步骤：
   1. 编译C++程序，并确保包含调试符号信息（例如使用-g选项）。
   2. 运行perf record命令来采集调用链数据，并指定调用链类型为DWARF： perf record -g --call-graph dwarf <your_program>
   3. 运行perf report命令来查看调用图报告： perf r

除了上述功能，perf工具还提供了更多的用法和功能，如硬件事件的监测和分析、系统调用的跟踪、CPU性能事件的定时统计等。

4.3、perf 常见使用方法

（1）list 命令。

• 列出当前已知事件：perf list。列出所有能够出发Perf采样点的事件，类似于ftrace中/sys/kernel/debug/tracing/available_events中包含的事件，但Perf支持的事件比ftrace要多。
• 列出所有名称中带有字符串block的事件：perf list block。

# perf list block
List of pre-defined events (to be used in -e):

pipeline:
  ld_blocks.no_sr
       [The number of times that split load operations are temporarily blocked because all resources for handling the split accesses are in use]
  ld_blocks.store_forward
       [loads blocked by overlapping with store buffer that cannot be forwarded]
  ld_blocks_partial.address_alias
       [False dependencies in MOB due to partial compare on address]

  block:block_bio_backmerge                          [Tracepoint event]
  block:block_bio_bounce                             [Tracepoint event]
  block:block_bio_complete                           [Tracepoint event]
  block:block_bio_frontmerge                         [Tracepoint event]
  block:block_bio_queue                              [Tracepoint event]
  block:block_bio_remap                              [Tracepoint event]
  block:block_dirty_buffer                           [Tracepoint event]
  block:block_getrq                                  [Tracepoint event]
  block:block_plug                                   [Tracepoint event]
  block:block_rq_complete                            [Tracepoint event]
  block:block_rq_insert                              [Tracepoint event]
  block:block_rq_issue                               [Tracepoint event]
  block:block_rq_merge                               [Tracepoint event]
  block:block_rq_remap                               [Tracepoint event]
  block:block_rq_requeue                             [Tracepoint event]
  block:block_split                                  [Tracepoint event]
  block:block_touch_buffer                           [Tracepoint event]
  block:block_unplug                                 [Tracepoint event]
  ext4:ext4_alloc_da_blocks                          [Tracepoint event]
  ext4:ext4_allocate_blocks                          [Tracepoint event]
  ext4:ext4_discard_blocks                           [Tracepoint event]
  ext4:ext4_es_insert_delayed_block                  [Tracepoint event]
  ext4:ext4_ext_map_blocks_enter                     [Tracepoint event]
  ext4:ext4_ext_map_blocks_exit                      [Tracepoint event]
  ext4:ext4_free_blocks                              [Tracepoint event]
  ext4:ext4_ind_map_blocks_enter                     [Tracepoint event]
  ext4:ext4_ind_map_blocks_exit                      [Tracepoint event]
  ext4:ext4_read_block_bitmap_load                   [Tracepoint event]
  ext4:ext4_remove_blocks                            [Tracepoint event]

（2）perf trace：类似于strace跟踪进程系统调用，相较于strace有更好的性能。 （3）perf record：运行命令并将产生的数据写入perf.data文件。

# -p $pid 记录进程pid的events
# -a 采集所有cpu上的events
# -e $event 指定PMU（处理器监控单元）event，默认是cycles:app（cpu周期数）
# -g 启动堆栈/栈回溯功能
# -F $freq	采用频率
# -o $path 指定采样文件输出路径

（4）perf report：对perf record采样的数据进行分析，可视化显示。

五、perf工具在性能优化中的应用

perf工具在性能剖析和分析中的重要性：

1. 详细的性能数据收集：perf工具能够利用硬件性能计数器和事件采样等机制，收集丰富的性能数据。这些数据可以包括CPU周期数、指令数、缓存命中率、函数调用关系等各种关键指标，帮助全面了解系统和应用程序的性能特征。
2. 发现性能瓶颈：通过分析perf工具收集到的性能数据，可以确定系统和应用程序中存在的性能瓶颈。例如，可以通过查看CPU周期数来确定CPU密集型任务的性能瓶颈，或者通过分析函数调用关系找出频繁调用的热点函数。这些信息对于优化程序性能非常有价值。
3. 可视化性能分析：perf工具提供了丰富的报告和可视化功能，可以将收集到的性能数据以图表、图形和文本的形式进行展示。这样可以更直观地观察和分析性能数据，识别问题和优化的方向。
4. 高级分析功能：perf工具除了基本的性能计数器、事件采样和调用图功能外，还提供了其他高级分析功能，如硬件事件的监测和分析、系统调用的跟踪、CPU性能事件的定时统计等。这些功能可以根据具体的需求和场景进行灵活的配置和使用。

要使用perf工具进行性能优化和瓶颈分析，可以按照以下步骤进行：

1. 收集性能数据：
   • 使用perf record命令收集性能数据。可以选择性能计数器、事件采样或其他相关选项来指定要收集的数据类型和参数。例如，可以使用-e选项指定要监测的硬件事件，或者使用-g选项来采集调用链数据。
   • 运行perf record命令时，请确保在真实的生产环境或测试环境中运行，并尽量模拟实际的工作负载和使用情况，以获得准确的性能数据。
2. 分析性能数据：
   • 运行perf report命令来查看perf工具生成的性能数据报告。该报告将显示收集到的性能数据，并提供可视化的界面来帮助分析和理解数据。
   • 在报告中，可以查看各种性能指标，如CPU周期数、指令数、缓存命中率等。还可以查看函数调用关系、函数耗时、热点函数等信息，以确定性能瓶颈所在。
3. 识别性能瓶颈：
   • 根据性能数据报告中的指标和信息，识别潜在的性能瓶颈。例如，可以查找高耗时的函数、频繁调用的热点函数、缓存命中率低的代码等。
   • 进一步分析和理解性能瓶颈的原因和影响。可能需要深入了解代码实现、算法设计和系统架构等方面，以找到优化的方向和方法。
4. 优化性能：
   • 根据性能瓶颈的具体情况，采取相应的优化措施。这可能涉及到代码优化、算法改进、并行化、资源调整等方面。
   • 在进行优化时，建议进行小范围的改动和测试，并使用perf工具进行迭代测试和验证。通过不断分析性能数据和进行优化，逐步改进系统和应用程序的性能。

perf工具的应用：

1. 使用perf top命令：
   • 运行perf top命令可以实时查看当前系统中的性能热点函数和指令。这可以帮助快速了解系统中的性能瓶颈，并定位到最耗时的函数。
   • 通过perf top命令，可以获取到当前的性能数据，包括函数调用关系、函数执行时间和占用的CPU时间等信息。
   • 例如： perf top --call-graph fractal
2. 使用perf record和perf report命令结合：
   • 运行perf record命令收集性能数据，并使用perf report命令生成性能数据报告。这是一种常用的组合，可以帮助收集和分析性能数据。
   • 在收集性能数据时，可以使用perf record的不同选项来指定采样率、事件类型和监测范围等参数，以满足具体需求。
   • 在生成性能数据报告后，可以使用perf report命令来查看详细的性能分析结果，包括函数调用图、函数耗时分布和热点函数等信息。
3. 结合调试符号表：
   • 在进行性能分析时，尽可能使用包含调试符号表的可执行文件和库。这样可以使perf工具能够更好地还原函数名、源代码行号和调用关系等信息，提供更有用的性能分析结果。
   • 在编译时，确保使用了调试符号表的选项，例如gcc编译器的-g选项。这样可以提高perf工具的可读性和分析能力。
4. 结合其他工具和技术：
   • perf工具可以与其他性能分析工具和技术结合使用，以获取更全面的性能分析结果。例如，可以结合使用火焰图（Flame Graphs）、系统跟踪（system tracing）工具（如eBPF）、动态追踪工具（如DTrace）等。
   • 火焰图可以帮助可视化性能数据，更直观地了解函数调用关系和函数耗时分布。系统跟踪工具和动态追踪工具可以提供更底层的性能数据，帮助深入了解系统的行为和性能特征。

图片

六、perf工具的高级技巧和进阶应用

6.1、perf工具的高级功能和调试技巧

1. 使用perf stat命令：
   • perf stat命令可以提供更详细的硬件性能计数器统计信息，例如CPU周期数、缓存命中率、指令数等。通过运行perf stat命令，可以获取到更底层的性能数据，以便分析和优化。
   • 通过使用不同的选项，如-e选项来指定要监测的硬件事件，可以获取到特定事件的计数器统计数据，从而更精确地了解系统的性能特征。
2. 使用perf annotate命令：
   • 运行perf annotate命令可以将性能数据与源代码进行关联，以便更深入地分析和理解性能瓶颈所在。perf annotate命令将在源代码中显示函数的注释和性能数据，帮助定位到具体的代码行，并查看相关的性能指标。
   • 通过perf annotate命令，可以找到耗时的函数、指令和代码路径，并深入研究其实现和优化的可能性。
3. 结合调用图分析：
   • perf工具可以生成函数调用图（call graph），帮助了解函数之间的调用关系和调用频率。这对于理解系统的整体性能特征和确定热点函数非常有用。
   • 通过使用-g选项运行perf record命令，并在perf report中查看调用图，可以获取到函数调用路径和调用次数，以便识别性能瓶颈和调用频繁的函数。
4. 结合事件采样：
   • perf工具支持事件采样机制，可以根据一定的采样率捕获指定事件的数据。这样可以更精确地了解系统中发生的事件和性能特征。
   • 通过在perf record命令中使用-c选项指定采样率，并在perf report中查看采样数据，可以获得更细粒度的性能分析结果。
5. 使用perf script命令：
   • perf script命令可以将性能数据转换为可读性更强的脚本输出，以便进一步处理和分析。可以将perf script的输出导入到其他工具或脚本中进行更深入的数据处理和可视化。
   • 通过使用perf script命令，可以自定义输出格式、过滤和排序规则，以满足的分析需求。

6.2、perf工具与其他工具的集成和扩展能力

1. 火焰图（Flame Graphs）：
   • 火焰图是一种可视化性能数据的工具，可以将perf工具生成的性能数据转换为直观的图形展示。通过将perf工具的输出与火焰图工具结合使用，可以更清晰地了解函数调用关系和函数耗时分布。
   • 生成火焰图的工具通常包括FlameGraph和火焰图生成脚本。可以将perf工具的输出数据作为输入，然后使用火焰图工具生成具有层级结构的火焰图。
2. 动态追踪工具（Dynamic Tracing）：
   • 动态追踪工具（如DTrace、SystemTap）可以与perf工具结合使用，提供更底层的性能数据和跟踪能力。这些工具可以通过在运行时注入代码或钩子，捕获更详细的性能数据和事件。
   • 可以使用perf工具进行基本的性能采样和分析，然后结合动态追踪工具进行更深入的性能跟踪和事件捕获，以获取更全面的性能分析结果。
3. eBPF（Extended Berkeley Packet Filter）：
   • eBPF是一种强大的系统跟踪和性能分析技术，可以与perf工具结合使用，提供更灵活和高级的性能分析能力。eBPF可以通过在内核中插入自定义的代码，捕获和分析系统的各种事件和指标。
   • 通过使用perf工具结合eBPF，可以编写自定义的eBPF脚本，并将其与perf进行集成。这样可以实现更高级的性能分析和跟踪功能，例如监测特定函数调用、系统调用追踪、网络数据包分析等。
4. 性能剖析工具（Profiling Tools）：
   • perf工具可以与其他性能剖析工具结合使用，以提供更全面的性能分析能力。例如，可以将perf工具的输出与gprof、Valgrind等剖析工具进行比较和分析，以获取不同层面和角度的性能数据。
   • 这种集成方式可以帮助深入了解系统的性能瓶颈和优化机会，从不同的视角进行性能分析和优化。

总结

资源和阅读材料：

1. Perf官方文档是了解perf工具的最佳资源。可以访问perf工具的官方文档，其中包含了详细的使用说明、示例和命令选项解释。官方文档可以帮助全面了解perf工具的功能和用法。
2. 《Linux性能优化指南》是一本由Brendan Gregg撰写的经典书籍，详细介绍了在Linux系统上进行性能分析和优化的各种工具和技术。该书涵盖了perf工具的使用，并提供了丰富的示例和实践经验。
3. 《Linux Performance》由Brendan Gregg和Jim Mauro合著的书，提供了关于Linux性能优化的深入指南。书中介绍了各种性能工具和技术，包括perf工具的高级使用和扩展。
4. 《BPF Performance Tools》由Brendan Gregg和Brendan Gregg合著的书，专注于eBPF技术和工具，为提供深入了解和利用eBPF与perf工具集成的知识。
5. Perf工具的GitHub仓库：perf工具是Linux内核的一部分，其源代码托管在GitHub上。可以访问perf工具的GitHub仓库，查看源代码、提交历史和相关的讨论。这可以帮助更深入地了解perf工具的实现和内部工作原理。