服务粉丝

我们一直在努力
当前位置:首页 > 财经 >

一文看懂 Linux 性能分析|perf 源码实现

日期: 来源:Linux爱好者收集编辑:songsong001

我们在《一文看懂Linux性能分析|perf 原理》一文中介绍过,perf 是基于采样来对程序进行分析的。采样的步骤如下:

  • 通过设置一个定时器,定时器的触发时间可以由用户设定。

  • 定时器被触发后,将会调用采集函数收集当前运行环境的数据(如当前正在执行的进程和函数等)。

  • 将采集到的数据写入到一个环形缓冲区(ring buffer)中。

  • 应用层可以通过内存映射来读取环形缓冲区中的采样数据。

上述步骤如下图所示:

接下来,我们将会介绍 perf 在 Linux 内核中的实现。

事件

perf 是基于事件进行采样的,上面所说的定时器就是其中一种事件,被称为:CPU时钟事件。除了 CPU 时钟事件外,perf 还支持多种事件,如:

  • 上下文切换事件:当调度器切换进程时触发。

  • 缺页异常事件:当进程访问还没有映射到物理内存的虚拟内存地址时触发。

  • CPU迁移事件:当进程从一个 CPU 迁移到另一个 CPU 时触发。

  • ...

由于 perf 支持的事件众多,所以本文只挑选 CPU时钟事件 进行分析。

1. perf_event 结构体

Linux 内核使用 perf_event 结构体来描述一个事件(如 CPU 时钟事件),其定义如下(由于 perf_event 结构体过于庞大,所以对其进行简化):

struct perf_event {
    ...
    struct list_head                event_entry;
    const struct pmu                *pmu;
    enum perf_event_active_state    state;
    atomic64_t                      count;  // 事件被触发的次数
    ...
    struct perf_event_attr          attr;   // 事件的属性(由用户提供)
    struct hw_perf_event            hw;
    struct perf_event_context       *ctx;   // 事件所属的上下文
    ...
};

我们现在只需关注其中的两个成员变量:count 和 ctx

  • count:表示事件被触发的次数。

  • ctx:表示当前事件所属的上下文。

count 成员变量容易理解,所以就不作详细介绍了。我们注意到 ctx 成员变量的类型为 perf_event_context 结构,那么这个结构代表什么?

2. perf_event_context 结构体

因为一个进程可以同时分析多种事件,所以就使用 perf_event_context 结构来记录属于进程的所有事件。我们来看看 perf_event_context 结构的定义,如下所示:

struct perf_event_context {
    ...
    struct list_head            event_list; // 连接所有属于当前上下文的事件
    int                         nr_events;  // 属于当前上下文的所有事件的总数
    ...
    struct task_struct          *task;      // 当前上下文属于的进程
    ...
};

我们对 perf_event_context 结构进行了简化,下面介绍一下各个成员的作用:

  • event_list:连接所有属于当前上下文的事件。

  • nr_events:属于当前上下文的所有事件的总数。

  • task:当前上下文所属的进程。

perf_event_context 结构通过 event_list 字段把所有属于本上下文的事件连接起来,如下图所示:

另外,在进程描述结构体 task_struct 中,有个指向 perf_event_context 结构的指针。如下所示:

struct task_struct {
    ...
    struct perf_event_context *perf_event_ctxp;
    ...
};

这样,内核就能通过进程描述结构体的 perf_event_ctxp 成员,来获取属于此进程的事件列表。

3. pmu 结构体

前面我们说过 perf 支持多种事件,而不同的事件应该有不同的启用和禁用动作。为了让不同的事件有不同的启用和禁用动作,所以内核定义了 pmu 结构。其定义如下:

struct pmu {
    int (*enable)   (struct perf_event *event);
    void (*disable) (struct perf_event *event);
    void (*read)    (struct perf_event *event);
    ...
};

下面介绍一下各个字段的作用:

  • enable:启用事件。
  • disable:禁用事件。
  • read:事件被触发时的回调。

perf_event 结构的 pmu 成员是一个指向 pmu 结构的指针。如果当前事件是个 CPU 时钟事件时,pmu 成员将会指向 perf_ops_cpu_clock 变量。

我们来看看 perf_ops_cpu_clock 变量的定义:

static const struct pmu perf_ops_cpu_clock = {
    .enable  = cpu_clock_perf_event_enable,
    .disable = cpu_clock_perf_event_disable,
    .read    = cpu_clock_perf_event_read,
};

也就是说:

  • 当要启用一个 CPU 时钟事件时,内核将会调用 cpu_clock_perf_event_enable() 函数来启用这个事件。
  • 当要禁用一个 CPU 时钟事件时,内核将会调用 cpu_clock_perf_event_disable() 函数来禁用这个事件。
  • 当事件被触发时,内核将会调用 cpu_clock_perf_event_read() 函数来进行特定的动作。

启用事件

前面说过,当要启用一个 CPU 时钟事件时,内核会调用 cpu_clock_perf_event_enable() 函数来启用它。我们来看看 cpu_clock_perf_event_enable() 函数的实现,代码如下:

static int
cpu_clock_perf_event_enable(struct perf_event *event)
{
    ...
    perf_swevent_start_hrtimer(event);

    return 0;
}

从上面代码可以看出,cpu_clock_perf_event_enable() 函数实际上调用了 perf_swevent_start_hrtimer() 函数来进行初始化工作。我们再来看看 perf_swevent_start_hrtimer() 函数的实现:

static void
perf_swevent_start_hrtimer(struct perf_event *event)
{
    struct hw_perf_event *hwc = &event->hw;

    // 1. 初始化一个定时器,定时器的回调函数为:perf_swevent_hrtimer()
    hrtimer_init(&hwc->hrtimer, CLOCK_MONOTONIC, HRTIMER_MODE_REL);
    hwc->hrtimer.function = perf_swevent_hrtimer;

    if (hwc->sample_period) {
        ...

        // 2. 启动定时器
        __hrtimer_start_range_ns(&hwc->hrtimer, ns_to_ktime(period), 0,
                                 HRTIMER_MODE_REL, 0);
    }
}

从上面的代码可知,perf_swevent_start_hrtimer() 函数主要完成两件事情:

  • 初始化一个定时器,定时器的回调函数为:perf_swevent_hrtimer()
  • 启动定时器。

这个定时器结构保存在 perf_event 结构的 hwc 成员中,我们在以后的文章中将会介绍 Linux 高精度定时器的实现。

当定时器被触发时,内核将会调用 perf_swevent_hrtimer() 函数来处理事件。我们再来分析一下 perf_swevent_hrtimer() 函数的实现:

static enum hrtimer_restart 
perf_swevent_hrtimer(struct hrtimer *hrtimer)
{
    enum hrtimer_restart ret = HRTIMER_RESTART;
    struct perf_sample_data data;
    struct pt_regs *regs;
    struct perf_event *event;
    u64 period;

    // 获取当前定时器所属的事件对象
    event = container_of(hrtimer, struct perf_event, hw.hrtimer);

    // 前面说过,如果是CPU时钟事件,将会调用 cpu_clock_perf_event_read() 函数
    event->pmu->read(event);

    data.addr = 0;
    // 获取定时器被触发时所有寄存器的值
    regs = get_irq_regs();

    ...
    if (regs) {
        if (!(event->attr.exclude_idle && current->pid == 0)) {
            // 最重要的地方:对数据进行采样
            if (perf_event_overflow(event, 0, &data, regs))
                ret = HRTIMER_NORESTART;
        }
    }
    ...
    return ret;
}

perf_swevent_hrtimer() 函数最重要的操作就是:调用 perf_event_overflow() 函数对数据进行采样与收集。perf_event_overflow() 函数在后面将会介绍,我们暂时跳过。

那什么时候会启用事件呢?答案就是:进程被调度到 CPU 运行时。调用链如下:

schedule()
└→ context_switch()
└→ finish_task_switch()
└→ perf_event_task_sched_in()
└→ __perf_event_sched_in()
└→ group_sched_in()
└→ event_sched_in()
└→ event->pmu->enable()
└→ cpu_clock_perf_event_enable()

内核通过调用 schedule() 函数来完成调度工作。从上面的调用链可知,当进程选中被调度到 CPU 运行时,最终会调用 cpu_clock_perf_event_enable() 函数来启用这个 CPU 时钟事件。

启用事件的过程如下图所示:

所以,当进程被选中并且被调度运行时,内核会启用属于此进程的 perf 事件。不难看出,当进程被调度出 CPU 时(停止运行),内核会禁用属于此进程的 perf 事件。

数据采样

最后,我们来看看 perf 是怎么进行数据采样的。

通过上面的分析,我们知道 perf 最终会调用 perf_event_overflow() 函数来进行数据采样。所以我们来看看 perf_event_overflow() 函数的实现,代码如下:

int
perf_event_overflow(struct perf_event *event, int nmi,
                    struct perf_sample_data *data,
                    struct pt_regs *regs)
{
    return __perf_event_overflow(event, nmi, 1, data, regs);
}

可以看出,perf_event_overflow() 函数只是对 __perf_event_overflow() 函数的封装。我们接着来分析 __perf_event_overflow() 函数的实现:

static int
__perf_event_overflow(struct perf_event *event, int nmi, int throttle,
                      struct perf_sample_data *data, struct pt_regs *regs)
{
    ...
    perf_event_output(event, nmi, data, regs);

    return ret;
}

从上面代码可知,__perf_event_overflow() 会调用 perf_event_output() 函数来进行数据采样。perf_event_output() 函数的实现如下:

static void
perf_event_output(struct perf_event *event, int nmi,
                  struct perf_sample_data *data,
                  struct pt_regs *regs)
{
    struct perf_output_handle handle;
    struct perf_event_header header;

    // 进行数据采样,并且把采样到的数据保存到data变量中
    perf_prepare_sample(&header, data, event, regs);
    ...

    // 把采样到的数据保存到环形缓冲区中
    perf_output_sample(&handle, &header, data, event);
    ...
}

perf_event_output() 函数会进行两个操作:

  • 调用 perf_prepare_sample() 函数进行数据采样,并且把采样到的数据保存到 data 变量中。
  • 调用 perf_output_sample() 函数把采样到的数据保存到环形缓冲区中。

我们来看看 perf 是怎么把采样到的数据保存到环形缓冲区的:

void
perf_output_sample(struct perf_output_handle *handle,
                   struct perf_event_header *header,
                   struct perf_sample_data *data,
                   struct perf_event *event)
{
    u64 sample_type = data->type;
    ...

    // 1. 保存当前IP寄存器地址(用于获取正在执行的函数)
    if (sample_type & PERF_SAMPLE_IP)
        perf_output_put(handle, data->ip);

    // 2. 保存当前进程ID
    if (sample_type & PERF_SAMPLE_TID)
        perf_output_put(handle, data->tid_entry);

    // 3. 保存当前时间
    if (sample_type & PERF_SAMPLE_TIME)
        perf_output_put(handle, data->time);
    ...

    // n. 保存函数的调用链
    if (sample_type & PERF_SAMPLE_CALLCHAIN) {
        if (data->callchain) {
            int size = 1;

            if (data->callchain)
                size += data->callchain->nr;

            size *= sizeof(u64);

            perf_output_copy(handle, data->callchain, size);
        } else {
            u64 nr = 0;
            perf_output_put(handle, nr);
        }
    }
    ...
}

perf_output_sample() 通过调用 perf_output_put() 函数把用户感兴趣的数据保存到环形缓冲区中。

用户感兴趣的数据是在创建事件时指定的,例如,如果我们对函数的调用链感兴趣,那么可以在创建事件时指定 PERF_SAMPLE_CALLCHAIN 标志位。

perf 事件可以通过 pref_event_open() 系统调用来创建,关于 pref_event_open() 系统调用的使用,读者可以自行参考相关的资料。

当 perf 把采样的数据保存到环形缓冲区后,用户就可以通过 mmap() 系统调用把环形缓冲区的数据映射到用户态的虚拟内存地址来进行读取。由于本文只关心数据采样部分,所以 perf 的其他实现细节可以参考 perf 的源代码。

数据采样的流程如下图所示:

总结

本文主要介绍了 perf 的 CPU 时钟事件的实现原理,另外 perf 除了需要内核支持外,还需要用户态应用程序支持,例如:把采样到的原始数据生成可视化的数据或者使用图形化表现出来。

当然,本文主要是介绍 perf 在内核中的实现,用户态的程序可以参考 Linux 源码 tools/perf 目录下的源代码。

当然,perf 是非常复杂的,本文也忽略了很多细节(如果把所有细节都阐明,那么篇幅将会非常长),所以读者如果有什么疑问也可以留言讨论。


- EOF -


加主页君微信,不仅Linux技能+1

主页君日常还会在个人微信分享Linux相关工具资源精选技术文章,不定期分享一些有意思的活动岗位内推以及如何用技术做业余项目

加个微信,打开一扇窗


推荐阅读  点击标题可跳转

1、Linux 多线程全面解析

2、一文看懂 Linux 性能分析|perf 原理

3、浅析 Linux 内核 5.1 支持了新的异步 IO 框架 iouring


看完本文有收获?请分享给更多人

推荐关注「Linux 爱好者」,提升Linux技能

点赞和在看就是最大的支持❤️

相关阅读

  • 送你一套,Excel函数卡片,你要不要?

  • 你好朋友,我是小黑课堂Excel职场课主理人刘大侠。函数公式作为Excel的灵魂之一,是我们学习Excel的重点和难点。目前,包括测试版在内的Excel函数已经累计到504个了,有没有被这个
  • 42个激活函数的全面总结

  • 2015 年 11 月,wikipedia的用户 Laughinthestocks 首次引入了“激活函数表”。从那时开始到现在,维基百科页面已经发生了 391 次更改。在本文中,我通过自己写的一个程序来挖掘
  • 【干货】Origin投稿格式以及高级使用技巧

  • 【做计算 找华算】理论计算助攻顶刊,10000+成功案例,全职海归技术团队、正版商业软件版权!经费预存选华算,高至15%预存增值!1Origin 点线图页面转成高清晰 TIF 图全过程很多期刊
  • 12月,留意这些风险扰动!

  • 最近,包括防疫政策在内的多个事件相继开始落地、明朗,所以我们特在此时推出12月事件驱动投资策略。本期,我们依旧重点聚焦重磅事件,继续从事件驱动角度为大家厘清投资主线!本 期
  • 【凡泰Blog】手把手第六篇:小程序开发中使用 JS

  • 点击蓝字关注我们在上期文章中,我们主要聊了聊如何写出小程序的样式内容。在本期文章中,我们来看一下如何在小程序中使用 js 的,即在小程序中使用脚本内容处理内容或样式的改变
  • 让你的应用完美适配平板

  • 前言其实标题有点吹牛逼了,谁也不敢说能完美适配平板,只能说尽力去做,包括显示和使用的各个方面尽力去做,才有可能在更多的平板设备上更加完美的运行起来,因为安卓的设备实在是太
  • Go版本大于1.13,程序里这样做错误处理才地道

  • 大家好,这里是每周都在陪你进步的网管。之前写过几篇关于 Go 错误处理的文章,发现文章里不少知识点都有点落伍了,比如Go在1.13后对错误处理增加了一些支持,最大的变化就是支持了

热门文章

  • “复活”半年后 京东拍拍二手杀入公益事业

  • 京东拍拍二手“复活”半年后,杀入公益事业,试图让企业捐的赠品、家庭闲置品变成实实在在的“爱心”。 把“闲置品”变爱心 6月12日,“益心一益·守护梦想每一步”2018年四

最新文章

  • 一文看懂 Linux 性能分析|perf 源码实现

  • 我们在《一文看懂Linux性能分析|perf 原理》一文中介绍过,perf 是基于采样来对程序进行分析的。采样的步骤如下:通过设置一个定时器,定时器的触发时间可以由用户设定。定时器被
  • 常用 display 命令

  • ↓推荐关注↓来源:网络技术平台1信息项基本信息使用命令display diagnostic-information使用说明此命令主要用于系统基本信息的收集,集合了多条常用display命令的输出信息,包括