平台工程团队的四个北极星指标

DX核心4开发者生产力框架结合了DORA、SPACE和DevEx指标，在平台工程和业务之间建立了一种共同语言。

译自 4 North Star Metrics for Platform Engineering Teams，作者 Jennifer Riggins。

编辑注： 作者代表DX撰写了这篇文章。

工程是一门科学。这意味着你无法改进你无法衡量的东西。由于每个以人为本的组织都存在内在差异，衡量开发人员的生产力可能会让人感觉不知所措，甚至是不可能的。

由于你无法获得你没有衡量的预算，平台工程和开发者体验团队正在努力以可行的方式衡量开发人员的生产力和体验。

DX是由研究人员设计的工程智能平台，刚刚发布了DX核心四要素，它结合了最流行的开发人员生产力指标框架，以创建一种共同的语言和规范步骤，以便业务部门和IT部门都可以持续衡量和改进开发人员的生产力。我们与DX首席执行官Abi Noda进行了交谈，了解DX核心四要素的什么、如何以及为什么。

我们还需要另一个框架吗？

科技行业并不缺乏开发人员生产力指标。特别是，大型科技公司并不羞于公开他们正在衡量什么，因此他们或许可以成为一种启发：

• 谷歌的工程生产力研究团队关注速度、便捷性和质量等领域的自报告和系统指标。
• Intercom和Atlassian都衡量开发者的快乐程度。
• Spotify将DevEx指标与客户体验OKR联系起来，同时考虑领先和滞后数据。
• Meta使用复杂的AI和图表系统。
• Netflix衡量DORA和SPACE，并就情绪提出具体问题——例如“如果你要离开Netflix，你会因为要离开这些工具而感到难过吗？”和“你会推荐你的朋友来Netflix工作吗，因为这里的工具非常好？”

然而，Netflix也有预算组建一个开发人员生产力团队，该团队占其整个工程部门的15%。

大多数公司都不是大型科技公司。大多数技术团队都在传统行业工作，这些行业仍在向云端过渡，或者是在刚刚开始考虑开发者体验影响的初创公司和成长型公司。他们都在努力用更少的资源做更多的事情。

这些领导者厌倦了听到每个公司都是独一无二的雪花，他们只想要一个更规范的计划来帮助他们衡量开发人员的生产力。

Noda表示，他的DX团队听到的主要回应是：“是的，我们理解这是取决于具体情况的，但如果有一个推荐的起点，那就太好了。”

这不仅仅是CEO和CTO恳求更清晰的指示。在持续裁员的时代，平台工程师正在寻求以非技术领导层能够理解的方式证明自己的价值。这一点尤其重要，因为研究持续表明平台工程师的收入明显高于他们的DevOps同行。

除了成为不断增长的成本中心外，平台工程师在大多数组织中也是一个新兴群体，这就是为什么平台工程经常成为裁员目标的原因。

Noda告诉The New Stack：“任何平台工程领导者都应该拥有这样的东西。如果他们没有，那么他们就没有办法证明自己的存在，也没有办法谈论他们如何推动业务发展。”

业务部门和IT部门需要对开发人员的生产力和驱动它的开发者体验有一个共同的定义，以便给予这些主题应有的重视和预算。

目前有哪些开发人员生产力指标？

DX核心四要素结合了目前最常见的开发人员生产力框架，选择了四个关键指标——一种入门包——然后是12个次要指标，一旦你熟悉了第一轮指标，任何工程组织都应该考虑这些指标。

展示DX核心四个指标的开发者生产力表格

DX核心四个指标框架。（来源：DX）

核心四个指标是开发者生产力指标，分为四个类别：

• 速度
• 效率
• 质量
• 影响力

为了奠定新方法的基础，让我们分解三个主要的开发者体验（DevEx）框架及其优缺点。

最古老的指标，谷歌的DevOps研究与评估（DORA），在过去十年中一直在测量交付周期时间、部署频率、变更失败率和部署失败恢复时间。在核心四个指标中反映的三个主要框架中，这是最规范和可量化的。然而，2024年DORA研究提出了超过100个调查问题，涵盖七个领域。对所有这些数据进行调查并以可操作的方式进行解释需要几份全职工作。

有趣的是，如果你问Noda和他的团队，你甚至可能不需要在一开始就测量DORA的四个核心标准。DX核心四个指标包括变更失败率作为其质量的关键指标，但将其他三个指标降级为次要指标。

2021年，美国计算机协会发布了开发者生产力的SPACE框架。SPACE是满意度和福祉、绩效、活动、沟通与协作以及效率与流程的首字母缩写，该框架包含了可以测量的25个社会技术因素的示例。科技行业将SPACE视为开始从理论上思考DevEx的一个例子，但它没有提供任何具体的实施策略。

2023年，同样在ACM，Noda和其他参与其他两个框架的作者发表了一篇论文“DevEx：真正驱动生产力的因素”。这些DevEx指标认为，开发者体验具有三个相互关联的维度：反馈循环、认知负荷和心流状态。例如，当开发人员必须等待代码审查时，它会延长反馈循环，并增加开发人员在任何给定时间必须关注的量，同时还会中断工作流程。同样，科技行业广泛接受了这项研究的观察结果是正确的，但它感觉不知道该如何处理这些结果。

Noda强调：“开发者体验是提高开发者生产力的关键输入。”他发现最常见的指标是计算每个工程师的拉取请求（PR）。这是有缺陷的，因为它是在个人层面进行衡量的，他说，“这在我们行业中已经有被滥用的历史了”。这也是一个高度可操纵的指标。然而，他补充说，这是该行业目前最好的信号，这就是为什么核心四个指标的作者将每个工程师的差异（PR或合并请求）作为速度的关键指标。该模型确实为此指标提供了具体的指导，即永远不要在个人层面应用它，而应该只在组织层面取平均值。

Noda说：“我们承认它并不完美，但它是我们今天拥有的关于产出的最佳信号，而CEO和CFO们想要这个。我们说永远不要衡量个人或将其与他们的绩效挂钩。如果你这样做，人们往往会夸大数字，信号就会变得毫无用处。”“通过将速度与开发者体验和质量相平衡，你就能围绕生产力展开一场平衡的讨论。”他还强调，非常重要的是，将任何衡量作为一种努力来充当工程师的盟友，而不是以一种让开发人员在工作中感到不安全——从而降低生产力和创造力——的方式进行沟通。

不出所料，考虑到这一点，2023年极不受欢迎的麦肯锡的开发者生产力框架没有包含在这个最佳实践的集合中。

什么是DX核心四个指标？

正如《The New Stack》中之前已经详细探讨的那样，平台工程和DevEx团队很少缺乏功能请求——内部开发者客户很乐意尽早且经常提供反馈。这使得确定内部开发者平台路线图的优先级变得困难，因为它需要平衡技术和业务需求。

DX核心四个指标旨在结合DORA、SPACE和DevEx，使其：

• 对业务利益相关者有意义。
• 持续测量。
• 结合平衡的数据——自我报告与系统报告，定性与定量。

Noda表示：“我们承认DORA、SPACE和DevEx从不同的角度或不同的视角看待这个问题，我们的目标是创建一个框架来囊括所有这些框架，”“就像一个统治它们的框架，它具有规范性，并包含我们现有的所有知识和研究。”

他继续说，DORA指标在团队层面意义不大，但开发人员满意度——平台工程成功的关键衡量指标——对首席财务官来说并不重要。

Noda说：“有一个非常明确的目标，就是要使关键指标，甚至所有指标，对所有利益相关者（包括管理人员）都有意义。”“这使组织能够创建一个单一的、共享的和一致的生产力定义，以便每个人都能朝着同一个方向努力。”

核心四个关键指标是：

• 使用每个工程师的平均差异数来衡量速度。
• 使用开发者体验指数或内部开发人员体验调查来衡量有效性。
• 使用变更失败率来衡量质量。
• 使用用于新功能的时间百分比来衡量影响。

DX自己的DXI，使用一套标准化的14个李克特量表问题——从非常同意到非常不同意——目前仅对DX用户可用。DXI似乎是一个领先指标，表明改进DXI将提高速度和质量指标，同时也是一个预测性指标。例如，DXI提高1%会导致开发人员浪费的时间减少0.7%。

DX旨在填补DevEx衡量难题的另一块是影响。特别是平台工程团队，最难以衡量其影响。

Noda问道：“实际交付的价值是什么？”“所有这些[其他框架]都更关注运营效率和有效性，而影响则是在[询问]工程交付的价值是什么？”

他问道，本质上，“对工程的投资是用于业务的创新和创造性事物，还是用于灭火、会议和支持？”

平台工程团队的任务是自动化重复性和繁琐工作，以便开发人员能够专注于为最终客户交付创新价值。

在花费时间进行绿地项目后，影响衡量会深入到次要指标，即计划进度与投资回报率，以及在组织层面计算每位工程师的收入以及研发占总收入的百分比。

为了提高有效性，核心四个指标也遵循Spotify的例子，通过衡量到第10个拉取请求的时间来衡量，因为这是有效加入平台的重要信号。它还通过交付的便捷性来衡量有效性，这既可以是定性的，也可以是定量的，以及在组织层面围绕令人遗憾的员工流失（员工因可避免的原因离职）进行更多定性考虑。

由于开发人员的感知是开发人员生产力的关键衡量指标，因此新框架通过次要衡量交付的感知速度和感知的软件质量来追溯其前身。

最后，核心四个指标衡量运营健康和安全指标——有趣的是，作为一个次要指标。

DX核心四个指标是由Noda和DX首席技术官在过去一年中与上述框架的作者合作开发的，包括 、 和 。它还在Dropbox、Block和Vercel等公司的DevEx团队中进行了测试和迭代。组织可以在DX平台内或自行使用DX核心四个指标。