Slack端到端测试管道优化：构建时间减半的技术实践

在 DevOps 和开发者体验（DevXP）领域，速度和效率对工程师的日常任务影响重大。今天，我们将深入探讨 Slack 的 DevXP 团队如何利用现有工具优化端到端（E2E）测试管道。这一优化降低了构建时间，减少了冗余流程，为 Slack 的工程师节省了时间和资源。

问题：不必要的前端构建

对于我们最大的代码仓库之一（单体仓库），Slack 设有一个 CI/CD 管道，在将代码合并到 main 分支之前运行 E2E 测试。这对于确保 Slack 应用程序的整个技术栈（前端、后端、数据库以及中间的多项服务）变更得到验证至关重要。然而，我们发现了一个瓶颈：构建前端代码耗时超出预期，且频率过高，即使在没有前端相关变更的情况下也是如此。具体流程如下：

• 开发者工作流：开发者进行更改并推送到分支。
• 构建过程：构建前端代码（约 5 分钟）。
• 部署：将构建部署到 QA 环境。
• 测试：运行超过 200 项 E2E 测试，耗时另外 5 分钟。

整个过程每次运行约需 10 分钟。其中约 5 分钟被前端构建占用，即使不涉及前端变更。

考虑到每天有数百个拉取请求（PR）被合并，这些冗余构建不仅耗时，而且成本高昂：

• 每周数千次前端构建，每次构建在 AWS S3 中存储近 1GB 数据。
• 其中半数构建与上次合并到 main 分支相比不包含前端变更，导致数 TB 的重复数据。
• 每次构建 5 分钟，为管道增加不必要的延迟（每周数千小时）。

解决方案：采用智能构建策略与缓存前端资产

为解决此问题，我们利用现有工具重新思考构建策略。

步骤 1：条件性前端构建

我们的第一步是确定是否需要新的前端构建。我们通过使用 git diff 及其三点表示法来检测变更，识别当前检出分支与 main 分支最新共同提交之间的差异。如果检测到变更，则触发前端构建任务；如果未检测到变更，则完全跳过构建并重用预构建版本。

步骤 2：预构建资产与内部 CDN

当不需要前端构建时，我们从 AWS S3 定位现有构建。为提高效率，我们使用仍在生产环境中的近期前端构建。我们将为 E2E 测试提供预构建前端资产的任务委托给内部 CDN。这减少了在每个 PR 上创建新构建的需求，同时确保我们在当前资产上进行测试。

挑战：规模化效率

虽然方法看似直接，但将该解决方案扩展到我们的单体仓库面临了一些挑战：

• 识别前端变更：我们的仓库包含超过 10 万个被跟踪文件。确定是否存在前端变更需要高效的文件跟踪，而 git 仅需几秒即可处理。
• 查找预构建资产：每天有数百个 PR 合并到此仓库，识别足够新的预构建版本需要强大的资产管理。通过使用简单的 S3 存储概念，我们能够在新鲜度、一致的文件命名和性能之间取得平衡来管理资产。
• 保持快速：我们能够在平均不到 3 秒的时间内判断前端构建是否不必要，并找到最近的构建产物。

成果：构建频率降低 60%，构建时间减少 50%

我们的努力取得了显著成效：

• 构建频率降低 60%：通过智能重用预构建前端资产，我们将不必要的前端构建数量减少了一半以上。
• 每月节省数百小时：云计算时间和开发者等待时间均减少。
• 节省数 TB 存储：每月减少 AWS S3 存储数 TB。这些重复资产原本会存储一年。
• 构建时间改善 50%：这是前端 DevXP 团队及其合作团队的第二个主要项目。第一个项目升级了 Webpack 设置，将平均构建时间从约 10 分钟降至约 5 分钟。本项目将平均构建时间从约 5 分钟进一步降至仅约 2 分钟。两个项目均成功，我们将 E2E 管道的平均构建时间从约 10 分钟缩短至约 2 分钟：这是年度重大改进！

两个意外成果：

• 更可靠和可信的 E2E 结果：我们的测试不稳定性（指测试间歇性或不一致失败，尽管没有代码变更）显著降低。这一改进得益于优化的管道、减少复杂前端构建需求的可能性以及一致的资产交付。根据月度测量，我们观察到测试不稳定性百分比达到历史最低。
• 重新发现遗留代码：实施此优化需要深入探究多个系统长期未重大修改的遗留代码。这一探索产生了宝贵见解，引发了关于代码库行为的新问题，并为未来增强生成了一系列待办任务。

结论：重新思考前端构建效率

通过战略性地利用 git diff 和内部 CDN 等现有工具，我们成功节省了宝贵的开发者时间，降低了云成本，并提高了整体构建效率。

对于其他公司面临 DevOps 和 DevXP 类似瓶颈的团队，教训是质疑管道中真正必要的部分并进行相应优化。此项目的改进事后看来似乎显而易见，但在未完全失效的系统中，低效常被忽视。在我们的案例中，重新思考前端资产处理方式为组织带来了巨大成功。

致谢

此类项目涉及许多动态部分：构建和测试的复杂管道、云基础设施、内部 CDN、前端代码的复杂构建系统以及整个系统中的现有自定义设置。它包括用 Python、JavaScript、Bash、PHP/Hack、Rust、YAML 和 Ruby 编写的代码。我们在几乎无停机的情况下实现了这一目标！好吧，几乎是。部署管道内部有十分钟的停机时间，但很快得到修复。

此项工作离不开以下人员的贡献：

Anirudh Janga、Josh Cartmell、Arminé Iradian、Anupama Jasthi、Matt Jennings、Zack Weeden、John Long、Issac Gerges、Andrew MacDonald、Vani Anantha 和 Dave Harrington

有兴趣承担有趣项目、让人们的职场生活更轻松，或只是构建一些很酷的表单吗？我们正在招聘！