大模型测试技术与实践（文末送书）

Part.1

大模型测试为什么“测不准”？

自DeepSeek开源模型发布以来，以其卓越性能、低成本优势席卷全球，各大厂以及有实力的科研机构、企业组织都在积极实施本地化部署，希望拥有自己的满血版DeepSeek，为业务插上智能化的翅膀。

部署完只是第一步，要用好DeepSeek还有许多工作要做，包括数据投喂、性能优化、模型微调、安全加固等。要想保障DeepSeek良好运行，一件重要的工作就是做好模型测试。

但对大模型测试却有可能出现“测不准”的问题，这是为什么？

因为大模型在本质上仍然是一套软件系统，这样的 AI 系统仍然是可能存在缺陷（bug）的。但 AI 系统有其特殊性，使得传统测试手段存在局限性，以致造成“测不准”的问题，主要有以下原因。

● 测试彻底变成黑盒测试：大模型的处理逻辑难以还原，这使得测试用例的预期无法预测。

● 数据集划分困难：数据集的设计如果有一定的偏差，会导致最后的结果与预期相差甚远，更不能确定 AI 系统是否实现业务目标。

● 测试预期变得模糊：AI 系统会通过自主学习不断完善来提升精确度，这也造成测试预期的有效性难以判断。

● 偏见识别要求高：这对测试工程师在道德水准、法律意识方面提出了更高的要求，要能识别偏见数据并调整。

● 多种可能性导致需要重定判断标准：外部环境的不确定性，使得模型的输出存在差异，需要评估结果的可信度。

存在这些问题，大模型的测试还能做吗？《大模型测试技术与实践》 这本书给出了答案：可以！书中根据 AI 系统的特点，提出了一系列有效的测试方法，使得大模型的质量有了可靠的保障手段。

我们先来探寻一个问题，传统测试方法在 AI 系统中完全无用了吗？

Part.2

传统测试方法失效了吗？

在传统的软件测试中，对功能设计测试用例的方法包含边界值法、等价类划分法、因果图法、场景法、正交试验法等，这些方法都基于软件系统的设计逻辑。

上述的测试用例设计方法可以让测试工程师从代码逻辑出发，预测系统的测试输入和输出。一个典型过程就是构造好测试输入后，人工将数据输入系统，对输出的结果与预期结果进行比对，判断系统功能是否正常。

但对于大模型来说，它所生成的并不是严格意义上的标准输出，想要完全套用传统测试手段是有困难的，因此需要转换测试思路来验证 AI 系统响应业务需求的质量。

图片

从本质上说，AI 算法是面向范围准确度的计算，而不是面向预期结果的设计，因此在 AI 系统的测试中，最好以统计结果的方式评价系统。

一个直观的思路，就是测试工程师可以定义每个结果的置信区间，从而确认 AI 系统的测试结果是否正确，落在置信区间内表明测试通过，落在置信区间外表明测试不通过。

书中提出了蜕变测试用来解决“测不准”的问题，此外还介绍了 AI 道德的验证和实践方法、提示词工程在软件测试中的应用，以及大模型下的智能化测试等。

图片

▲蜕变测试

需要说明的是，在 AI 系统的测试中，传统测试中的一些理念和方法只要加以调整，仍然是适用的。书中详细说明了测试用例设计方法、分层测试、兼容性测试设计方法、性能测试等。

本书作者陈磊，拥有十多年的软件测试开发、性能测试以及技术管理经验，熟悉质量保障流程和测试流程，对测试技术和方法都有深入研究，公开发表学术论文近 30 篇，专利 20 余项，并著有包括《接口测试方法论》在内的多部技术专著。

图片

他曾任京东测试架构师，主导了京东的自动化测试平台以及质量效能平台“精灵”的设计与研发工作。他还是阿里云 MVP、华为云 MVP、中国商业联合会互联网应用工作委员会智库专家、中关村智联软件服务业质量创新联盟软件测试标准化技术委员会委员。

大模型日益普及，测试却变得棘手。面对这个问题，陈磊基于自己丰富的理论与实践经验，采用传统测试与独特的 AI 系统测试相结合的方式，提出了一系列方法论，透彻地说明了大模型的测试之道。

现在让我们开始大模型测试之旅。

Part.3

双管齐下玩转大模型测试

《大模型测试技术与实践》不仅深入探讨了大模型测试的独特挑战和机遇，还提出了将传统软件测试的原则和方法与 AI 系统的测试方法相结合的实践方案，双管齐下来确保大模型在各种应用场景中的可靠性、有效性和道德合规性。

书中先是介绍了数据收集、清洗、标注和集划分的流程，这些是AI系统测试的基础。然后讲解了大模型中常用的参数和模型性能的评估指标，包括基准测试的介绍，如 GLUE、SuperGLUE 等，这些测试帮助评估模型的语言处理能力和知识获取能力。

图片

▲数据清洗流程

重点介绍了 AI 系统的特殊测试用例设计方法，以及传统软件测试方法在AI系统测试中的应用。同时，探讨了 ChatGPT 类应用中 SSE 协议的接口测试实践内容。

对于 AI 道德问题，讨论了 AI 道德的重要性，包括歧视、偏见、道德判断等问题，并介绍了 AI 道德的验证方法和优秀实践，如 Model Card 的使用。

图片

▲AI道德测试用例的6个方面

提示词工程在大模型软件测试中可以起到重要作用，书中介绍了提示词工程的概念和设计方法，以及如何通过提示词工程利用大模型完成测试工作，提高测试效率和质量。

智能化测试是未来的趋势，书中探讨了智能化测试的发展和实践，包括开源的智能化测试工具的使用。

最后结合大模型的智能化测试，介绍了从 AI 算法的智能化到大模型的智能化测试的转变，并通过实际的 RAG 实践，让读者体验大模型测试和用大模型进行测试的过程。

图片

▲智能化测试的优点

学习完这些内容，测试工程师会打开视野，找到大模型测试的理念与方法。

Part.4

结语

《大模型测试技术与实践》紧跟当前人工智能技术的发展步伐，通过浅显易懂的语言和翔实的案例，为读者提供了一条清晰的学习路径，理论与实践并重。尤其是对急于部署DeepSeek模型的组织来说，本书提供了可靠的测试方法。

本书一大特点是内容新颖全面，涵盖了大模型测试的最新技术和方法，包括数据预处理、模型评估、道德验证、提示词工程和智能化测试等，确保读者能够掌握最前沿的测试技术。

图片

▲精彩书摘

另一大特点是实战性强，不仅讲解了理论知识，更提供了大量的实战案例和代码示例，涵盖了数据处理、模型评估、测试用例设计等多个方面，帮助读者将所学知识应用于实际工作。

图片

▲代码示例

书中内容浅显易懂，作者用简洁明了的语言阐述复杂的概念，并绘制直观的图示来展示处理流程，使得没有深厚背景知识的读者也能轻松理解。

图片

▲精彩图示

另外，在大模型测试中，道德和合规性问题尤为重要。本书特别强调了 AI 道德的验证和实践，帮助读者构建负责任的 AI 系统。书中对智能化测试进行了深入探讨，包括智能化测试工具的使用和大模型在测试中的应用，揭示了测试领域的未来趋势。

这本书可以说是为大模型开发者、软件测试人员和 AI 爱好者量身打造的，提供了丰富的知识资源，激发起读者对大模型测试技术深入探索的兴趣。

大模型测试告别“测不准”，把DeepSeek快速高效地跑起来，就看这本《大模型测试技术与实践》！