7款开源自动化测试框架优缺点对比

1. Robot Framework

Robot Framework（RF）是用于验收测试和验收测试驱动开发（ATDD）的自动化测试框架。 基于 Python 编写，但也可以在 Jython（Java）和 IronPython（.NET） 上运行，提供跨平台支持（Windows、Linux 或 MacOS ）。

优点：

通过使用关键字驱动测试（KDT）方法简化了自动化测试过程，方便测试人员创建易读的测试。

测试数据语法简单易用。

生态系统丰富。由各种通用测试库和工具组成，这些工具都是作为独立项目开发的。

具有高度可扩展性。

可通过 pabot 或 Selenium Grid 执行并行测试。

缺点：

自定义 HTML 报告较为麻烦。

如果是针对大范围的库和扩展的 KDT 自动化测试，建议使用此跨平台框架。如果想要添加新的关键字（通过 RF 测试库 API ），需要具备 Java / Python / C 语言的基础知识。

2. JUnit

JUnit 是一款针对 Java 应用的单元测试框架，用于编写和运行可重复的测试。

优点：

纯 Java 编写。

支持测试驱动开发（TDD）。

允许创建自己的单元测试用例套件。

能很好地与其他工具（如 Maven ）和 IDE（如 IntelliJ ）集成。

长时间发展，有自己庞大的用户群体，可以很容易找到文档。

缺点：

如果需要 mocking 能力，则需要额外添加 Mockito（或其他模拟库）。

因 JUnit 中的方法名称受 Java 约定限制等原因，非技术人员很难读懂测试结果。

如果你正在为你的 Java 应用编写单元测试，那这可能是最好的选择。 但是，对于功能测试或非 Java 应用，应考虑其他解决方案。

3. Spock

Spock 是用于 Java 和 Groovy 应用的测试和规范框架，基于 JUnit 。

优点：

测试可读性强，支持简单的英文句子，便于阅读。

提供周边上下文，从而能轻松了解如何解决故障。

内置 mocking 和 stubbing 功能。

支持数据驱动测试（DDT）。

缺点：

需要具备基本的 Groovy 语言知识。

如果你的应用是基于 JVM 的，并且目标是使用 DSL 进行 BDD 自动化测试，则此框架正适合！

4. NUnit

NUnit 是支持所有 .Net 语言的单元测试框架。最初也是基于 Junit 的启发，完全采用 C＃ 编写，目前已被完全重新设计以使用更多 .NET 语言功能。

优点：

启动和测试执行速度快。

自带断言和注释。

支持并行测试。

支持测试驱动开发（TDD）。

缺点：

非跨平台，仅适用于 .Net 语言。

未集成到 Visual Studio echo 系统中，意味着使用它需要更多的维护。

一个很好的 C＃开源单元测试框架，历史悠久，口碑较高。 不过，如果你正准备使用 .NET 语言，也可以考虑 MSTest 。

5. TestNG

TestNG 是一个 Java 自动化测试框架，受 JUnit 和 NUnit 的启发，但又改进和新增了一些功能。旨在涵盖所有自动化测试类别：单元测试、功能测试、端到端、集成测试等。

优点：

容易整合到 maven 循环中。

使开发人员能够编写灵活而强大的测试。

支持数据驱动测试（DDT）。

注释很容易理解。

测试用例可以轻松分组。

允许创建并行测试。

缺点：

只支持 Java ，至少需要具备 Java 编程语言的基础知识。

必须投入时间进行框架设置和设计。

如果你使用 Java ，并正寻找端到端的自动化测试框架，同时愿意投入一点时间去设置框架，你应该考虑使用 TestNG 。

6. Jasmin

Jasmine 是一个 JavaScript 单元测试框架， 也被称为 JavaScript 的行为驱动开发（BDD）测试框架。适用于网页、Node.js 项目或任何可以运行 JavaScript 的地方。它主要与 AngularJS 配对使用。

优点：

除了 JavaScript ，还可以运行在 Python 和 Ruby 中。如果想在你的服务器端运行客户端测试，它可以帮助你。

被许多 CIs 使用和支持。

内置用于断言的语法。

缺点：

多数情况下，它需要一个测试运行器（如 Karma ）。

难以异步测试。

如果你正在寻找一个统一的（客户端 - 服务器）单元测试解决方案，Jasmin 可能会非常适合。

7. Mocha

Mocha 是一个 JavaScript 单元测试框架，它在 NodeJs 上运行测试，主要与 ReactJS 配对使用。

优点：

内置测试运行器。

支持异步测试。

使用灵活，可使用任何符合需求的断言库（Chai、expect.js、Must.js 等）作为 Node 标准“断言” 功能的替代品。

缺点：

相对较新 (起始于 2012 年)，意味着有许多的未知性和可变性，在某些方面或缺乏用户基础和支持。

仅提供基本的测试结构，因此需要额外的设置和配置（对于一些可能是有利的）。

如果你正在寻找 JavaScript 的独立单元测试框架，Mocha 是首选！

转自：https://my.oschina.net/editorial-story/blog/1574692