首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

基于图像识别框架AirtestWindows项目自动化测试实践

写在前面 上个星期分享了《基于Sikuli GUI图像识别框架PC客户端自动化测试实践》,但sikuli看起来怎么都像是上个世纪界面风格,且功能过于简陋。...而同样基于图像识别框架Airtest,则无疑强大了许多,本次分享内容是基于Airtest实现Windows应用自动化测试,内容大纲: Airtest框架介绍:Airtest适用项目、Airtest...编写测试代码 设计测试用例 运行效果 查看测试报告 总结与思考 一、Airtest框架介绍 1.Airtest介绍 Airtest是网易出品一款基于图像识别和Poco控件识别的一款UI自动化测试工具...这个框架设计来源于新颖图形脚本语言Sikuli,关于Sikuli框架可见上一篇分享《基于Sikuli GUI图像识别框架PC客户端自动化测试实践》。...:是一个跨平台基于图像识别的UI自动化测试框架,适用于游戏和App,支持平台有Windows、 Android和iOS; Poco:是一款基于UI控件识别的自动化测试框架,目前支持Unity3D/cocos2dx

1.7K20

基于图像识别自动化

方面了解不多,想要修改匹配方法或者增加一些功能比较困难,于是萌生了自己实现基于图像对比自动化想法。...二、 模板匹配 模板匹配(matchTemplate)是一种最具代表性图像识别方法。...基于 UI 自动化稳定性经常会遇到各种问题:比如窗口被遮挡、UI 发生变化、窗口被隐藏等等。...所以我认为基于图像自动化比较适用场景为: 1、 UI 比较稳定 2、 操作流程比较简单 3、或者弱业务流程自动化,如随便点击测试 后记 虽然模板匹配 特征点识别相似的图片,但依靠某种算法特征点还是太薄弱了...让机器拥有学习能力,可以自动地操作界面,根据反馈来识别操作控件,最终达到完全自动地测试程序 UI,到时候才是真正"自动化"测试吧。

8K70
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    基于Caffe 框架AI图像识别自动化

    自动化实现过程,UI框架自动化往往不能满足所有场景需求,比如:动态效果图片内容一致性检查;在全民AI浪潮中,基于Caffe框架AI图像识别结合QT4A自动化测试尝试,在企鹅电竞弹幕识别,以及表情业务自动化中动态图像识别有了落地...一、自动化检测结合AI图像识别效果图 效果:caffe训练模型,企鹅电竞APP中对当前整个手机屏幕中某一个特征弹幕识别率可达95%以上,其中表情动态内容识别可达到100%。...二、AI识别结合自动化整体方案 整体流程:在Caffer框架环境下,我们对训练好模型生成服务,结合QT4A自动化框架,在用例中调用AI识别接口,回调给自动化检查结果,整个过程简单可分两部分:模型训练和自动化识别调用检查...ResNet根据实验对比,如果纯图像识别,用GoogleNet已经远可满足使用: ?...8、部署模型 训练好模型,可作为服务部署,供自动化调用: ? 9、自动化调用 ? 提供post方法供自动化用例传递识别校验图片: ?

    2.5K51

    基于Sikuli GUI图像识别框架PC客户端自动化测试实践

    写在前面 最近两天,公司有个PC客户端测试任务,除了最基础功能测试外,还包括稳定性测试和兼容性测试需求。...刚好去年接触过Sikuli这款基于GUI图像识别框架自动化测试工具,于是便应用于测试工作中,辅助测试任务。初步试用下来,总体效果还算差强人意,也间接助我发现了一个致命级别的大bug(后续会介绍)。...; ② 无需关注元素有哪些属性,所见即所得; ③ 适合非标准控件等自定义界面的定位,如游戏界面; ④ 支持跨平台,如:Windows、Linux、macOS; 2.局限 ① 基于图像识别,图片大小、分辨率...; Sikuli 使用小结 尽管sikuli用来实现复杂测试场景不太现实,这也是所有GUI自动化测试无法改变现实。...虽然说这个bug是sikuli测出来bug有些牵强(本身自动化测试也不是用来发现bug),但sikuli绝对是出了很大一份力。只要能合理地利用,任何不起眼工具都可以发挥它价值!

    2.8K20

    基于图像识别的AI自动化测试框架:GAME AI SDK平台解析

    导语 | GAME AI SDK 是腾讯 TuringLab 研发首个开源项目,着重解决自动化测试工具中通用性问题,最初主要用于游戏 AI 自动化测试服务,现在可用于手机 APP、PC 端游戏、软件等专项自动化测试...一、GAME AI SDK概述 自动化测试好处显而易见,但自动化测试投入成本大却是一个很大障碍。...通过接入腾讯公司运营期或测试商业游戏,不停测试优化,最后推出这款 AI 自动化测试平台。...平台搭建与工程实践》一书,此书将 TuringLab 团队基于深度学习自动化AI测试框架基础开发与应用经验,进行了详细描述,分享了如何将AI技术与自动化测试相结合完成测试需求。...图像识别模块如图 5 所示: 图5 图像识别模块 图形图像识别与跟踪相关算法:此为图形图像识别算法模块,包括了一些常用图形图像识别算法,如像素检测、特征点匹配,梯度检测等,也包括了一些基于机器学习识别算法

    5.3K21

    基于XCTestiOS自动化测试

    ,生怕一不留神被拉去祭天~~为了能随时应对各种项目中紧急突发状况,提高测试效率,小编通过了解,希望能够通过自动化测试方法,提高回归测试效率,保证产品核心功能上线质量。...对iOS系统APP测试而言,Xcode集成XCTest是再好不过测试框架了,下面小编来分享一些基于XCTest自动化测试认识,希望能对做iOS自动化测试各位同学有所帮助。...XCTest介绍 XCTest是苹果官方提供集成在Xcode中测试框架,用来编写测试代码。...那么基于XCTest自动化测试是怎么执行呢? 1....接下来就是针对测试结果进行对应处理了~ 结束语 本文小编主要分享了XCTest框架自动化测试是什么,怎么执行,测试结果代码覆盖率等内容,除此之外,XCTest还可以在服务端进行持续集成自动运行测试

    3.7K21

    基于CucumberBDD自动化测试

    ,这是一个简单医疗服务网站,未病患提供简单预约门诊服务。...测试场景 这里,我们创建如下场景用例: 登录 登记一个门诊预约 检查预约是否成功 退出 步骤 1. 新建项目 ? ?...新建用例 在用例里,编写测试场景每一步必须操作步骤,点击新建 Test Case,会生成一个基于 Groovy 脚本空白用例,可以切换到 Script 视图查看 ? ? ? 3....切回 Katalon Studio 录制对话框,可以看到所有的操作和页面元素都被录制下来了,点击 OK 按钮结束录制并生成测试用例步骤和脚本 ? ? ? 4. 回放用例 ?...星云测试 http://www.teststars.cc 奇林软件 http://www.kylinpet.com 联合通测 http://www.quicktesting.net

    1K30

    基于Instrumentation框架自动化测试 - Android自动化测试系列(四)

    这篇里面主要介绍一下使用Instrumentation框架来进行自动化测试测试工程结构和组成,以及运行自动化测试执行原理。...在之前文章中提到过,基于Instrumentation框架测试程序以单独Android工程存在,他通过在manifest文件中指定要测试应用程序。...当你运行测试程序,Android会在相同进程里加载主程序,然后触发每个测试用例里测试方法。 这里主要介绍下基于Instrumentation框架自动化测试组成。...测试工程 基于Instrumentation框架测试程序工程与一般Android并无太大区别,最关键部分就是需要在应用AndroidMainfest里面添加被测试应用程序声明。...测试用例类 一个测试程序包含一个或多个测试用例,它们都继承自Android TestCase类。测试用例类选择取决于你要测试Android组件类型以及你要做什么样测试

    1.4K100

    基于OpenCV棋盘图像识别

    最终应用程序会保存整个图像并可视化表现出来,同时输出棋盘2D图像以查看结果。 (左)实时摄像机进给帧和棋盘(右)二维图像 01....数据 我们对该项目的数据集有很高要求,因为它最终会影响我们实验结果。我们在网上能找到国际象棋数据集是使用不同国际象棋集、不同摄影机拍摄得到,这导致我们创建了自己数据集。...使用低级和中级计算机视觉技术来查找棋盘特征,然后将这些特征转换为外边界和64个独立正方形坐标。该过程以Canny边缘检测和Hough变换生成相交水平线、垂直线交点为中心。...3.在冻结层顶部添加了新可训练层。...测试数据混淆矩阵 05. 应用 该应用程序目标是使用CNN模型并可视化每个步骤性能。

    7.4K20

    基于爬虫测试自动化经验分享

    之前很难区分自动化测试测试自动化之间区别,一直傻傻分不清楚,最近在工作实践中,突然对测试自动化有了深入理解。 个人理解:自动化测试侧重于测试,是一种测试技术。...测试自动化侧重于自动化,是一种测试工作方式或者思路。 下面分享一下我测试自动化一段经历,抛砖引玉,欢迎一起交流。...通常我们在做性能测试时候,基本都是事先知晓被测接口和服务调用链路,在测试中会看一下相关节点监控,一旦触发阈值,立刻停止增压,保持压力或者降低压力(考虑到监控延迟和请求堆积)。...第三个痛点:统一报警规则不适用性能测试,无法定制化。 测试自动化 通过痛点整理归类,原因就是两只眼睛盯不住那些监控。所以想到一个解决思路:通过爬虫解决监控问题,结合机器人通知及时预警。...成果 极大减少了监控占用精力,避免了遗漏 发现了几个线上服务BUG 某几次服务异常,提前1 ~ 2分钟发出预警 报警文案增加小组标识,极大提升了存在感 做完这些总结突然发现如果把测试自动化和办公自动化放在一起

    26320

    基于转移学习图像识别

    我们希望该网络可以判断出图片中狗狗最有可能品种,但不幸是它只有5%测试集准确度,可以说非常不准确了。此外,经过20次迭代后在验证集上平均损失约为4.5,已经很高了。...从预先训练模型中转移学习Keras是一个基于Python深度学习库,已经为我们编译了多个训练好了模型。在本练习中,我们将研究两种常见预训练模型:VGG16和Resnet50。...评估预训练模型和自定义层性能 为此,让我们尝试VGG16和Resnet50预先训练模型,并在顶部添加方法2架构,看看会发生什么。我们将在每种CNN架构测试集上报告损失函数和准确性。...损失函数——预测与实际结果相差多远,预测值越大,模型拟合数据点准确性越差。测试准确性——模型对测试集数据预测准确性。 VGG16 + GAP ?...通过这种体系结构,我们发现测试集精度为55.0%,经过60次迭代后平均损失约为7。此架构比我们训练模型准确得多,但损失也更高。

    1.6K20

    基于 Appium Android UI 自动化测试

    自动化测试是研发人员进行质量保障重要一环,良好自动化测试机制能够让开发者及早发现编码中逻辑缺陷,将风险前置。...统一标准——每个人对测试用例以及业务理解程度不同,标准可能存在不一致。 进行UI自动化测试面临问题 工具选择。 降低对后端依赖,避免因为测试环境后端不稳定导致测试失败。...具体系统结构如下图所示。 ? 上图描述了一次用例运行简要过程,事前需要在数据库中准备好测试数据,mock-server基于Appmock,使用NodeJS进行二次开发完成。...UI自动化测试运行效果 在排队与闪惠两条业务线进行了UI自动化测试实践,它们执行完成全套用例耗时均不超过20min。...当然,自动化测试前期环境搭建、数据准备、用例编写等任务是必不可少,这些准备工作很多都是一次性投入,一劳永逸,也正是自动化测试价值所在。

    2.1K40

    利用图像识别技术来做自动化测试和编写爬虫?

    今天想跟大家分享一个网易开发 UI 界面自动化测试工具 - Airtest。 ?...Airtest 项目是在 2018 年 Google GDC 大会上公布产品,主要使用图像识别技术来定位页面具体 UI 元素,这也就意味着它可以在不使用任何代码注入情况下完成自动化测试,在该产品发布前...相关报道:http://t.cn/E5BzczP 在使用过程中,开发者可以借助 AirtestIDE,通过在 IDE 中进行所见即所得编码方式,来简化 App 图形界面的测试流程,除此之外,你还可以借助该工具来编写...App 爬虫,效率也是蛮高。...哈哈,开个玩笑,具体使用情况可以根据你个人需求来,祝你玩得愉快,后面如果你用 Airtest 折腾出了什么好玩东西,也可以到 GitHubDaily 公众号和微博私信我。

    86630

    基于TensorFlow和Keras图像识别

    简介 TensorFlow和Keras最常见用途之一是图像识别/分类。通过本文,您将了解如何使用Keras达到这一目的。 定义 如果您不了解图像识别的基本概念,将很难完全理解本文内容。...池化过程使网络更加灵活,更擅长基于相关特征来识别对象/图像。 当观察图像时,我们通常不关心背景信息,只关注我们关心特征,例如人类或动物。...在了解模型性能在验证数据集上准确率后,通常会微调参数并再次进行训练,因为首次训练结果大多不尽人意,重复上述过程直到对准确率感到满意为止。 最后,您将在测试集上测试网络性能。...该测试集是模型从未用过数据。 也许您在想: 为什么要用测试集呢?如果想了解模型准确率,采用验证数据集不就可以了吗? 采用网络从未训练过一批数据进行测试是有必要。...因为所有参数调整,结合对验证集重新测试,都意味着网络可能已经学会了验证集某些特征,这将导致无法推广到样本外数据。 因此,测试目的是为了检测过度拟合等问题,并且使模型更具实际应用价值。

    2.8K20

    基于自动化用例精准测试探索

    在当前web系统或app后端服务测试过程中, 黑盒测试占据了大部分测试,即便是接口测试,也是基于场景用例设计,这种测试方法完全依赖于测试人员能力,经验和业务熟悉度,而互联网行业一大特点就是人员流动性高...基于黑盒测试使项目测试测试过程中存在以下几个问题: (1)黑盒测试受主观人为因素影响太大:黑盒测试完全依赖测试人员个人能力,经验和业务熟悉度,受主观因素影响太大,不确定性太多,这是产生漏测根本原因...我们探索方向是,适用于后端服务模块(web或app后端服务,或api,不局限于实现语言),基于接口自动化精准测试,并将这个概念做了扩展,不再局限于用例筛选,而是3个层面,即: (1)自动化用例筛选 (...我们方案/设想:基于自动化用例和覆盖率信息,获取单个自动化用例对应代码覆盖路径信息,并建立相应映射库(知识库),做为数据源。如下图所示 ?...方案背景介绍: (1)接口自动化用例:基于公司通知接口自动化框架平台书写,分为Http和Rpc两种接口类型 (2)后端服务实现语言为Java,基于SSH+ RPC分布式协议框架 (3)覆盖率工具采用Jacoco

    1.3K20

    图像识别测试应用

    提起ui自动化大家首先想到就是基于控件自动化,比如常见xpath、id、css选择器等手段进行元素定位并进行结果判断。...在具体讲解之前,先介绍一下图像识别测试中能够想到引用场景: 测试过程中,通过对待测软件进行屏幕截图,采用图像识别算法识别截图中是否包含预定义可操作控件,如果存在,则触发控制指令,也就达到了图像识别引导测试过程目的...- 测试结果验证,通过对待测软件界面进行截图操作,利用图像识别技术将截图与期望结果进行匹配,从而自动获取测试结果。- 通过图像识别对比来进行性能测试,比如app测试中常见响应时间测试。...一、原理 Sikuli脚本是由jython通过图像识别的方式来模拟键盘和鼠标事件,从而实现ui层面的自动化测试。...可以说会截图就可以进行自动化测试。 2、一些游戏或者一些特殊应用ui控件比较难以识别,然而通过图像识别却可以轻易找到对应元素。 3、代码学习成本比较低,常用函数已经封装完毕,并且简单易懂。

    85320

    基于python测试报告自动化生成

    前言: 日常测试流程中,时常需要将测试结果输出为报告文档予以公示。而如果能够将报告文档生成过程自动化实现,省去每次编辑表格、格式、图片时间,无疑是一项可观效率提升。...针对这一目标,小编了解并尝试了通过python中docx模块进行word文档自动化生成,于此将其基本方法与实现过程同大家交流分享。...首先是创建空白文档,其后所有操作都需要基于文档对象document来进行操作: from docx import Documentdocument = Document() 其次则是为文档添加标题...,继而对文档自动化生成整体思路进行引申。...总结: 综上,自动化测试报告生成脚本便完成了,在其后版本迭代过程中只需更改预设数据中内容,不同样式或内容报告即可自动生成,希望本文能够对大家有所帮助,欢迎各位同学一起讨论交流。

    1.3K10
    领券