首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

全能詹:Jenkins收集测试误报用例

前言 什么是误报? 这里定义为不是用例本身错误导致的错误(网络、环境等原因造成的失败)。 对于自动化接口测试之前也没有太多的研究,经历了一些实践。...我们先根据接口的返回过滤出一些误报的失败用例(类似于网络错误、环境问题等)。然后通过Jenkins的交互的展示给用户,供用户再次选择其他接口是否也属于误报。...确认后将误报的用例计入成功用例数,重新计算成功率和失败率以及误报率。(这肯定不是最佳的做法,最佳的做法应该是有一个测试的平台或系统,当前做法也算是可以完成误报率的统计) ? ?...falsePositive) } stage("UserAccept"){ def result = input message: '请选择属于误报的用例...完成上述操作后,就可以计算本次测试中的误报用例数量。并将误报数据收集到度量系统中。

1.1K10
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    解决 Prometheus 监控 Kubernetes Job 误报的坑

    昨天在 Prometheus 课程辅导群里面有同学提到一个问题,是关于 Prometheus 监控 Job 任务误报的问题(已经同步到社区网站),大概的意思就 CronJob 控制的 Job,前面执行失败了会触发报警...而大部分直接使用 kube-prometheus 安装部署的话使用的默认报警规则是kube_job_status_failed > 0,这显然是不准确的,只有我们去手动删除之前这个失败的 Job 任务才可以消除误报...hello-4111706356 0/1 2m 10d hello-4111706356 1/1 5s 5s 要解决上面的误报问题...kube_job_status_failed:sum * ON(cronjob, namespace) GROUP_LEFT() (kube_cronjob_spec_suspend == 0) 为避免误报...到这里我们就解决了 Prometheus 监控 CronJob 的任务误报的问题,虽然 kube-prometheus 为我们内置了大量的监控报警规则,但是也不能完全迷信,有时候并不一定适合实际的需求。

    65530

    【攻击意图评估:序】误报太多?谈海量告警筛选

    经常接触安全运维的人,可能或多或少都听说过一些“告警无用论”: 防护规则太敏感了,99%的防护告警都是误报 每天那么多防护告警,各个信息系统却还都运行得好好的 能确定是攻击的都已经阻断了,没阻断的攻击也未必能告警...上图中的色彩比例并不精确(实际上少量随机抽样很难抽到安全事件相关的告警),但可以确定的是,真正意义上的误报告警虽然不算罕见,但也并非低价值告警的主要成分。...运维人员讨厌低价值告警,更多的是因为告警所指示的网络活动与企业安全运维流程没什么关系,而那些描述与实情不符的误报告警只是其中的一小部分而已。

    3.4K40

    基于标记数据学习降低误报率的算法优化

    前10天的数据用来训练模型,后10天的数据用来衡量模型的表现; 每个告警带有是否误报的标签。红色代表误报,蓝色代表准确告警。...但并不是所有的误报都聚集在这个时间段,同时并不是这个时间段的所有告警都是误报; 误报大多来自于一批不同的IP。...也就是说再完美的智能模型,误报率也不会低于9%。 这些假设在实际的应用场景中也是相对合理的。如果误报是完全随机产生的,那么再智能的模型也不能够捕捉到误报的提出信号。...红色代表误报,蓝色代表正确告警。基于设定特征值的降维分析可以得到两个聚集,即误报和非误报有明显的区分的,也就是说误报的是有一定规律,不是完全随机的,因此是可以被机器学习捕捉到的。...达到我们所预期的效果,当训练数据越来越多的时候,测试数据当中的误报率从20%多降低到了10%。通过对告警数据和标签的不断自学习,可以剔除很多告警误报。

    1.9K80

    django 1.8 官方文档翻译:6-6-5 错误报告

    错误报告 当你运行一个公开站点时,你应该始终关闭DEBUG 设置。这会使你的服务器运行得更快,也会防止恶意用户看到由错误页面展示的一些应用细节。...通常,日志记录会被忽略,但是你可以通过编写合适的处理器和配置日志,将它们用于错误报告。 过滤错误报告 过滤敏感的信息 错误报告对错误的调试及其有用,所以对于这些错误,通常它会尽可能多的记录下相关信息。...在上面的例子中,user, pw 和cc 变量的值会在错误报告中隐藏并且使用星号(****) 来代替,虽然name 变量的值会公开。...产生错误报告的时候,这个过滤器使用装饰器的注解来将相应的值替换为星号 (****) 。...另见 你也可以通过编写自定义的exception middleware来建立自定义的错误报告。

    85120
    领券