首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

模型稳定指标—PSI

模型效果主要从两个方面衡量: 1.模型本身的效果,主要评价指标包括区分度、准确度等。 2.模型稳定性,主要评价指标包括PSI和CSI等。...之前阐述了模型本身的评价指标:混淆矩阵、F1值、KS曲线、count_table和ROC曲线AUC面积,本文介绍模型稳定指标PSI。...一、详细介绍PSI 1 什么是PSI PSI(Population Stability Index):群体稳定指标,是通过对比历史样本分布和当前样本分布的波动,来衡量数据的稳定性。...模型PSI关注训练集和验证集,以及模型上线部署后,模型的分布是否稳定。 为什么要关注模型的稳定性?...下面是按等宽计算PSI的具体实例: 3 PSI阈值衡量标准 两个样本间的差异越小,PSI值越小,代表越稳定,一般来说, PSI<0.1,样本分布有微小变化,变量较稳定可以入模,或模型较稳定可以不做调整

1.9K10

Kubernetes 1.21:指标稳定性到达毕业阶段

稳定指标不仅提供了可支持性的保证,指标稳定性框架还为你在遇到有问题的指标时提供了逃生通道。 这里查看Kubernetes 稳定指标列表[1] 什么是稳定指标,为什么我们需要它们?...集群监控基础设施通常假定某些控制平面指标具有稳定性,因此我们引入了一种将指标版本化为适当 API 的机制,其稳定性保证了正式指标的弃用过程。 指标稳定级别是什么?...为了从现有的稳定指标中添加或删除一个标签,我们必须引入一个新的指标并弃用稳定指标;否则将违反兼容性协议。 指标是如何被弃用的?...经过弃用过程的稳定指标将表示该指标最终将被删除。指标的弃用生命周期大致是这样的(每个阶段代表一个 Kubernetes 版本): ? 弃用的指标与它们的稳定指标具有相同的稳定性保证。...如果一个稳定指标已被弃用,那么已弃用的稳定指标就保证不会改变。当一个稳定指标被弃用时,未来的 Kubernetes 版本将指定为该指标被认为弃用的版本。

90050
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    风控模型:PSI 稳定指标详解(Python)

    风控模型人员在做模型时可能更关注效果AUC/KS等评估指标,效果胜过一切。但其实对于模型而言,稳定性的重要程度要胜过效果。...本文将介绍风控中稳定指标PSI的概念和理解,以及A卡模型上线后如何对模型分及入模变量进行稳定性观测。...为了验证我们的猜想,就需要计算模型逐月的PSI稳定指标。...一般情况下,PSI稳定指标的参考值如下: PSI的Python实操 下面我们用Python代码来实操一下PSI指标的计算,以及PSI指标逐月的计算。...month_list return psi_month_table, psi_month_detail_total 举例,下面我们以5月为参照,以5月以后所有月份为实际分布,计算所有变量的PSI稳定指标

    3.8K11

    衡量软件系统稳定性三个常用指标

    即便如此重要,很多公司,特别是中小企业基本不会重视监控指标的建设,究其原因成本高,短期收益相对较低,所以只能头疼医头脚痛医脚。...总结 业界的发展历程来看,技术的代码化、标准化、自动化是一个必然的演进过程。...对于有能力和前景的企业,在发展过程中会把技术栈统一、资源接口统一、底层基础设施统一,这个历程会非常长,从笔者的经验来看,应该小步迭代,按照实际效果谨慎执行。...软件项目虽然说技术很重要,但是人、成本、落地场景同样重要。所以不能只是考虑光鲜的政绩,并没有有效地解决实际问题。就像最近一段时间提出的 AIOps,这种高度自愈的系统一定是软件运行的终极目标。

    1.5K20

    特征稳定指标PSI的原理与代码分享

    PSI这个指标我们在风控建模前后都是需要密切关注的,这个指标直接反映了模型的稳定性,对于我们评估模型是否需要迭代有着直接的参考意义。今天我将从下面几方面来介绍一下这个指标。...PSI的概念 02 PSI的生成逻辑 03 PSI的业务应用 04 PSI的Python实现 01 PSI的概念 PSI全称叫做“Population Stability Index”,中文翻译是群体稳定指标...,从风控应用的角度理解就是分组的测试与跨时间稳定指标。...03 PSI的业务应用 那么有了这个稳定指标,在具体的风控场景中可以怎么应用呢?...tt, psi = cal_psi(df, df_test, 'age', 'target') print("PSI: ", psi) tt Reference [1] 风控模型—群体稳定指标

    3.8K20

    稳定指标度量,货拉拉这么做

    作者介绍 货拉拉技术稳定性团队负责人——李全 TakinTalks社区特邀讲师。...2021年加入货拉拉,现任货拉拉技术稳定性团队负责人,主导了公司技术稳定性体系从0到1的建设,也曾作为核心成员深度参与了阿里本地生活技术风险体系建设,在应急响应、变更管控、大促保障等稳定性领域有丰富经验...在这样的业务模式和业务规模下,技术稳定性的必要性和重要性是不言而喻的。 我在2021年加入货拉拉,当时技术稳定性刚刚处于起步阶段,很多工作待建。...今天的分享将结合过往在阿里本地生活技术风险体系下的经验沉淀,以及在货拉拉的实践成效,探讨技术稳定性的重要性和建设方法。 一、为什么一定要做稳定指标度量?...FunTester原创专题推荐~ 900原创合集 2021年原创合集 2022年原创合集 接口功能测试专题 性能测试专题 Groovy专题 Java、Groovy、Go、Python 单测&白盒 FunTester

    1K20

    提升 Node.js 服务稳定性,需要关注哪些指标

    上周在团队分享了我的一些 Node.js 服务稳定性的优化实践,后面也会慢慢分享给大家,本篇文章我先给大家介绍一些在服务端稳定性上面我会关注的一些指标。...整体分为两个大的方面: 资源稳定性:即当前服务所处的运行环境的一些指标,一般如果资源稳定性的指标除了问题,那么服务有可能已经有了大问题,甚至处于不可用状态。...因此与 uv 相关的数据指标可以一定程度上反应出 Node.js 应用的稳定性。 Libuv Handles ?...错误日志 服务运行过程中产生的错误日志数量也是衡量一个服务是否稳定的重要指标,对于错误日志上报,不同公司的业务可能有不同的实现,但是应该大同小异,一般日志都分为 INFO、WARN、ERROR 几个级别...延时 延时情况也是衡量一个服务稳定性的重要指标,一些非常慢的接口除了会影响用户体验,还有可能会影响数据库的稳定性,一般我们在接口的延时和数据库的延时两个方面关注服务延时,这个比较好理解,这里我就不再多说了

    1.4K30

    掌握JVM诊断命令,稳定Java应用

    作为Java开发,有时候我们会遇到一些棘手的内存溢出、线程死锁等问题导致应用不稳定。这个时候,就需要对JVM进行诊断和分析,快速定位问题原因。...jps - 查看Java进程 jps是最基本也最常用的命令之一,它可以列出正在运行的Java进程,显示进程ID。...基本用法很简单: jps 加上 -l 参数可以打印出完整的包名,更方便定位: jps -l 在日常监控的时候通过jps来快速查看Java进程非常方便。...在排查问题时,一定要耐心、有条理,同时结合工具和日志进行综合分析,这样才能高效解决问题,让Java应用运行更稳定。 作为Java开发,掌握这些JVM诊断命令是非常有必要的。...我正在参与2023腾讯技术创作特训营第二期有奖征文,瓜分万元奖池和键盘手表

    21320

    SpringBoot2核心技术-指标监控

    | | metrics | 显示当前应用程序的“指标”信息。...prometheus 以Prometheus服务器可以抓取的格式公开指标。需要依赖micrometer-registry-prometheus。...最常用的Endpoint Health:监控状况 Metrics:运行时指标 Loggers:日志记录 2、Health Endpoint 健康检查端点,我们一般用于在云平台,平台会定时的检查应用的健康状况...应该是一系列健康检查后的一个汇总报告 很多的健康检查默认已经自动配置好了,比如:数据库、redis等 可以很容易的添加自定义的健康检查机制 3、Metrics Endpoint 提供详细的、层级的、空间指标信息...project.artifactId@ #使用@@可以获取maven的pom文件值 mavenProjectVersion: @project.version@ 2、编写InfoContributor import java.util.Collections

    50010

    自建稳定高效的隧道代理池技术分享

    图片对于爬虫技术人员来说,自建HTTP代理池是提高爬虫效率和成功率的关键一环。本文将详细介绍如何构建稳定高效的自建HTTP代理池。通过本文,你将能够充分利用代理池的优势,顺利完成数据采集任务。...一、选择合适的代理IP源首先,选择合适的代理IP源对于构建稳定高效的自建HTTP代理池至关重要。可以选择一些优质的代理IP提供商或者免费的开放代理IP源。...值得注意的是,代理IP源的质量和稳定性直接影响到后续代理池的可用性和效率。二、代理IP的验证和筛选获取到代理IP后,需要进行验证和筛选。...可以利用多线程或异步处理技术,保证代理IP的及时更新和动态管理。四、优化代理池的调度和请求策略为了进一步提高代理池的效率,可以对代理IP的调度和请求策略进行优化。...可以根据代理IP的质量、响应速度等指标建立评分机制,选择最优的代理IP进行请求。可以设置一些策略,如动态调整请求频率、应对常见的反爬虫策略等,保证数据的稳定获取。

    38820

    java技术介绍_Java技术汇总

    这篇文章总结了多年来使用Java的一些心得体会,主要是和一些Java基础知识点相关的,也希望能分享给刚刚入门的Java程序员和打算入Java开发这个行业的准新手们,希望可以给大家一些经验,能让大家更好学习和使用...我在面试有超过3年Java经验的开发者的时候,JVM几乎就是一个必问的问题了。当然JVM不是唯一决定技术能力好坏的面试问题,但是可以佐证Java开发能力的高低。...这 个知识点是最最基本的Java开发者需要掌握的,初学Java,第一个肯定是教你如何在命令行中执行Java程序,但是很多人一旦把Java学完 了,IDE用上了,就把这个都忘了。...Java命令的使用, 带package的Java类如何在命令行中启动 3.Java程序涉及到的各个路径(classpath,Java。library。...以上也只是简单介绍了Java基本知识点和技术点的一些看法和介绍, 这些内容都源自于动力节点Java学院的老师这些年来使用Java的一些总结, 希望给刚刚接触Java, 或者打算从Java开发的人一些经验

    59820

    记录数据工具建设技术沙龙-指标取数

    一、前言 疫情真的对普通人的生活产生了太大的影响,以前的技术沙龙都是线下举行的,这次美团大数据建设实践沙龙成了纯线上,科技正在改变生活的方方面面,深刻感觉到互联网在线化是个不可逆的趋势。...安迪·沃霍尔 大数据技术要素:采、算、用、看、治. 本文主要介绍其中的指标自助取数产品实践,感觉整体听着感觉很棒!所以分享给大家。...2.2 产品理念: 全、快、准、好用 2.3 产品简介: 灵活查找、快速查询、丰富分析、快速决策 三、建设思路 3.1 指标的定义与管理-全 3.2 指标的查询与优化(快) 3.3 指标的质量与安全...(准) 3.3 指标的应用与分析(好用) 四、未来规划 4.1 以业务驱动指标建设,推动数仓规范落地。...4.2 以需求为中心,自主定义指标。 4.3 围绕产品使用,降低数据消费门槛。

    70940

    技术分析】六:搜索排序—指标介绍与选择

    导语: 这一节将着重说明,怎样定位线上和线下指标之间的差异,对齐线下和线上指标,得到一个大致的关系。优化线下什么指标,对应的能带来线上什么指标的提升。这样可以避免模型上线的风险。...系列文章: 【技术分享】一:搜索排序—概述 https://cloud.tencent.com/developer/article/1523867 【技术分析】二:搜索排序—工业流程 https://cloud.tencent.com.../developer/article/1525595 【技术分享】三:搜索排序—机器学习化建模 https://cloud.tencent.com/developer/article/1527336 【...技术分享】四:搜索排序—数据的采集与构造 https://cloud.tencent.com/developer/article/1528253 【技术分享】五:搜索排序-特征分析 https://cloud.tencent.com.../developer/article/1531448 【技术分享】七:搜索排序—排序模型 https://cloud.tencent.com/developer/article/1533656

    6K42

    不要让基础技术设施成为稳定性瓶颈

    如果基础技术设施不够稳定或者频繁出问题,则会在很大程度上影响研发活动的开展,以及最终的交付质量。 这篇文章,聊聊基础技术设施相关的话题。...再聊聊第二个问题:为什么网络作为基础技术设施需要保持资源冗余? 以盖房子为例,都是先设计定义好各项指标和图纸,然后才是施工。根据对房屋设计的高度和使用建筑材料的不同,房屋地基的宽度和深度也会不同。...而业务运营的载体,即各种前后端应用服务则是在基础技术设施之上的墙壁门窗,高性能高可用和良好的用户体验则是精装修。 建筑物在设计时都会保留一定的冗余空间,即设计阶段定义的指标需要超过实际使用所需。...同理,切换到IT系统视角,作为基础技术设施的网络带宽、服务配置和环境稳定性,也需要大于业务稳定性的要求。只有保留一定的冗余空间,才能更好的为业务运营和商业目标达成提供支撑。...确定入口QPS的技术指标后,接着就是按照业务场景、调用链路,对涉及到的各个技术组件进行容量评估工作(即为了满足预期技术指标,最少需要多少服务资源)。然后才是各项技术改造、性能测试优化和监控告警。

    9210

    JAVA基础☞探针技术Java探针-Java Agent技术

    1、原理:基于javaAgent和Java字节码注入技术java探针工具技术原理 ?...2、原理分析 动态代理功能实现说明,我们利用javaAgent和ASM字节码技术开发java探针工具,实现原理如下: jdk1.5以后引入了javaAgent技术,javaAgent是运行方法之前的拦截器...我们利用javaAgent和ASM字节码技术,在JVM加载class二进制文件的时候,利用ASM动态的修改加载的class文件,在监控的方法前后添加计时器功能,用于计算监控方法耗时,同时将方法耗时及内部调用情况放入处理器...; import java.security.ProtectionDomain; import java.util.ArrayList; import java.util.HashMap; import...java.util.List; import java.util.Map; import javassist.ClassPool; import javassist.CtClass; import

    3.9K30

    技术知识和稳定的系统之间,可能还差这些?

    程序的术是大家都能得到的共识,各种各样提升自己技术的文章到处都是,这里我们说说程序的道,也就是方法。这也是大家经常忽略或者不重视的地方。 作为一名艺术工作者(哈哈,自己也笑了。)...其实一般都是通过IDE的插件去检查,常用的有适用于javascript的jsHint,适用于java的checkstyle,适用于 .net 的StyleCop。...技术、知识、能力一定要变现成成果,即使是做技术研究,也需要有成果的展示,而不能一直处理进行中的状态,这种意识是非常重要的。 关于集成 测试代码是节省时间,而不是影响进度 一定要写测试用例。...有时,我们过多的关注了技术知识体系本身,却忽略了把自己的技术知识更好的运用到工作中,运用到自己的系统中,因为这些东西除了学习相关的技能,更多的是需要自己总结,随时趟过的坑越多,可能总结的东西越多,罗马不是一天建造的

    87080

    直播源码技术控制平台稳定的两种方式

    直播不仅仅成为人们休闲娱乐的方式,他也变成了人们工作、学习等一些方式,这就使直播APP源码平台的人数的巨大,这也增加了运营商的烦恼,当直播APP源码平台的直播间中观看用户到达一定限度时,如何能保证直播的稳定进行...当然,这也就是我们今天要解决的一个问题,简简单单的两种方式就能实现直播APP源码平台的稳定进行,今天分享给大家。...我首先给大家介绍控制直播APP源码平台的稳定这两种方式,第一种方式叫负载均衡,大家可能对这个词不是太了解,负载均衡其实就是对多台后端服务器进行流量分发的服务,通俗讲他的功能就是充当了中间人的角色,通过检查后端服务器健康状态来合理分配任务...下面我给大家介绍如何这两种方式:(部分代码)负载均衡分为公网负载均衡和内网负载均衡:下面为实现代码图片图片图片图片消息优先级的实现:下面为代码图片 这样,我就把简单两步控制直播APP源码平台的稳定的方法分享给大家了

    21650

    技术知识和稳定的系统之间,可能还差这些?

    程序的术是大家都能得到的共识,各种各样提升自己技术的文章到处都是,这里我们说说程序的道,也就是方法。这也是大家经常忽略或者不重视的地方。 作为一名艺术工作者(哈哈,自己也笑了。)...其实一般都是通过IDE的插件去检查,常用的有适用于javascript的jsHint,适用于java的checkstyle,适用于 .net 的StyleCop。...技术、知识、能力一定要变现成成果,即使是做技术研究,也需要有成果的展示,而不能一直处理进行中的状态,这种意识是非常重要的。 关于集成 测试代码是节省时间,而不是影响进度 一定要写测试用例。...有时,我们过多的关注了技术知识体系本身,却忽略了把自己的技术知识更好的运用到工作中,运用到自己的系统中,因为这些东西除了学习相关的技能,更多的是需要自己总结,随时趟过的坑越多,可能总结的东西越多,罗马不是一天建造的

    58630
    领券