模型验证样本是有要求的 模型验证样本需要与前面建模样本进行完全相同的处理,即: 模型的验证样本同样需要进行数据清洗、缺失值填充、分类变量WOE转换等处理; 在缺失值进行填补时,需要使用训练集的统计量而不是验证样本的统计量...不单单是逻辑回归模型具有混淆矩阵,只要因变量为离散形式的模型都具有混淆矩阵,混淆矩阵不是为逻辑回归模型设置的,而是为分类选择模型而设置的,连决策树与神经网络都会有混淆矩阵。 ?...我眼中的ROC曲线 衡量模型效果的指标之一为ROC曲线,一般,ROC曲线的取值在[0.5,1]之间,如果: [0.5,0.7)表示模型效果较低; [0.7,0.85)表示模型效果一般; [0.85,0.95...)表示模型效果良好; [0.95,1)好到这种程度的模型一般不会存在,至少我从来没有遇到过。...通常模型的监控工作只需要使用KS曲线进行监控即可,如果事后监控发现好坏样本之间的差异已经不太明显的时候,则说明模型已失效,需要重新进行模型修正、调整。
关于信用风险 之前工作中涉及到信用风险,接下来几天就分享些我在信用风险建模领域的一些经验吧~ 推荐一本比较好的资料书-《信用风险评分卡研究-基于SAS的开发与实施》,书的核心内容为以逻辑回归为基础构建信用评分模型...,如果将这本书的内容理解透彻,即使不从事信用评分卡相关的开发工作,也能对逻辑回归模型有一个更为深刻透彻的理解。...风险管理的核心有两方面,一是度量不确定性,一是度量不确定性发生后带来的损失,所以任何核心机构都会将风险度量当做整个业务的核心。...个人层面征信 经典的二八原则中,80%的利润是由20%的优质客户创造的,即20%的优质客户充当了利润贡献者的角色,剩下的80%的客户即是资源的消耗者。...风险评分模型的种类 风险评分模型一般可以分为如下三种: 1、申请评分:通过客户申请时的信息去预测将来发生逾期或违约的概率; 2、行为评分:通过客户以往行为表现,预测将来发生逾期或违约的概率; 3、催收评分
逸言 | 逸派胡言 本文是我的领域驱动战术设计课程第一部分《领域建模》的章节节选。目前,我还在紧张地撰写领域驱动战术设计课程,诸位莫催。...我始终认为,Eric Evans的领域驱动设计是对软件设计领域的一次重新审视,是在面向对象语言大行其道时对数据建模的“拔乱反正”。...我认为,UML图、代码与文档仅仅是表达领域模型的一种载体而已,如果绘制出来的UML图或者编写的代码与文档并没有传递领域知识,那就不是领域模型。...模型驱动设计非常强调模型的一致性,Eric Evans甚至认为“将分析、建模、设计和编程工作过度分离会对模型驱动设计产生不良影响。”这正是我将分析、设计和实现都统一到模型驱动设计中的原因。...我之所以清晰地将领域模型划分为这三个模型,主要是出于交流的目的。 在分析阶段,开发团队与领域专家一起工作,通过建立更加准确而简洁的分析模型,直观地传递着不同角色对业务知识的理解。
分类选择模型大约有十几个左右,例如: 线性概率模型 对数线性模型 逻辑回归模型 条件逻辑回归模型 名义逻辑回归模型 probit模型 但是实际用到最多的基本都是逻辑回归模型,尤其在商业分析中...逻辑回归模型的SAS实现代码 数据分析中,尽量不要构建 有序的 三分类或三分类以上的 逻辑回归模型,如果遇到Y是三或三以上分类的情况,最好通过合并的方式将Y转换成二元回归,这样模型的性质会更加稳健...SAS中实现逻辑回归的过程步很多,下面模型的业务背景为构建手机用户流失与否与在网时长的逻辑回归模型,代码为: 1、如果只是单纯建立逻辑回归模型,可以使用logistic过程步: ?...逻辑回归模型结果解读 在模型结果解读上,我更为关注下面几个方面: 1、模型总体显著程度检验: 逻辑回归没有提供R方,因此无法知道解释变量解释了变异的百分比,SAS中提供了三种极大似然估计常用的统计量...因果关系建模与取数逻辑 回归模型并不是严格意义上的因果关系,回归是可以进行预测的,但是,如果仅仅考虑预测的精度,而不重视业务中的因果关系,即使模型内部、外部的有效性很高,这种模型的预测效果也是暂时的
win7 和win10、win11的提示是一样的就是界面不一样简单粗暴解决编辑注册表:HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Services\LanmanWorkstation
VIF参数解读: 这里模型整体非常显著,但模型的自变量却只有一个是显著的,大部分自变量都没有显著,这种情况明显是模型的自变量间出现了多重共线性。...故最终可以确定模型的因变量为酱油需求量,模型的自变量为酱油价格与收入水平; 2、反复沟通: 模型服务于业务,与业务人员反复沟通必不可少,沟通过程中需要非常非常高的情商,很可能在这个阶段耗费掉...因自变量自身存在误差,变量越多误差越大,从而导致预测越不准,所以经验模型为了追求预测准确度 模型的变量较少; 3、模拟模型: 模拟模型是所有建模人的终极愿望,这个模型需要将事物发生、发展的全过程都用数学语言再现出来...我选择变量的方式 Data Analyst 变量选择在回归里是一个很麻烦的事情,我会依据实际情况,如果变量较少,我会使用全子集回归,然后从结果中去选择自己认为比较好的变量组合;如果变量数目较多...,我更喜欢去使用逐步回归。
简介 Fork/Join模型是ExecutorService的接口实现,可以帮助你利用多个处理器。...与任何一个ExecutorService实现一样,Fork/Join模型将任务分配到线程池中的工作线程中。...Fork/Join模型的核心是ForkJoinPool,该类的扩展AbstractExecutorService。ForkJoinPool实现核心工作窃取算法,可以执行ForkJoinTask任务。...基本使用 使用Fork/Join模型第一步应该编写核心任务代码。大题逻辑如下: if(我的任务足够小){ 直接工作 }else{ 任务划分成两份, 执行并等待结果。... = pool.submit(new CountTask(1, 10)); System.out.printf("统计结果为:%s",future.get()); } } 我的博客即将搬运同步至腾讯云
keystore.path: certs/http.p12:如果启用了SSL/TLS加密,这个设置项指定了包含HTTPS证书和私钥的PKCS12格式的密钥库文件的位置。...另外看到有人说需要更改network.host: 0.0.0.0为自己的外网ip,这个不需要的哈。0.0.0.0会自动适配你的服务器ip。...在前面三种方法都没办法解决后,我开始思考可能不是服务器自身的问题,而是阿里云的配置问题。...私网IP地址可以访问:所以考虑可能是公网ip的端口号没有开放,之前开放的都是私网ip的端口号。...云服务器中,私网ip就是你 ifconfig 后服务器返回的ip地址,但是公网ip端口号的管理是需要到云服务器控制页面去操作的。最后访问公网访问成功!
连续型问题:未来的数值是多少,典型如线性回归。 有可能建模的时候,不是一个模型包打天下,而是用二阶段建模。...比如预测一个客群消费情况,可以分别用二分类模型预测会不会消费,再用连续型模型预测消费金额,这样会消费用户数*预测消费金额,就能得出总消费。这是典型的处理手法。...甚至用逐步回归法建模的话,促销力度的变量,能直接把其他变量都干掉。预测结果就变成了:促销力度越大,用户加入越多,购买越多。 这种结果一丢出来,一准被业务评价为:“都TM是废话,我早知道了!”...比如预测销量是1000万 业务做到900万,会说:预测得一点都不准,搞得货积压了 业务做到1100万,会说:预测得一点都不准,还是我厉害 总之,只要你不是100%精准,他都有理由赖到你头上。...几乎所有互联网营销模式,从小米到天猫到拼多多,其实都是在对抗因数据不足带来的备货难题。所以别光盯着人家的模型,人家的运营也学学。
大家好我是老潘,一名热爱AI、乐于分享的程序员~ 我的博客:https://oldpan.me/ 宝藏内容分享:老潘的AI宝藏内容 前言 对于神经网络,我们更多谈的是其精度怎么样,有百分之零点几的提升。...:网络模型权重的大小、网络运行过程中产生的中间变量的大小、网络设计中各种计算的执行速度等等这些都会对速度产生影响,一般来说,模型参数和模型速度是成正比的。...关于模型中的参数量计算请看这篇文章:浅谈深度学习:如何计算模型以及中间变量的显存占用大小。...总之,我们在讨论模型计算量的时候,一般不讨论批标准化产生的计算量,因为我们在inference的时候并不使用它。...撩我吧 如果你与我志同道合于此,老潘很愿意与你交流 如果你喜欢老潘的内容,欢迎关注和支持,点赞最好了~ 老潘也整理了一些自己的私藏,希望能帮助到大家,神秘传送门。
技术背景 由于IP设置的问题,有时候会出现Github无法访问的问题,经过一番的资料检索之后,发现如下的方案可以成功解决在Ubuntu下无法正常访问Github的问题(有时候可以打开,有时候又不行)。...需要下载 74.5 kB 的归档。 解压缩后会消耗 463 kB 的额外空间。...这样一波操作之后,Github就可以快速访问了: 总结概要 在国内一些局域网下访问github.com可能会存在一些问题,甚至可能直接就无法访问。...但是我们可以通过对指定的域名配置一个ip地址,这样在解析的时候就会自动跳转到我们手动选取的那个可访问的节点上。...虽然该方法下还是偶尔有可能出现无法访问的情况,但是总体来说还是很大程度上的改善了github.com的访问体验。
【阅读原文】 由一个跨国研究团队开发的一种新的宇宙3D模型,速度快,准确度高,并且没有事先编程,就能进行推演。...此类模型会让研究人员做成千上万次模拟,而最精确的模型研究的是在宇宙时间尺度内亿万个个体如何运转的。 调查人员给D3M输入了以前做过的8,000个最精确的模拟。...把AI驱动的D3M模型与早期的2LPT方案进行对比,可以看到D3M比早期的那些模型都要快多得。在和一种较慢的仿真结果进行对比之后,这些图片显示了这两种较快的仿真之间的区别。...D3M模型的推演相比于其它的针对星系重力引力效应的模型:如二阶微扰理论(2LPT),要精确得多。 “我们跑这些仿真只要几毫秒,而其它的‘快速’模型则要花一两分钟。并且,我们还准确得多,”Ho表示。...这个意外的新发现会帮助研究人员继续发展机器学习和人工智能。 我相信在世纪末,词汇的使用以及普通教育观念会出现巨大改变,以至于当有人说机器会思考时,不用担心会遭到反驳。
常用的大模型及其对比 以前提到过,我们公司鼓励大家多使用GPT这样的大模型,一方面能够提高工作效率,一方面使用的越多,越了解,越有可能发现应该怎么将其跟我们公司的产品结合起来。...我在不需要上传数据的场景中,使用比较多有谷歌的Gemini,阿里巴巴的通义千问,Azure OPENAI的GPT4,最近还发现了一个很不错的大模型,是Moonshot的Kimi。...Gemini有比较强大的搜索能力,然后再结合LLM的推理和总结能力,善于回答能在搜索引擎可以找到的问题 GPT4的推理能力最强大,可以回答相对复杂的问题,在代码生成方面是这几个大模型中最强大的,但是它也有一个明显的缺点...使用大模型要有Prompt这个估计知道大模型的人都知道,下面是我平时常用的Prompt,我在这里贴出来,以后应该会不定时更新 Python开发 你是一个Python开发专家,精通Python语法,善于写出高性能...的知识,请你完成我交给你的任务 K8S专家 你是一个K8S和容器专家,精通K8S、docker、Istio以及其他周边工具的开发、使用和运维,并且善于向别人讲解相关知识,请你完成我交给你的任务 SRE和
前言 物模型是对设备在云端的功能描述,包括设备的属性,数据,服务和事件。...物联网平台通过定义一种物的描述语言来描述物模型,称之为 TSL(即 Thing Specification Language),采用JSON格式,您可以根据TSL组装上报设备的数据。...解析识别JSON字符串和JSON数组类型的字符串 解析识别带有毫秒精度的unix时间戳的JSON字符串 效果如下: 引入依赖 使用序列化框架GSON对JSON格式的键值对进行识别解析,可以通过引入...,例如获取字符属性的键,值和获取字符串,布尔型和数字类型的接口方法。...throw new JsonSyntaxException(CAN_T_PARSE_VALUE + element); } } } 运行 准备工作: 安装Docker 我已经将此工程制作成镜像
前言 git是一个版本控制工具,github是一个用 git 做版本控制的项目托管平台,是世界上最大的开放源代码社区。...一、Github访问慢以及无法访问的原因 GitHub 在中国大陆访问速度慢的问题原因有很多,但最直接和最主要的原因是 GitHub 的分发加速网络的域名遭到 DNS 污染。...Github的服务器在国外,国内想访问就得问DNS具体的IP是哪个,但是DNS时不时抽风,所以要不就是给的地址不行就是访问不了DNS。...因此访问 github 时常出现无法访问的情况,类似下图 二、解决方法 1、方法1 、基本原理:直接告诉本机对应域名的IP 、具体步骤: 浏览器打开https://www.ipaddress.com...方法 1 并不是一劳永逸的方法,hosts中的ip地址失效后就得重写再配置一遍了 方法 2 无需此类配置,即自动帮你访问对应的ip,但是需要你下载对应文件,占据 31.5M 磁盘内存
springboot version:2.1.9-RELEASE 解决方案: 在pom中添加此段 完美解决,代码的作用是让src/main/webapp在编译的时候在resoureces路径下也生成...webapp的文件 src/main/
表现 systemctl status docker,显示正常,可以pull,push,build 宿主机访问外网没问题,可以连上ubuntu的源 运行容器映射的端口在本机无法访问,用curl...xx,无法访问,哪怕镜像源是国内的 在改为 docker build –network host后又可以了 原因: docker的网桥出问题了,导致映射端口无效,docker run -d -p...8080:80, 非常确定容器内的应用正常启动,curl 127.0.0.1:8080失败 验证问题: 用于验证的镜像 也可以直接下载已经写好的镜像: simple_server,直接验证 用golang...解决 参考: 通过重建 docker0 网络解决问题 下面的这些命令是在ubuntu20上执行的,可以参照你自己的操作系统做出修改 systemctl stop docker # 停止docker...如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
随着深度学习的飞速发展,模型越来越臃肿先进,运行SOTA模型的主要困难之一就是怎么把它塞到 GPU 上,毕竟,你无法训练一个设备装不下的模型。...神经网络使用的总内存基本上是两个部分的和。 第一部分是模型使用的静态内存。尽管 PyTorch 模型中内置了一些固定开销,但总的来说几乎完全由模型权重决定。.../ResidentMario/9c3a90504d1a027aab926fd65ae08139 >>> 基准测试 作为一个快速的基准测试,我在 tweet-sentiment-extraction 上启用了模型检查点...transformers.BertConfig.from_dict(cfg) self.bert = transformers.BertModel.from_pretrained( "bert-base-uncased", config=cfg ) 我对这个模型进行了四次训练...所有运行的批次大小为 64。以下是结果: ? 第一行是在模型检查点关闭的情况下进行的训练,第二行是在模型检查点开启的情况下进行的训练。
以前对于 Windows store 使用的不多,没发现这个问题,最近使用商店后发现无法进行网络连接.原因是开启了代理.将代理关闭之后久可以正常的使用了.但是每次都手动开启关闭比较的麻烦.经过一系列的搜索之后找到了一个最终的解决方法...fiddler fiddler 是一个 windows 平台的抓包工具.这里我们使用它来解决这个问题....首先下载和安装这个软件.推荐去官网或者大的软件商店平台下载. 打开软件,找到 winconfig 项进去 ? 全选保存后就可以正常使用了.如果不想配置可以全不选然后保存就可以取消了. 视频地址
领取专属 10元无门槛券
手把手带您无忧上云