用到的相关模块 scipy numpy matplotlib mayavi 模块安装 主要就是这四个模块，如果要安装的话，前三个可以直接使用sudo pip install xxx来安装。对于mayavi，安装起来比较复杂，主要是vtk的安装，我安装了几次都没有成功，不管是使用ccmake还是使用independent installer都没法用，在尝试了一个下午之后，发现了python科学计算的神器Canopy。 Canopy是Python科学计算的集成环境，里面集成了你所知道，你所需要的所有pytho
对于分类模型，在建立好模型后，我们想对模型进行评价，常见的指标有混淆矩阵、KS曲线、ROC曲线、AUC面积等。也可以自己定义函数，把模型结果分割成n(100)份，计算top1的准确率、覆盖率。
泛基因组分析中通常会使用orthofinder去分析基因家族，将这些基因家族分为核心和可变、私有等，然后会算不同类别的基因家族的Ka/Ks的值，主要说明的问题就是核心基因家族相对比较保守
在金融领域中，我们的y值和预测得到的违约概率刚好是两个分布未知的两个分布。好的信用风控模型一般从准确性、稳定性和可解释性来评估模型。
本文选自《Python用KShape对时间序列进行聚类和肘方法确定最优聚类数k可视化》。
我们这做风控模型的时候，经常是会用KS值来衡量模型的效果，这个指标也是很多领导会直接关注的指标。今天写一篇文章来全面地剖析一下这个指标，了解当中的原理以及实现，因为这些知识是必备的基本功。我将会从下面几个方面来展开讲解一下KS：
最近我们被客户要求撰写关于KShape对时间序列进行聚类的研究报告，包括一些图形和统计输出。
前言 看完 gcForest 这篇 paper 有一段时间了，但是一直没有去网上搜集相关的实现代码，去把它调试跑通，并将之应用到实际的项目中。这两天终于抽空做了实现，并和自己项目中常用的集成算法（TreeNet、XGBoost）做了简单对比。下面总结一下整个算法的 Python 实现过程，以及将它应用到自己的数据集上出现的问题和解决办法。 一、运行环境要求 Python 版本：3.6.0 以上； numpy 版本：1.12.0 以上； jupyter 版本：1.0.0 以上； scikit-learn 版本
在前面的文章中讲过，很多模型的假设条件都是数据是服从正态分布的。这篇文章主要讲讲如何判断数据是否符合正态分布。主要分为两种方法：描述统计方法和统计检验方法。
时序数据的聚类方法，该算法按照以下流程执行。 （ 点击文末“阅读原文”获取完整代码数据 ）。
比如：两个样本方差比服从F分布，区间估计就采用F分布计算临界值（从而得出置信区间），最终采用F检验。
一般来说，监督学习的目标函数由损失函数和正则化项组成。（Objective = Loss + Regularization）
Kolmogorov–Smirnov 检验，简称KS检验，是统计学中的一种非参数假设检验，用来检测单样本是否服从某一分布，或者两样本是否服从相同分布。在单样本的情况下，我们想检验这个样本是否服从某一分布函数，记是该样本的经验分布函数。 我们有假设：为此，我们构造KS统计量：
最近我们被客户要求撰写关于时间序列进行聚类研究报告，包括一些图形和统计输出。 时序数据的聚类方法，该算法按照以下流程执行。
大数据时代的到来，使得很多工作都需要进行数据挖掘，从而发现更多有利的规律，或规避风险，或发现商业价值。
PSI这个指标我们在风控建模前后都是需要密切关注的，这个指标直接反映了模型的稳定性，对于我们评估模型是否需要迭代有着直接的参考意义。今天我将从下面几方面来介绍一下这个指标。
有一些五六年前的学生们都成长为了各个生物信息学相关公司的小领导，而且他们都有了自己的公众号，知乎号，也算是一番人物。最近他们跟我反馈面试找不到或者说很难直接考核筛选到认真干活的生信工程师，挺有意思的。让我想起来了早在生信技能树论坛创立之初我为了引流，而规划的200个生信工程师面试题。值得继续分享：
随机森林是一种集成学习算法，属于Bagging类型，通过组合多个决策树的预测结果得出最终的预测结果。
研华声音振动监测与分析解决方案提供高性能模块化iDAQ&PCIE卡&USB&嵌入式一体机和WebAccess/MCM (Machine Condition Monitoring) 软件，可以组态的方式轻松实现振动信号采集与分析、状态可视化和数据上传，并可藉由大量的数据记录进一步分析并优化，降低设备停机时间，可将机台生产效益最大化，同时也降低了设备维护的成本以及提高机台的安全性。
KS-检验与t-检验等方法不同的是KS检验不需要知道数据的分布情况，可以算是一种非参数检验方法。当然这样方便的代价就是当检验的数据分布符合特定的分布时，KS-检验的灵敏度没有相应的检验来的高。在样本量比较小的时候，KS-检验作为非参数检验，在分析两组数据之间是否存在异常时相当常用。
ret=subprocess.call("ping -n 1 -w 1 %s " % ips)
python 检验数据分布，KS-检验（Kolmogorov-Smirnov test） – 检验数据是否符合某种分布 Kolmogorov-Smirnov是比较一个频率分布f(x)与理论分布g(x)或者两个观测值分布的检验方法。其原假设H0:两个数据分布一致或者数据符合理论分布。D=max| f(x)- g(x)|，当实际观测值D>D(n,α)则拒绝H0，否则则接受H0假设。 KS检验与t-检验之类的其他方法不同是KS检验不需要知道数据的分布情况，可以算是一种非参数检验方法。当然这样方便的代价就是
使用Ulipad编辑的 #! /usr/bin/env python #coding=utf-8 ############# import subprocess import time ip="10.210.202." ############# def aa(): ks=int(time.time()) #记录开始时间 num1=num2=0 for i in range(1,254): ips=ip+str(i) r
GBDT是一种集成学习算法，属于Boosting类型，通过叠加多个决策树的预测结果得出最终的预测结果。
什么是PXE 预启动执行环境（PXE）是由Intel公司开发的最新技术，工作于Client/Server的网络模式，支持工作站通过网络从远端服务器下载映像，并由此支持通过网络启动操作系统，在启动过程中，终端要求服务器分配IP地址，再用TFTP（trivial file transfer protocol）或MTFTP(multicast trivial file transfer protocol)协议下载一个启动软件包到本机内存中执行，由这个启动软件包完成终端（客户端）基本软件设置，从而引导预先安装在服务器中的终端操作系统。PXE可以引导多种操作系统，如：Windows95/98/2000/windows2003/windows2008/winXP/win7/win8,linux系列系统等。
之前有位读者朋友说有空介绍一下自动分箱的方法，这个确实在我们实际建模过程前是需要解决的一个问题，简单来说就是把连续变量通过分箱的方式转换为类别变量。关于这个话题，我也借着这个主题来系统的梳理总结一下几点：为什么要分箱？不分箱可以入模型吗？自动分箱的常用方法有哪些？评估分箱效果好坏的方法有哪些？ 如果篇幅允许，就顺便把实现的Python代码也分享下，如果太长了就另外起一篇文章来讲。因此，本篇文章主要从下面几个模块来展开说说。
括号中的解析语法也可以用来创建产生所需结果的生成器（例如，内置的sum函数，按一种顺序汇总各项）：
逐步回归（Stepwise Regression）是一种逐步选择变量的回归方法，用于确定最佳的预测模型。它通过逐步添加和删除变量来优化模型的预测能力。
大家好呀！在上一篇我们介绍了3种业界常用的自动最优分箱方法。 1）基于CART算法的连续变量最优分箱 2）基于卡方检验的连续变量最优分箱 3）基于最优KS的连续变量最优分箱 今天这篇文章就来分享一下这3种方法的Python实现。
PS：当然也可以用KS检验，利用python中scipy.stats.ks_2samp函数可以获得差值KS statistic和P值从而实现判断。
一个模型中，很重要的技巧就是要确定训练集与测试集特征是否同分布，这也是机器学习的一个很重要的假设，但很多时候我们默认这个道理，却很难有方法来保证数据同分布。
k s = m a x ( C u m . B i B a d t o t a l − C u m . G i G o o d t o t a l ) ks = max(\frac{Cum. B_i}{Bad_{total}} – \frac{Cum.G_i}{Good_{total}}) ks=max(BadtotalCum.Bi−GoodtotalCum.Gi)
在数据挖掘比赛中，很重要的一个技巧就是要确定训练集与测试集特征是否同分布，这也是机器学习的一个很重要的假设。但很多时候我们知道这个道理，却很难有方法来保证数据同分布，这篇文章就分享一下我所了解的同分布检验方法。
在交易中的机器学习模型通常针对历史股价和其他定量数据进行训练，以预测未来股价。然而，自然语言处理（NLP）可以帮助我们分析财务报表，如10-k表，以预测股票走势。10-k表是公司提交的年度报告，提供对其财务业绩的全面总结（这些报告是由证券交易委员会授权的）。对投资者来说，梳理这些报告常常是冗长乏味的。通过情绪分析（自然语言处理的一个子领域），投资者可以迅速了解报告的语气是积极的、消极等等。在10-k表中表达的整体情绪可以用来帮助投资者决定他们是否应该投资该公司。
cobbler的网址为https://IP/cobbler_web 账户名和密码都为默认的cobbler
信用风险计量模型可以包括跟个人信用评级，企业信用评级和国家信用评级。人信用评级有一系列评级模型组成，常见是A卡（申请评分卡）、B卡（行为模型）、C卡（催收模型）和F卡（反欺诈模型）。 今天我们展示的是个人信用评级模型的开发过程，数据采用kaggle上知名的give me some credit数据集。
各位报名2019年上海市高校计算机等级考试二级C语言程序设计的同学，10月26日就要考试了，你准备好了吗？
因为是随机的所以两组个体不会完全的相同（identical）。但是有时候，它们在总体表现时甚至不是“相似”的（similar）。例如，我们可能在一个群体中有更多的男性，或者年长的人，等等。(我们通常称这些特征为协变量或控制变量)。当这种情况发生时，就不能再确定结果的差异只是由于实验得来的。因此，随机化后，检查所有观察变量是否在组间平衡，是否没有系统差异是非常重要的。
比较一个变量在不同组中的分布是数据科学中的一个常见问题。当我们想要评估一项策略(用户体验功能、广告活动、药物等)的因果效应时，因果推断的黄金标准便是随机对照试验，也就是所谓的A /B测试。在实践中，我们为研究选择一个样本，并将其随机分为对照组（control group）和实验组（treatment group）比较两组之间的结果。随机化确保了两组之间的唯一差异，这样我们就可以将结果差异归因于实验效果。
iDAQ数据采集记录仪是支持多通道数据采集、记录与数据分析的系统。可将所得数据在计算机中进行简单分析、快速和慢速回放、导出标准格式文件等。采用模块化配置，支持热插拔与多种传感器的信号采集，比以往的数据记录仪更快捷的采集数据，新增了更多的测量通道，实现最快1M HZ的高速采样，通过自定义软件可实现1000+通道多机箱同步数据采集记录。
我们的AI入门课程已经讲过两节了，前面我们讲了AI的概念、算法、工具等内容，第三节我们会介绍一些实际操作的内容。俗话说，工欲善其事，必先利其器，这篇文章我们将告诉大家如何搭建一个AI实验室，并穿插一些小Demo，为后面的AI学习实践做好准备。
来源：DeepHub IMBA本文6400字，建议阅读12分钟我们看到了很多不同的方法来比较两个或多个分布，无论是在可视化上还是在统计上。 比较一个变量在不同组中的分布是数据科学中的一个常见问题。当我们想要评估一项策略(用户体验功能、广告活动、药物等)的因果效应时，因果推断的黄金标准便是随机对照试验，也就是所谓的A /B测试。在实践中，我们为研究选择一个样本，并将其随机分为对照组（control group）和实验组（treatment group）比较两组之间的结果。随机化确保了两组之间的唯一差异，这样我
1. 一台Windows电脑 2. 下载下方两个文件 1.zip 密码:ai3o 2.zip密码:9qqu
Linux 习题练习01 在用户家目录下创建 Video/Watched [root@localhost ~]# mkdir -p Video/Watched 新建 a.txt, b.txt, c.txt 文件，将这三个文件连接为一个文件 [root@localhost ~]# echo "A" > a.txt && echo "B" > b.txt && echo "C" > c.txt [root@localhost ~]# cat a.txt b.txt c.txt > /tmp/bound.t
The ratio of the number of nonsynonymous substitutions per nonsynonymous site (Ka) to the number of synonymous substitutions per synonymous site (Ks)。
环境： [root@kickstart ~]# cat /etc/redhat-release CentOS Linux release 7.4.1708 (Core) [root@kickstart ~]# uname -r 3.10.0-693.el7.x86_64 [root@kickstart ~]# getenforce Disabled [root@kickstart ~]# systemctl status firewalld.service ● firewalld.service - fi
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
