做统计相关系统的朋友一定都会学习过什么正态分布、方差、标准差之类的概念，在 PHP 中，也有相应的扩展函数是专门为这些统计相关的功能所开发的。我们今天要学习的 stats 扩展函数库就是这类操作函数。当然，本身我并没有做过什么类似的系统，对这些概念也是一知半解，所以今天学习的内容也只是基于个人的理解以及原来稍微接触过的一些内容。不过据说 Python 在这方面就相对来说会更加强大一些，毕竟是万能胶水语言，而且也是在统计领域获得成功之后才慢慢被大众接受的一门语言，有兴趣的同学可以自己研究一下。
在前端开发中，生成伪随机正态分布的数据对于模拟和实验非常有用。本文将介绍正态分布的基本概念，并探讨如何使用JavaScript实现伪随机正态分布。
高斯混合模型（Gaussian Mixed Model，GMM）也是常见的聚类算法。使用EM算法进行迭代计算。高斯混合模型假设了每个簇的数据符合正态分布（高斯分布），当前的数据分布就是各个簇的高斯分布叠加在一起。
https://www.cnblogs.com/REAY/p/6709177.html
一个分布的随机变量可通过把服从(0,1)均匀分布的随机变量代入该分布的反函数的方法得到。标准正态分布的反函数却求不了。所以我们就要寻找其他的办法。
在前两篇文章中,我们已经大致的讲述了关于EM算法的一些基本理论和一些基本的性质,以及针对EM算法的缺点进行的优化改进的新型EM算法,研究之后大致就能够进行初步的了解.现在在这最后一篇文章,我想对EM算
在前两篇文章中,我们已经大致的讲述了关于EM算法的一些基本理论和一些基本的性质,以及针对EM算法的缺点进行的优化改进的新型EM算法,研究之后大致就能够进行初步的了解.现在在这最后一篇文章,我想对EM算法的应用进行一些描述:
CSDN:白马负金羁 最大期望算法（EM） K均值算法非常简单（可参见之前发布的博文），详细读者都可以轻松地理解它。但下面将要介绍的EM算法就要困难许多了，它与极大似然估计密切相关。 1 算法原理 不妨从一个例子开始我们的讨论，假设现在有100个人的身高数据，而且这100条数据是随机抽取的。一个常识性的看法是，男性身高满足一定的分布（例如正态分布），女性身高也满足一定的分布，但这两个分布的参数不同。我们现在不仅不知道男女身高分布的参数，甚至不知道这100条数据哪些是来自男性，哪些是来自女性。这正符合聚类
我们常常谈论聚类，是通过距离去定义，比如K-means，距离判别等；今天我们一起谈谈EM聚类，一种基于统计分布的聚类模型，以统计分布作为设计算法的依据。其实，在大数定律的归束下，不管样本的分布类型是什么，当样本量趋于无穷大时，分布的类型将渐进于正态分布。
如果一个人在百分制的考试中得了95分，你肯定会认为他学习成绩很好，如果得了65分，就会觉得他成绩不好。如果得了80分呢？你会觉得他成绩中等，因为在班级里这属于大部分人的情况。
贝叶斯优化是一种黑盒优化算法，用于求解表达式未知的函数的极值问题。算法根据一组采样点处的函数值预测出任意点处函数值的概率分布，这通过高斯过程回归而实现。根据高斯过程回归的结果构造采集函数，用于衡量每一个点值得探索的程度，求解采集函数的极值从而确定下一个采样点。最后返回这组采样点的极值作为函数的极值。这种算法在机器学习中被用于AutoML算法，自动确定机器学习算法的超参数。某些NAS算法也使用了贝叶斯优化算法。
今天的文章用深入浅出的语言和形式为大家介绍变分自动编码器（VAE）的基本原理，以帮助初学者入门，真正理解这一较为晦涩的模型。还是那种熟悉的风格和味道！读懂本文需要读者理解KL散度包括正态分布之间的KL散度计算公式、KL散度的非负性（涉及到变分法的基本概念），蒙特卡洛算法等基本知识，自动编码的知识。
假设目前有100个男生和100个女生的身高，共200个数据，但是我们不知道这200个数据中哪个是男生的身高，哪个是女生的身高。假设男生、女生的身高分别服从正态分布，但每个样本从哪个分布抽取的，我们目前是不知道的。这个时候，对于每一个样本，就有两个方面需要猜测或者估计： 这个身高数据是来自于男生还是来自于女生？男生、女生身高的正态分布的参数分别是多少？EM算法要解决的问题正是这两个问题。
茶碱数据文件报告来自抗哮喘药物茶碱动力学研究的数据。给 12 名受试者口服茶碱，然后在接下来的 25 小时内在 11 个时间点测量血清浓度 （ 点击文末“阅读原文”获取完整代码数据）。
茶碱数据文件报告来自抗哮喘药物茶碱动力学研究的数据。给 12 名受试者口服茶碱，然后在接下来的 25 小时内在 11 个时间点测量血清浓度（点击文末“阅读原文”获取完整代码数据）。
茶碱数据文件报告来自抗哮喘药物茶碱动力学研究的数据。给 12 名受试者口服茶碱，然后在接下来的 25 小时内在 11 个时间点测量血清浓度。
最近我们被客户要求撰写关于非线性混合效应 NLME模型的研究报告，包括一些图形和统计输出。
"模糊"的算法有很多种，其中有一种叫做"高斯模糊"（Gaussian Blur）。它将正态分布（又名"高斯分布"）用于图像处理。
概率论，包括它的延伸-信息论，以及随机过程，在机器学习中有重要的作用。它们被广泛用于建立预测函数，目标函数，以及对算法进行理论分析。如果将机器学习算法的输入、输出数据看作随机变量，就可以用概率论的观点对问题进行建模，这是一种常见的思路。本文对机器学习领域种类繁多的概率模型做进行梳理和总结，帮助读者掌握这些算法的原理，培养用概率论作为工具对实际问题进行建模的思维。要顺利地阅读本文，需要具备概率论，信息论，随机过程的基础知识。
来自：阮一峰的网络日志 链接：www.ruanyifeng.com/blog/2012/11/gaussian_blur.html 通常，图像处理软件会提供"模糊"（blur）滤镜，使图片产生模糊的效
来源：DeepHub IMBA本文共1200字，建议阅读5分钟“当算法给你一条曲线时，一定要知道这个曲线的含义！” 1、偏差-方差权衡 这是一个总是在机器学习最重要理论中名列前茅的概念。机器学习中的几乎所有算法（包括深度学习）都努力在偏差和方差之间取得适当的平衡，这个图清楚地解释了二者的对立关系。 2、基尼不纯度与熵 Gini（缺乏同质性的度量）和 Entropy（随机性的度量）都是决策树中节点不纯度的度量。 对于这两个概念更重要的是要了解它们之间的关系，以便能够在给定的场景中选择正确的指标。
大数据文摘转载自数据派THU 来源：DeepHub IMBA “当算法给你一条曲线时，一定要知道这个曲线的含义！” 1、偏差-方差权衡 这是一个总是在机器学习最重要理论中名列前茅的概念。机器学习中的几乎所有算法（包括深度学习）都努力在偏差和方差之间取得适当的平衡，这个图清楚地解释了二者的对立关系。 2、基尼不纯度与熵 Gini（缺乏同质性的度量）和 Entropy（随机性的度量）都是决策树中节点不纯度的度量。 对于这两个概念更重要的是要了解它们之间的关系，以便能够在给定的场景中选择正确的指标
这是一个总是在机器学习最重要理论中名列前茅的概念。机器学习中的几乎所有算法（包括深度学习）都努力在偏差和方差之间取得适当的平衡，这个图清楚地解释了二者的对立关系。
“当算法给你一条曲线时，一定要知道这个曲线的含义！” 1、偏差-方差权衡 这是一个总是在机器学习最重要理论中名列前茅的概念。机器学习中的几乎所有算法（包括深度学习）都努力在偏差和方差之间取得适当的平衡，这个图清楚地解释了二者的对立关系。 2、基尼不纯度与熵 Gini（缺乏同质性的度量）和 Entropy（随机性的度量）都是决策树中节点不纯度的度量。 对于这两个概念更重要的是要了解它们之间的关系，以便能够在给定的场景中选择正确的指标。 基尼不纯度（系数）通常比熵更容易计算（因为熵涉及对数计算）
什么是正态分布？ 正态分布是在统计分析最广泛应用的一类分布，自然界、社会、科研、生活、生产中的很多现象都被发现近似地服从正态分布，它无处不在，让你在纷繁芜杂的数据背后看到隐隐的秩序。主要指变量的频数或频率呈中间最多，两端逐渐对称地减少，表现为钟形的一种概率分布，具体的数学公式就不再提了。 为什么要进行正态分布检验？ 假设检验可分为正态分布检验、正态总体均值分布检验、非参数检验三类。正态分布检验，即判断一样本所代表的背景总体与理论正态分布是否没有显著差异的检验，具有最重要的意义，也是应用最为广泛的检验方法
要构建模型就必须要对数据进行预处理。特征转换是这个过程中最重要的任务之一。在数据集中，大多数时候都会有不同大小的数据。为了使更好的预测，必须将不同的特征缩小到相同的幅度范围或某些特定的数据分布。
选文：Aileen 翻译：杨天朦，黄文畅 校对：姜范波，Aileen 导读：数据科学从业者们更倾向于选择用著名的算法来解决给定的问题。但仅仅靠算法并不能提供一个最优的解决方案，通过精心设计和选择的特征所建造的模型能够提供更好的结果。此篇作者总结了很多常见且有效的特征转化的方法，有些方法附有简单说明。具体的应用方法可以在网络上搜索公开信息。 “任何一个有智力的笨蛋都可以把事情搞得更大，更复杂，也更激烈。往相反的方向前进则需要一点天分，以及很大的勇气。” –阿尔伯特·爱因斯坦 复杂的模型不易解释，难以调整。简
比如你可能会问班里的考试成绩是怎样的？这里其实指的是大部分同学的成绩如何。以下图为例，在正态分布中，大部分人的成绩会集中在中间的区域，少部分人处于两头的位置。正态分布的另一个好处就是，如果你知道了自己的成绩，和整体的正态分布情况，就可以知道自己的成绩在全班中的位置。
翻译了一篇博文，原文pdf可后台回复“最小二乘”下载。 当面试时问到最小二乘损失函数的基础数学知识时，你会怎么回答？ Q: 为什么在回归中将误差求平方？ A：因为可以把所有误差转化为正数。 Q：为什么
对照组有3个样本con1，con2，con3；模型组有3个样本M1，M2，M3；两个指标MDA和GSH，共有2组数据，可以采用T检验也可以采用单因素方差分析；一般两组数据习惯性用T检验。
转自：http://blog.csdn.net/beyond0824/article/details/6009908
今天说一个比较重要的内容，无论是在算法建模还是在数据分析都比较常见：数据归一化和标准化。
原文作者： Jacob Joseph 原文链接：https://blog.clevertap.com/how-to-detect-outliers-using-parametric-and-n
异常值是指距离其他观测值非常遥远的点，但是我们应该如何度量这个距离的长度呢?同时异常值也可以被视为出现概率非常小的观测值，但是这也面临同样的问题——我们要如何度量这个概率的大小呢? 有许多用来识别异常
来源：机器学习算法那些事本文约1700字，建议阅读9分钟很多时候，一些基础知识可能会影响你对一个模型结果表现的理解。 最近在看李沐的实用机器学习课程，讲到regression问题的loss的时候有弹幕问：“为什么要平方？” 如果是几年前学生问我这个问题，我会回答：“因为做回归的时候的我们的残差有正有负，取个平方求和以后可以很简单的衡量模型的好坏。同时因为平方后容易求导数，比取绝对值还要分情况讨论好用。” 但是经过了几年的科研以后，我觉得这样的回答太过于经验性了，一定会有什么更有道理的解释，于是在知乎上搜了
现在有一个网站，为了防止该网站被人恶意攻击，你采取了以下措施。给每个用户建立用户画像，记录他的一些操作，例如：打字速度，浏览时间，点击网页次数等等。。。可以将这些特征建立一个模型，让它有一个阈值，当低于这个阈值时，就可能是有人在恶意攻击你的网站，这时候你就要小心了。就像下图，如果超出蓝圈，那这个数据就有可能发生了异常：
偏态分布(skewness distribution)指频数分布的高峰位于一侧，尾部向另一侧延伸的分布。偏态分布是与“正态分布”相对，分布曲线左右不对称的数据次数分布，是连续随机变量概率分布的一种。可以通过峰度和偏度的计算，衡量偏态的程度。
本文介绍的是另一种比较好的配准算法，NDT配准。所谓NDT就是正态分布变换，作用与ICP一样用来估计两个点云之间的刚体变换。用标准最优化技术来确定两个点云间的最优的匹配，因为其在配准过程中不利用对应点的特征计算和匹配，所以时间比其他方法快。
编译：watermelon、西西 作者：Thomas Wiecki 1 前言 在评估交易算法时，我们通常可以使用样本外的数据，以及真实交易数据去进行评测。评测策略最大的问题是，它有可能是过度拟合的，在过去的数据上表现很好，但在样本外或者未来的真实行情数据中表现一般。今天，公众号编辑部编译了这篇来自Q-blog的文章，也加进了我们自己的一些见解和对文章专业知识的解释，来告诉大家使用贝叶斯估计预测未来可能的回报。 2 预测模型可以得知什么 建模计算总会带来一些风险，如估计不确定性，模型错误指定等错误。 根
God does NOT play dice with the Universe! 什么是随机(random)？字典中给出的定义是无计划，无序和无目的，纯靠运气。随机是生活中必不可少的成分，比如彩票，游戏，安全，早餐吃什么，这些行为都有一些随机的成分，但我们能说这些行为都是随机的吗？ 比如早餐，吃的人以为是随机的，做什么吃什么，对厨师而言，可能是精心安排的，就不算随机行为。游戏也是如此，随机掉了一件装备，你如获至宝，其内部是一个概率算法，如果你掌握了这个算法做了一个外挂，对你而言，这也不是随机行为了。同
什么是Bayesian Statistics？ Bayesian statistics is a particular approach to applying probability to statistical problems。 在statistical inference上，主要有两派：频率学派和贝叶斯学派。 Frequentist statistics tries to eliminate uncertainty by providing estimates. Bayesian statistic
假如我们随机选取了100名男生和100名女生，两百个人混在一起，而目前只有每个人学生的身高数据，我们既不知道每个身高数据所对应的性别，也不知道男生和女生两个群体的总体身高分布情况。首先我们假设男生身高分布符合170cm的正太分布，而女生身高符合160cm的正态分布。通过这个假设的参数，对所有的身高数据进行性别分类。当完成分类后，通过对预测的男生，女生两个群体的分布来修改之前假设的身高分部参数。如此循环，直至收敛。
EM（ expectation-maximization，期望最大化）算法是机器学习中与SVM（支持向量机）、概率图模型并列的难以理解的算法，主要原因在于其原理较为抽象，初学者无法抓住核心的点并理解算法求解的思路。本文对EM算法的基本原理进行系统的阐述，并以求解高斯混合模型为例说明其具体的用法。文章是对已经在清华大学出版社出版的《机器学习与应用》一书中EM算法的讲解，对部分内容作了扩充。
逻辑回归（Logistic Regression，LR）。在Kaggle竞赛的统计中，LR算法以63.5%的出产率，荣获各领域中“出场率最高的算法”这一殊荣。在实际场景中，逻辑回归同样应用广泛，大到国家各项经济政策的制定，小到计算广告CTR，都能看到LR算的身影。
在statistical inference上，主要有两派：频率学派和贝叶斯学派。
来源：Deephub Imba本文约1000字，建议阅读5分钟本文带你通过峰度和偏度的计算，学习偏态分布的相关知识。 偏态分布(skewness distribution)指频数分布的高峰位于一侧，尾部向另一侧延伸的分布。偏态分布是与“正态分布”相对，分布曲线左右不对称的数据次数分布，是连续随机变量概率分布的一种。可以通过峰度和偏度的计算，衡量偏态的程度。 1. The Generalized-Alpha-Beta-Skew-Normal Distribution: Properties and Appl
在学习机器学习算法的过程中，我们经常需要数据来验证算法，调试参数。但是找到一组十分合适某种特定算法类型的数据样本却不那么容易。还好numpy, scikit-learn都提供了随机数据生成的功能，我们可以自己生成适合某一种模型的数据，用随机数据来做清洗，归一化，转换，然后选择模型与算法做拟合和预测。下面对scikit-learn和numpy生成数据样本的方法做一个总结。
没错，这类国产软件除了给出一个成绩之外，还会告诉你“击败了全国**%的电脑”。这里我们谈谈百分比计算的原则，一并解释为什么不存在100%的情况。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
