写在前面 我们构建了非常强大的私募基金数据库，并基于这个数据库，衍生出了FOF Easy数据可视化终端和FOF Power组合基金管理系统，涉及到非常多复杂的模型及算法。在背后支撑着的，是我们可爱又有实力的研发同志们，他们大多有着非常深厚的金融统计背景。因此，私募云通将在接下来一段时间内，推出《用Python玩转统计模型》系列，用最通俗易懂的语言带你走进统计模型的世界。 赶快转发，让更多小伙伴知道这个消息吧！ 什么是OLS回归？ 回归分析是实现从数据到价值的不二法门。 它主要包括线性回归、0-1回归、定序
如果你经常用stata写论文，会了解stata有个outreg2的函数，可以把回归的结果输出成非常规范的论文格式，并且可以把多个回归结果并在一起，方便对比。例如下图
python里很多模块都有OLS的实现，之前总结过一次，详见《从零开始学量化（五）：用Python做回归》。今天这个是自己用numpy实现OLS，WLS的一些内容。
回归作为数据分析中非常重要的一种方法，在量化中的应用也很多，从最简单的因子中性化到估计因子收益率，以及整个Barra框架，都是以回归为基础，本文总结各种回归方法以及python实现的代码。
逐步回归（Stepwise Regression）是一种逐步选择变量的回归方法，用于确定最佳的预测模型。它通过逐步添加和删除变量来优化模型的预测能力。
记录一下使用Python进行的单变量回归分析的操作流程。另外推荐一个sklearn机器学习的哔哩哔哩视频（文末阅读原文，进行观看）。
首先是statsmodels，根据官网介绍，这是python里一个用于estimate statistical models 和 explore statistical data 的模块，经常做数据分析的小伙伴应该都不陌生
本号「数据STUDIO」长期接受有偿投稿，公号菜单栏【云朵之家】-【投稿】可查看征稿文档！
做量化呢，得经常做回归，各种各样的，ols，wls，正则的lasso， 岭回归等等。回归有一个很重要的整体解释力度的参数就是R2，也就是可决系数。在python中，我们回归一般采用的是statsmodels这个模块，但是回归的时候获得的R2其实有那么点学问，有时候设置错参数可能得到的R2大家会觉得怪怪的。这里就给大家排个雷。首先，我们先给出两组、六个回归函数。
今天是读《python数据分析基础》的第16天，今天的读书笔记内容为使用statsmodels模块对数据进行最小二乘线性回归。 代码如下（详细内容请见代码备注）: 注： 1.数据来源于 https://github.com/cbrownley/foundations-for-analytics-with-python/tree/master/statistics/winequality-both.csv 2.运用statsmodels模块进行最小二乘回归可参考此内容http://www.stats
Fama Macbeth是一种通过回归方法做因子检验，并且可以剔除残差截面上自相关性的回归方法，同时为了剔除因子时序上的自相关性，可以通过Newey West调整对回归的协方差进行调整。
0 回顾 在最近的推送中，先后总结了最小二乘法的原理，两个求解方法：直接法和梯度下降，最后利用这两种思路进行了python实战；之后阐述了OLS算法使用的前提是必须满足数据集无多重共线性，因为它是无偏估计，这也带来了它非常惧怕多重共线性问题，在面对这些数据时，它往往得到的权重参数方差大，是一个不稳定的回归算法。 工程应用中，你拿到的数据集可能有上百个特征维度，实际上是很难保证数据集中的所有维度都满足无共线性，所以OLS实际上没有太多的实际应用价值，它必须要想到一种办法解决多重共线性，进而过滤掉那些权重参数等
线性回归是最流行和讨论最多的模型之一，它无疑是深入机器学习(ML)的入门之路。这种简单、直接的建模方法值得学习，这是进入ML的第一步。
方差分析(Analysis of variance, ANOVA) ：——又称“变异数分析” ①用于两个及两个以上样本均数差别的显著性检验 ②主要研究分类变量作为自变量时，对因变量的影响是否是显著
0 回顾 在最近的推送中，先后总结了最小二乘法的原理，两个求解方法：直接法和梯度下降，最后利用这两种思路进行了python实战。在用直接法求出权重参数时，有一个假设是某个矩阵不能为奇异矩阵。在实战中，我们发现如果它近似为奇异矩阵，然后再利用最小二乘法（OLS）去计算权重参数会出现bug。出现的是什么bug？在OLS算法的基础上应该怎么进行优化解决这个bug呢？ 1 无偏估计 先看一个无偏估计的例子。工人师傅一天制造了1000个小零件，现在质检人员准备要检验这1000个件的合格数量和不合格数量，要求控制在
1、方差检验是用来比较两个或多个变量数据的样本，以确定它们之间的差异是简单随机的.
最近我们被客户要求撰写关于贝叶斯向量自回归（BVAR）的研究报告，包括一些图形和统计输出。
Fast-Causal-Inference是腾讯微信实验科学团队研发，采用SQL交互的，基于分布式向量化的统计分析、因果推断计算库。解决已有统计模型库(R/Python)在大数据下的性能瓶颈, 提供百亿级数据秒级执行的Causal inference能力。同时通过SQL语言降低统计模型使用门槛，易用于生产环境中。
最近我们被要求撰写关于集成模型的研究报告，包括一些图形和统计输出。 特别是在经济学/计量经济学中，建模者不相信他们的模型能反映现实。比如：收益率曲线并不遵循三因素的Nelson-Siegel模型，股票与其相关因素之间的关系并不是线性的，波动率也不遵循Garch(1,1)过程，或者Garch(?,?)。我们只是试图为我们看到的现象找到一个合适的描述。
「多元线性回归模型」非常常见，是大多数人入门机器学习的第一个案例，尽管如此，里面还是有许多值得学习和注意的地方。其中多元共线性这个问题将贯穿所有的机器学习模型，所以本文会「将原理知识穿插于代码段中」，争取以不一样的视角来叙述和讲解「如何更好的构建和优化多元线性回归模型」。主要将分为两个部分：
AIC即赤池值，是衡量模型拟合优良性和模型复杂性的一种标准，在建立多元线性回归模型时，变量过多，且有不显著的变量时，可以使用AIC准则结合逐步回归进行变量筛选。AICD数学表达式如下： A I C = 2 p + n ( l o g ( S S E / n ) ) AIC=2p+n(log(SSE/n)) AIC=2p+n(log(SSE/n)) 其中， p p p是进入模型当中的自变量个数， n n n为样本量， S S E SSE SSE是残差平方和，在 n n n固定的情况下， p p p越小， A I C AIC AIC越小， S S E SSE SSE越小， A I C AIC AIC越小，而 p p p越小代表着模型越简洁， S S E SSE SSE越小代表着模型越精准，即拟合度越好，综上所诉， A I C AIC AIC越小，即模型就越简洁和精准。
在这篇文章中，我想展示一个有趣的结果：线性回归与无正则化的线性核ridge回归是等 价的。
探索性数据分析、数据清洗与预处理和多元线性回归模型构建完毕后，为提升模型精度及其稳健性，还需进行许多操作。方差膨胀因子便是非常经典的一步，原理简单，实现优雅，效果拔群。
今天云朵君将和大家一起学习回归算法的基础知识。并取一个样本数据集，进行探索性数据分析(EDA)并使用 statsmodels.api、statsmodels.formula.api 和 scikit-learn 实现 简单线性回归(SLR)。
在机器学习中的线性回归，一般都会使用scikit-learn中的linear_model这个模块，用linear_model的好处是速度快、结果简单易懂，但它的使用是有条件的，就是使用者在明确该模型是线性模型的情况下才能用，否则生成的结果很可能是错误的。
大家好，在之前的文章中我们已经讲解了很多Python数据处理的方法比如读取数据、缺失值处理、数据降维等，也介绍了一些数据可视化的方法如Matplotlib、pyecharts等，那么在掌握了这些基础技能之后，要进行更深入的分析就需要掌握一些常用的建模方法，本文将讲解如何利用Python进行统计分析。和之前的文章类似，本文只讲如何用代码实现，不做理论推导与过多的结果解释(事实上常用的模型可以很轻松的查到完美的推导与解析)。因此读者需要掌握一些基本的统计模型比如回归模型、时间序列等。
读到这句话时，深有同感。迁移能力帮助我们快速了解陌生的语言，但受惯性思维的影响，容易忽视新事物的特性。所以，我的理解是：有其他语言的基础，学习新语言时，应该迁移和对比相结合。具体而言：对比着学，尽快找到感觉；注重工具之间的特性；问题导向，根据需求选择合适的工具。
众所周知，“相关并不意味着因果关系”。我要告诉你，相关可以表示因果关系，但需要一定条件。这些条件已在计量经济学文献中被广泛讨论。在本文中，我将以一种易于理解的方式对其进行总结。我将解释如果不满足这些条件为什么标准的普通最小二乘（OLS）无法确定因果关系。然后，我将介绍可以提供有效解决方案的固定效应（FE）模型。之后，我将使用两套数据分析示例向您展示如何在python中进行操作。我希望本文能够通过良好的设计和令人信服的结果增强您对因果关系的理解。
前面三天推送机器学习线性回归算法之最小二乘法，从假设到原理，详细分析了直接求解和梯度下降两种算法，接下来手动编写python代码实现线性回归的算法吧。 01 数据预处理 在拿到一个数据集后，往往需要经
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
【导读】应用贝叶斯推理的重点领域之一是贝叶斯线性模型。我们首先简要回顾一下频率主义学派的线性回归方法，接着介绍贝叶斯推断，并试着应用于简单的数据集。 作者 | William Koehrsen 编译 | 专知 参与 | Yingying, Xiaowen Introduction to Bayesian Linear Regression 频率主义线性回归概述 线性回归的频率主义观点可能你已经学过了：该模型假定因变量（y）是权重乘以一组自变量（x）的线性组合。完整的公式还包含一个误差项以解释随机采样噪声。
今天教大家用Python分析《世界幸福指数报告》。公众号后台，回复关键字“幸福”获取完整数据。
statsmodels是一个Python模块，它提供对许多不同统计模型估计的类和函数，并且可以进行统计测试和统计数据的探索。
运行环境： win7、python3.6 实现功能： 对多个参数进行回归分析，得出回归方程，回归统计量P值等
转载原文：https://www.springboard.com/blog/data-mining-python-tutorial/（全英）
前面几天阐述了线性回归的最小二乘法（OLS）在做回归时，一致地看待每一个样本点，是典型的无偏估计，会得到一个使得残差最小的权重参数。然而，在面对一堆数据集存在多重共线性时，OLS 就变得对样本点的误差
Lease Absolute Shrinkage and Selection Operator（LASSO）在给定的模型上执行正则化和变量选择
选自TowardsDataScience 作者：William Koehrsen 机器之心编译 参与：Geek AI、刘晓坤 本文对比了频率线性回归和贝叶斯线性回归两种方法，并对后者进行了详细的介绍，分析了贝叶斯线性回归的优点和直观特征。 我认为贝叶斯学派和频率学派之间的纷争是「可远观而不可亵玩」的学术争论之一。与其热衷于站队，我认为同时学习这两种统计推断方法并且将它们应用到恰当的场景之下会更加富有成效。出于这种考虑，最近我努力学习和应用贝叶斯推断方法，补充学校课程所学的频率统计方法。 贝叶斯线性模型是我最
构建多元线性回归模型时，如果能够充分的使用已有变量，或将其改造成另一种形式的可供使用的变量，将在一定程度上提高模型精度及其泛化能力。因为数据集中的名义变量(或叫类别变量)是无法直接使用的，所以虚拟变量(又叫哑元变量)的设置便是非常经典且必须掌握的一步，原理简单，实现优雅，效果拔群。
回归分析是一种预测性的建模技术，它研究的是因变量(目标)和自变量(预测器)之间的关系。这种技术通常用于预测分析、时间序列模型以及发现变量之间的因果关系。
这里向您展示如何在R中使用glmnet包进行岭回归（使用L2正则化的线性回归），并使用模拟来演示其相对于普通最小二乘回归的优势。
大数据文摘作品 作者：TirthajyotiSarkar 编译：丁慧、katherine Hou、钱天培 说到如何用Python执行线性回归，大部分人会立刻想到用sklearn的linear_model，但事实是，Python至少有8种执行线性回归的方法，sklearn并不是最高效的。 今天，让我们来谈谈线性回归。没错，作为数据科学界元老级的模型，线性回归几乎是所有数据科学家的入门必修课。抛开涉及大量数统的模型分析和检验不说，你真的就能熟练应用线性回归了么？未必！ 在这篇文章中，文摘菌将介绍8种用Pyth
做方差分析的时候数据需要满足正态分布；方差齐性等。正常拿到数据后需要对数据是否符合正态分布和组间方差是否一致做检验。如何来做以上两个检验今天先忽略掉，在默认拿到的数据符合条件后直接在做单因素方差分析。
一个复杂的事物,其中往往有许多因素互相制约又互相依存。方差分析是一种常用的数据分析方法，其目的是通过数据分析找出对该事物有显著影响的因素、各因素之间的交互作用及显著影响因素的最佳水平等。
向量自回归（VAR）模型的一般缺点是，估计系数的数量与滞后的数量成比例地增加。因此，随着滞后次数的增加，每个参数可用的信息较少。在贝叶斯VAR文献中，减轻这种所谓的维数诅咒的一种方法是随机搜索变量选择（SSVS），由George等人提出（2008）。SSVS的基本思想是将通常使用的先验方差分配给应包含在模型中的参数，将不相关参数的先验方差接近零。这样，通常就可以估算出相关参数，并且无关变量的后验值接近于零，因此它们对预测和冲激响应没有显着影响。这是通过在模型之前添加层次结构来实现的，其中在采样算法的每个步骤中评估变量的相关性。
今天这篇来讲讲加权最小二乘法(WLS)，加权最小二乘是在普通的最小二乘回归(OLS)的基础上进行改造的。主要是用来解决异方差问题的，关于异方差可以看看：讲讲什么是异方差
如果不了解Python的数据生态，以及本书中即将用到的一些库，这里会做一个简单的介绍：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
