倾向得分匹配（Propensity Score Matching, PSM）作为一种强大的因果推断方法，通过模拟随机实验的条件，帮助我们在非实验数据中估计处理效应。I....平衡性难以验证：无法直观检查协变量在处理组和对照组之间的平衡性PSM的优势倾向得分匹配通过将多维协变量信息压缩为一维的倾向得分，解决了上述问题：降维处理：将多个协变量转换为一个得分，简化匹配过程平衡性验证...PSM的因果识别框架在潜在结果框架下，个体i的处理效应定义为：\tau_i = Y_i(1) - Y_i(0) 由于我们只能观察到其中一个潜在结果，PSM通过匹配来估计反事实结果：对于处理组个体i，我们寻找对照组中具有相似倾向得分的个体...异常值检测：识别和处理极端值，防止对倾向得分估计的过度影响步骤2：倾向得分估计倾向得分通常使用逻辑回归模型估计，但也可以使用其他机器学习方法：import numpy as npimport pandas...PSM与其他方法的结合PSM可以与其他因果推断方法结合使用，形成更强大的分析框架：I. PSM + 双重稳健估计：结合倾向得分和结果模型的优势II.
(还有一种常用的方法——PSM倾向性得分匹配，经对比，PSM倾向性得分匹配方法能够处理的数据量在几w级别，且随着数据量的增加计算效率降低很快，甚至出现计算不出结果的情况，故推荐倾向性得分加权的方法)。...二 因果评估方法倾向性加权得分 从整体用户群中随机抽样，分成两组人群——实验组：参与活动用户；控制组：未参与活动用户，带入二元逻辑回归模型进行迭代，计算得到倾向性得分 P，按照 P 计算权重系数 W 用于均衡控制组人数分布...因果效应 ATT、ATE 和倾向性得分的关系如下： ATE： 这里的治疗组即为实验组，ei 即为通过模型计算出的概率得分。 ATT： 至此，我们就计算出了权重系数 w。...03迭代优化逻辑回归模型， 计算概率P、权重系数w 通过常用的逻辑回归算法计算倾向性加权得分 P，对分类变量进行热编码，匹配加权结果更均匀。...即参与活动前两组用户的日活跃率曲线是否重合，以此来验证倾向性加权得分的效果。 ② 将 N 日时间周期拉长，从后续留存时长变化趋势上帮我们清晰地定位到活动效应的存续周期。
倾向性得分匹配(Propensity Score Matching, PSM)：由Rosenbaum 和 Rubin于1983年提出，通过函数关系将多维变量X 变换为一维的倾向得分ps(X) ，基于倾向得分进行匹配...在实际中，倾向性得分匹配法是最普遍使用的匹配方法，具体操作步骤包括[1]: 倾向得分估计: (1).模型选择: 通常使用Probit模型或者Logit模型；(2).变量选择 匹配前均衡校验: 校验倾向得分相同时...分块匹配: 将样本按照倾向得分均衡划分区间，分别计算并汇总各个区间的干预效应； (2). 近邻匹配: 针对干预组样本，从控制组中选择倾向得分最接近的n 个样本匹配； (3)....卡尺匹配: 在近邻匹配基础上，要求匹配的倾向得分差异在一定的“卡尺”容忍程度内； (4). 半径匹配: 相比于卡尺匹配，允许满足容忍程度内的所有样本匹配，不限制n 个样本量; (5)....面板分析法 线性回归和匹配方法都是通过控制可观测变量来推断因果关系，但现实中，很多混淆变量是无法观测。面板数据基于独特的多维数据结构，允许进一步控制不随时间变化的无法观测变量。
） 步骤三：「因果效应估计」（estimate）： 使用统计方法对表达式进行估计，识别之后的估计 「基于估计干预分配的方法」 基于倾向的分层（Propensity-based Stratification...） 倾向得分匹配（Propensity Score Matching） 逆向倾向加权（Inverse Propensity Weighting） 「基于估计结果模型的方法」 线性回归（Linear...步骤四：「反驳」（refute） 使用各种鲁棒性检查来验证估计的正确性 「添加随机混杂因子」：添加一个随机变量作为混杂因子后估计因果效应是否会改变（期望结果：不会） 「安慰剂干预」：将真实干预变量替换为独立随机变量后因果效应是否会改变...因果效应即干预发生一个单位的改变时，结果变化的程度。下面我们将使用因果图的属性来识别因果效应的估计量。...，估计方法选择的是「倾向得分匹配」，所以的含义是，different_room_assigned = 1 比 different_room_assigned = 0取消的概率， 也就是说，换房间（different_room_assigned
倾向性得分 1.0 matching 的讨论 1.1 精准匹配 1.2 倾向性得分 / 倾向评分匹配 由来 1.3 精准匹配 -> 倾向评分匹配 2 基于倾向性评分法的因果推断 2.1 因果效应估计三种方法...2.2 倾向性评分法的均衡性检验 2.3 反驳 3 倾向性得分案例解读一（无代码）：就业与收入的影响 3.1 第一步:使用倾向性评分法估计因果效应 3.2 第二步：评估各倾向性评分方法的均衡性 3.3...1.2 倾向性得分 / 倾向评分匹配 由来 由此衍生了用倾向性得分进行匹配的方式Propensity Score Matching，简称 PSM： 在 PSM 方法中，我们首先对每一个用户计算一个倾向性得分...3.1 第一步:使用倾向性评分法估计因果效应 各种倾向性评分法的因果效应估计值在图表7中，由于不同方法的原理不同，估计的因果效应值也不同。...在安慰剂数据法中，由于生成的安慰剂数据(Placebo)替代了真实的处理变量，每个个体接收培训的事实已不存在，因此反驳测试中的因果估计效应大幅下降，接近0，这反过来说明了处理变量对结果变量具有一定因果效应
如上所述，倾向评分用于调整观察性研究中的混淆。在RCT中，随机化确保治疗和其他基线变量在统计学上是独立的，即没有混淆。那么倾向得分有什么用呢？...该方法与标准方法相同，其中人们估计倾向评分模型，然后拟合通过倾向评分的倒数加权的结果模型。因此，在第一步中，我们拟合二元治疗指标的模型，基线变量作为协变量。通常我们会使用逻辑回归模型进行建模。...从拟合的倾向评分模型中，我们获得试验中每个受试者的估计接受治疗的概率（而不是对照）。对于二元结果，我们可以拟合逻辑或对数链接回归来估计比值比或风险比。...模拟研究 对于实际的方法，我们可以使用二元结果和正态分布的基线变量进行小型模拟研究。我们使用逻辑回归模型生成。...接下来，我们看到IPTW估计器在重复样本中的变量小于标准的未调整估计器。因此，我们通过使用基线变量获得了效率。
Model(RCM)与倾向性得分 3.4.0 从matching -> 倾向性得分 3.4.0.1 精准匹配 3.4.0.2 倾向性得分 / 倾向评分匹配 由来 3.4.0.3 精准匹配 -> 倾向评分匹配...倾向得分匹配模型 倾向得分匹配模型 (propensity score matching，PSM) 类似于多元线性回归。...），将多维的协变量信息通过倾向得分（概率拟合值，scalar）来刻画。...3.4.0.2 倾向性得分 / 倾向评分匹配 由来 由此衍生了用倾向性得分进行匹配的方式Propensity Score Matching，简称 PSM： 在 PSM 方法中，我们首先对每一个用户计算一个倾向性得分...而在机器学习中，我们使用准确度来衡量机器学习模型的好坏，其目标是在训练集上估计一个条件期望，使得测试集上MSE最小。
经过IPW加权之后，我们大致认为各组样本之间不存在选择性偏差，这时，我们用对照组的观测结果( 的加权值来估计整体的对照策略的潜在结果期望，用试验组的观测结果( )的加权值来估计整体的试验策略的潜在结果期望...倾向得分调整可以用来平衡策略组和对照组的相关变量不平衡问题，从而通过匹配、分层(次分类)、回归调整或三者的某种组合来减少偏倚。文献31讨论了使用倾向得分来减少偏差，也提供了例子和详细的讨论。...现实中，回归模型的准确性和倾向得分的准确性都不容易得到验证。结合它们可以增大了估计的鲁棒性。当然了，我们也可以想一些其他办法，将策略效果分解以增加估计的鲁棒性。...IPW方法的倾向得分其实是策略的倾向选择概率，但是选择性偏差带来的是样本之间其他相关变量分布的不平衡。所以使用逆倾向得分属于只考虑了策略的倾向选择概率，却用来平衡样本之间其他相关变量的分布。...通过解决上述问题，CBPS直接从估计的带参数的倾向得分中构建了协变量平衡得分，增加了对倾向得分模型的稳健性。 这个式子就很玄妙了，首先 这个预定义的映射函数是什么，我们就不知道，作者也没介绍。
可能是因为匹配效果不佳，或丢弃了太多数据。实际上，不准确估计的最大原因是数据中存在一些不平衡，即在完成匹配后需要检验匹配结果是否真的实现了平衡两组的混淆变量水平。...步骤1：倾向得分 有多种方法可以生成倾向得分（例如逻辑回归，概率回归，甚至是机器学习技术，例如随机森林和神经网络），但是逻辑回归可能是最常见的方法。 逻辑回归模型中的结果变量必须是二进制的。...logistic 回归中的 Y 是概率的对数比，这迫使模型的输出在0-1范围内，由于是否使用该功能变量是二进制结果，这里采用逻辑回归来计算倾向得分： ?...当我们在生成倾向得分的模型中包含变量时，就像在匹配中所做的那样，我们处理了混淆变量。但是与匹配不同，该方法不会丢弃任何数据！只是使一些观察样本变得更重要，而另一些则变得不那么重要。...所有模型的结果 全文我们只是使用观察数据来估计因果关系。没有随机控制实验（ A/B 实验）的因果关系！
具体来说，其使用基于图的准则与 do-积分来对假设进行建模并识别出非参数化的因果效应；而在估计阶段则主要基于潜在结果框架中的方法进行估计。...具体支持的估计方法列表如下： 「基于估计干预分配的方法」 基于倾向的分层（Propensity-based Stratification） 倾向得分匹配（Propensity Score Matching...上图包含了数据中给定的先验知识（变量分类），我们可以利用这张图来识别因果效应（从因果估计量到概率表达式）并进行估计。...因果效应即干预发生一个单位的改变时，结果变化的程度。下面我们将使用因果图的属性来识别因果效应的估计量。...估计方法选择的是「倾向得分匹配」，具体的原理这里不做介绍。
Python模拟让我们通过模拟一个随机实验来展示其如何提供无偏的因果效应估计。...倾向得分匹配（PSM）倾向得分匹配通过模拟随机实验的条件，创建处理组和对照组的可比样本。...工具变量法（IV）工具变量法使用一个与处理相关但与结果无关的变量（工具变量）来估计因果效应。...倾向得分匹配def propensity_score_matching_analysis(data): """使用PSM估计教育效应""" matcher = PropensityScoreMatcher...() # 使用观测到的变量进行匹配 matched_data = matcher.match( data, ['family_income', 'parental_education
这一现象使得反事实结果的估计变得更加困难，因为我们需要去基于观察对照组来估计干预组中单元的对照结果，以及基于观察干预组来估计对照组中单元的干预结果。...在 IPW 估计器中，倾向评分同时作为干预概率与协变量的平衡分数而出现，为了利用倾向评分的这一双重特性，研究人员提出了「协变量平衡倾向评分」（CBPS），其通过解决如下问题来估计倾向评分： 其中...最常用的匹配算法是「最近邻匹配」（NNM），具体的步骤是基于相似度得分（例如倾向评分）选择对照组和干预组中最接近的单元进行匹配，干预组单元可以和一个对照组单元进行匹配，称为成对匹配或 1-1 匹配；也可以匹配到两个对照组...一种可行的方法是设置一个容忍度等级，来限制最大可接受的相似度得分（原文中直接使用了倾向评分）距离，这种方法被称为「卡钳匹配」，其添加了一种共同支持条件。...上述匹配方法的共同点在于只使用了对照组中的一小部分观测结果来计算干预组的反事实结果（反之亦然）。「核匹配」和「局部线性匹配」是两种非参数的匹配方法，其使用对照组中观测的加权平均来计算反事实结果。
倾向性评分最大的优势是将多个混杂因素的影响用一个综合的值来表示，即倾向性评分值（Propensity Score, PS），从而降低协变量的维度，因此该方法尤其适用于协变量较多的情况。...倾向性评分的一般步骤为： 估计 PS 值； 利用 PS 值均衡协变量分布； 均衡性检验及模型评价； 处理效应估计。...其中，PS 值的估计是以处理因素作为因变量，其他混杂因素作为自变量，通过建立一个模型（可以是传统的回归模型，也可以是机器学习方法）来估计每个研究对象接受处理因素的可能性。...4种方法均有各自的特点和局限，参考下图： 其中协变量调整又可以称为倾向性评分回归、倾向性评分矫正等。 用于倾向性评分的数据要进行一些预处理，比如缺失值处理，这在倾向性评分中是很重要的一部分内容！...下面演示使用logistic回归的方法计算PS，这里我们的处理因素是二分类变量(是否吸烟)，可以通过逻辑回归计算这些协变量（也就是混杂因素）的P值，这个P值就是倾向性评分。倾向性评分就是P值！
基于倾向得分的映射：倾向得分可以用来代表样本的原始相关变量，所以，两个样本之间的相似性可以直接用： 来表示， 和 是倾向得分；在这个基础上做一些变换也被提出： ,原文文献[131]说明这样变换一下可以有效减少偏差...在原文文献[113]中，当两个单位倾向得分的差异在一定范围内时，进一步在一些关键协变量上用其他距离进行比较。...其他映射方法：倾向得分还是只考虑了相关变量的信息，另外的一些映射方法将结果信息也考虑进来，这样映射空间的信息更加丰富。一个有代表性的指标是预知分数prognosis score，即估计的对照结果。...而且他们与观测结果是线性无关的，即消除了混杂的影响。 与基于倾向得分的距离指标侧重于样本相关变量的平衡相比，预知分数和HSIC-NNM侧重于样本在转换空间的投影和观测结果之间的关系。...上面讨论的匹配算法有一个共同点，那就是在控制组中选取少数的观察结果来评估策略组样本的反事实结果。核匹配(KM)和局部线性匹配(LLM)是非参数匹配，使用对照组的观测值加权平均来创建反事实结果。
因果推断（二）倾向匹配得分（PSM） 前文介绍了如何通过合成控制法构造相似的对照组，除此之外，也可以根据倾向匹配得分（PSM）进行构造，即为每一个试验组样本在对照组中找对与之相似的样本进行匹配。...PSM 通过统计学模型计算每个样本的每个协变量的综合倾向性得分，再按照倾向性得分是否接近进⾏匹配。本文参考自PSM倾向得分匹配法[1]。 ⚠️注意：倾向匹配得分常用于截面数据 数据准备 # !...自定义函数 # 计算propensity def cal_propensity(df, formula, k): df=df.copy() # 利用逻辑回归框架计算倾向得分，即广义线性估计...# 提取全部干预与倾向匹配数据 # 这里直接调用get_matched_data，注意输入的matches是匹配结果，raw_data是全部数据 matched_data = get_matched_data...总结 如果产品告诉你，我们发现使用A功能的用户比没有使用A功能的用户留存率提高了30%。
使用统计方法对表达式进行估计，识别之后的估计 「基于估计干预分配的方法」 基于倾向的分层（Propensity-based Stratification） 倾向得分匹配（Propensity..., X-协变量, treatment-干预, e - PS倾向性得分 这里对应使用的估计器是： LRSRegressor —— Linear Regression XGBTRegressor—— XGBoost...get_synthetic_preds_holdout生成之后数据张什么样子， 因为生成过程比较慢，建议把n调小一些，其中train_preds是，涵盖了，元数据，倾向得分，各类模型的估计结果： {'...首先，引述了可用倾向性得分代替X做ATE估计 然后，为了准确预测ATE而非关注到Y预测上，我们应尽可能使用 X中与 T 相关的部分特征。...其中一种方法就是首先训练一个网络用X预测T，然后移除最后一层并接上Y的预测，则可以实现将X中与T相关的部分提取出来(即倾向性得分 相关)，并用于Y的预测。
ATE的估计 1.1.2 CATE的估计 1.2 DR 与DML的异同 2 econml的实现 这个系列文章： 因果推断笔记——python 倾向性匹配PSM实现示例（三） 因果推断笔记——DML...其他关联可见：倾向得分方法的双重稳健且有效的改进 经过IPW加权之后，我们大致认为各组样本之间不存在选择性偏差，这时，我们用对照组的观测结果的加权值来估计整体的对照策略的潜在结果期望，用试验组的观测结果的加权值来估计整体的试验策略的潜在结果期望...所以使用逆倾向得分属于只考虑了策略的倾向选择概率，却用来平衡样本之间其他相关变量的分布。...而调整变量集会被视为对结果变量的噪声，进行消减。最后使用经过调整的结果，去估计平均因果效应。...不同点： 在于第一阶段估计目标变量Y时，同时使用X和Treatment作为特征。 然后DR是需要计算PS倾向得分的，虽然都是经过一些步骤，但是有较大差异。
Fuzzy RDD：处理概率随阈值变化，需使用工具变量法。优点：不需要随机化，适用于自然实验。在阈值附近可近似随机分配。缺点：结果仅适用于阈值附近的样本，外部有效性有限。...倾向得分匹配 (Propensity Score Matching, PSM)原理：通过估计每个个体接受处理的概率（倾向得分），将处理组和对照组中倾向得分相近的个体进行匹配，从而减少选择偏差。...步骤：估计倾向得分：�(�)=Pr(�=1∣�)P(X)=Pr(T=1∣X)。匹配处理组和对照组。计算平均处理效应。优点：不需要随机化，适合观察性数据。直观易懂。...匹配质量依赖于倾向得分模型的准确性。应用：劳动力市场研究（培训项目对收入的影响）。医疗研究（某种疗法对患者生存率的影响）。6....步骤：使用机器学习模型预测处理变量和结果变量。计算残差并估计处理效应。优点：能处理高维数据和复杂非线性关系。减少模型误设的风险。缺点：计算复杂度较高。需要较大的样本量。
进一步地，使用干预分配与混杂因子表征来推断最终的潜在结果。...其首先对给定工具变量与其他协变量的干预变量的条件分布进行建模，使用包含针对条件干预分布的积分的损失函数进行训练，然后利用现有的监督学习技术来估计因果关系。...预干预协变量共有 25 种，包括出生体重、头围、新生儿健康指数、母亲年龄、教育水平、用药、饮酒情况等。干预组为新生儿提供了强化的高质量儿童护理与专家上门服务。结果变量是新生儿的认知测试得分。...工具包名称 支持方法 语言 Dowhy 倾向回归分层 & 匹配、逆倾向加权、回归方法 Python Causal ML 基于树的方法，元学习方法 Python EconML 双重稳健估计器、正交随机森林...举例来说，有研究者提出了随机最近邻匹配方法来估计数字化营销活动的干预效果；有研究者使用协变量平衡广义倾向得分（CGBPS）来分析政治广告的效力。
确定最终分析方法基于评估结果，我们决定采用以下分析策略：主要方法：双重差分法（DID）结合倾向得分匹配（PSM）辅助方法：合成控制法（作为稳健性检验）估计目标：平均处理效应（ATE）和异质性处理效应现在我们已经确定了分析方法...，接下来将构建具体的因果模型来估计营销活动的真实效果。...倾向得分匹配实现我们首先使用倾向得分匹配来创建可比较的处理组和对照组：from sklearn.linear_model import LogisticRegressionfrom sklearn.ensemble...'): """对倾向得分匹配结果进行敏感性分析""" sensitivity_results = {} # 1....不同倾向得分模型的比较 def different_ps_models(data, model_type='logistic'): """使用不同的模型估计倾向得分"""
云服务器
ICP备案
实时音视频
对象存储
云直播
