其中有监督分箱主要包括：卡方分箱和决策树分箱。无监督分箱主要包括：等距分箱、等频分箱和聚类分箱等。
之前有位读者朋友说有空介绍一下自动分箱的方法，这个确实在我们实际建模过程前是需要解决的一个问题，简单来说就是把连续变量通过分箱的方式转换为类别变量。关于这个话题，我也借着这个主题来系统的梳理总结一下几点：为什么要分箱？不分箱可以入模型吗？自动分箱的常用方法有哪些？评估分箱效果好坏的方法有哪些？ 如果篇幅允许，就顺便把实现的Python代码也分享下，如果太长了就另外起一篇文章来讲。因此，本篇文章主要从下面几个模块来展开说说。
很多刚开始建模的同学，对原始变量转WOE都是一知半解，弄不清楚为什么要转WOE，也不清楚要怎么把变量转成WOE。
一般在建立分类模型时，当我们进行特征工程的工作经常需要对连续型变量进行离散化的处理，也就是将连续型字段转成离散型字段。
前些日子，星球里讨论风控建模面试中的一些问题，其中就提到了 “卡方分箱”。大家对卡方分箱都有或多或少的疑问，应星球朋友要求，最近整理了一下我对卡方分箱的理解，也借此分享给公众号的朋友们。
样例数据：我们创建一张hive表 t_box，包含两列（id,val), 其中id为1~1000，val 为随机数浮点数。
数据分箱（也称为离散分箱或分段）是一种数据预处理技术，用于减少次要观察误差的影响，是一种将多个连续值分组为较少数量的“分箱”的方法。
各行各业的打工人，经常会面对一种令人尴尬的质疑：为什么你把15-25归为一类，10-20不行吗？13-23不行吗？
toad是针对工业届建模而开发的工具包，针对风险评分卡的建模有针对性的功能。toad持续更新优化中，本教程针对toad的各类主要功能进行介绍， 包括：
在各种机器学习、深度学习模型快速发展的当下，评分卡模型作为一种可解释机器学习模型，仍然在金融、营销等领域被广泛使用。这一模型通过构建一组基于输入变量的评分规则，能够直观地对样本进行评分，非常易于理解和操作。举一个金融信用风险评分卡的例子，要判断一笔贷款能够被按时偿还的风险大小，可以设置这样一个评分卡：
随着互联网金融时代的到来，信用评分体系显得越发重要，本文就解读信用卡评分体系是如何建立的。
在评分卡建模流程中，WOE（Weight of Evidence）常用于特征变换，IV（Information Value）则用来衡量特征的预测能力。风控建模同学可能都很熟悉这两者的应用，但我们仍然可能疑惑诸如“如何调整WOE分箱？“、“WOE与LR之间的关系？”这些问题。
大数据时代的到来，使得很多工作都需要进行数据挖掘，从而发现更多有利的规律，或规避风险，或发现商业价值。
在进行数据分析之前 , 先要对数据进行预处理操作 , 本篇博客简要介绍常用的数据预处理方法 ;
最简单的一种方法是：使用geom_point()画出散点图。你可以将相关变动看作点的模式。例如，你可以看到钻石的克拉数和价值之间存在一种指数关系：
metagenomics， 在希腊语中meta意思是超越的。宏基因组研究的目的是通过对菌种（株）的鉴定，获得真实的多样性数据，功能，协作和进化。宏基因组分析的三个任务是物种分析（它们是谁），功能分析（能干什么，潜力），比较分析（怎么比较它们）。
大家好呀！在上一篇我们介绍了3种业界常用的自动最优分箱方法。 1）基于CART算法的连续变量最优分箱 2）基于卡方检验的连续变量最优分箱 3）基于最优KS的连续变量最优分箱 今天这篇文章就来分享一下这3种方法的Python实现。
关于作者：JunLiang，一个热爱挖掘的数据从业者，勤学好问、动手达人，期待与大家一起交流探讨机器学习相关内容~
在银行的传统评分卡建模中，应用的也是逻辑回归模型。逻辑回归本质上是一个线性分类模型。如果特征和标签并不是单调的增减关系，必须要做特征的分箱处理，及把特征值的主值区间划分为若干段，1个连续值特征会变为n个0-1取值的one-hot特征。对于金融科技公司在建模所遇到的大量的弱特征，如何挖掘多个特征之间的互补性，产生组合的分箱特征是一个技术挑战。暴力的NxN组合甚至更高维的特征组合，将导致特征维度的组合爆炸，依赖于模型和算力来进行模型挑选，是一个耗费机器算法的方案。而人工理解特征之间的相关性和互补性后，进行特征的分箱组合的方法，在海量特征维度面前基本不可行。
大家好，这里是NewBeeNLP。深度学习时代，某些领域，如计算机视觉、自然语言处理等，因为模型具有很强的特征表达能力，特征工程显得不那么重要了。
这是一个excel学习中很经典的案例，先构造评级参数表，然后直接用lookup匹配就可以了，具体不在这讲了，今天讲一下用python怎么实现该功能，总共五种(三大类：映射+numpy+pandas分箱)方法，提前预告下，最后一种数据分箱是与excel 中的 lookup最像的
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
在风控中，风险意味着不确定性，不确定性越强意味着越不可控，做数据化风控也是同理，追求的就是让确定性越来越强，转换成统计概率论来说就是不断提高我们的胜算的概率。当然，没有任何人可以做到100%的确定，因为没有人是上帝视角，所以在风控决策过程中总会产生错杀或者误放。
信用风险计量模型可以包括跟个人信用评级，企业信用评级和国家信用评级。人信用评级有一系列评级模型组成，常见是A卡（申请评分卡）、B卡（行为模型）、C卡（催收模型）和F卡（反欺诈模型）。 今天我们展示的是个人信用评级模型的开发过程，数据采用kaggle上知名的give me some credit数据集。
导读：数据清洗是数据分析的必备环节，在进行分析过程中，会有很多不符合分析要求的数据，例如重复、错误、缺失、异常类数据。
PSI这个指标我们在风控建模前后都是需要密切关注的，这个指标直接反映了模型的稳定性，对于我们评估模型是否需要迭代有着直接的参考意义。今天我将从下面几方面来介绍一下这个指标。
import numpy as np import pandas as pd from pandas import Series, DataFrame score_list = np.random.randint(25, 100, size=20)
今天分享的WOE单调性讨论，也是我们在建模过程中选择特征进行模型前需要考虑的一个细节问题。关于WOE，可以参考一下前面的文章回顾一下哈，《风控ML[3] | 风控建模的WOE与IV》。今天的分享主要从下面的顺序来展开。
编译整理 | 吴少杰、褚杏娟 策划 | 蔡芳芳 近期，前百度研究院副院长李平等人开源了多年的研究成果 Fast ABC-Boost 机器学习包。 开源代码连接：https://github.com/pltrees/abcboost 据悉，该研究十多年前就已经开始，2010 年，李平发表了题为“Robust LogitBoost and Adaptive Base Class (ABC) LogitBoost”的论文，2018 年的图灵奖得主 Yoshua Bengio 当时还与人讨论了李平在树模型和 boo
之前的文章已经阐述了逻辑回归和sigmod函数的由来、逻辑回归(logistics regression)原理-让你彻底读懂逻辑回归、评分卡原理及Python实现。
在风控建模中IV(信息价值)和WOE(证据权重)分别是变量筛选和变量转换中不可缺少的部分。
Galaxy中国（UseGalaxy.cn）> Graph/Display Data > Ggpubr 直方图
随着互联网在传统金融和电子商务领域的不断渗透，风控+互联网的融合也对传统的风控提出了新的要求和挑战。以评分卡为例，互联网形态下的评分卡需要面临更多维数据、更实时数据、更异常数据的挑战。因此，懂得互联网业务下的风控评分卡已经成为互联网风控从业人员的新要求。
有时候，我们需要执行数据分箱操作，pandas的between方法可以帮助我们实现这个目的。数据分箱（Databinning）是指我们将数据放入离散区间或段/箱的过程。
之前我们介绍过通过索引获取自己想要的数据，这节我们介绍在数据清洗过程中遇到缺失值、异常值时的一些处理方式以及我们需要对某列的值就行分组的时候怎么解决。
使用工具: python、pandas、numpy、matplotlib、seaborn、sklearn库
百分位数，如果将一组数据从小到大排序，并计算相应的累计百分位，则某一百分位所对应数据的值就称为这一百分位的百分位数。可表示为：一组n个观测值按数值大小排列。如，处于p%位置的值称第p百分位数。
可以用于形成特征矩阵的共有5个表： 1.用户基本属性表 2.银行流水记录表 3.用户浏览行为表 4.信用卡账单记录表 5.放款时间信息表
稳定性指的是参与对比两者相同指标差异性很小。机器学习使用训练数据（训练集和验证集）建模，使用测试数据模拟生产环境数据测试模型结果，其建模的假设是：训练数据涵盖了该问题所有的案例数据，即训练数据和测试（生产）数据之间的差异是很小的。
来源：DeepHub IMBA本文约1500字，建议阅读5分钟我们将讨论使用 python Pandas 库对数值进行分箱的 4 种方法。 分箱是一种常见的数据预处理技术有时也被称为分桶或离散化，他可用于将连续数据的间隔分组到“箱”或“桶”中。在本文中，我们将讨论使用 python Pandas 库对数值进行分箱的 4 种方法。 我们创建以下合成数据用于演示 import pandas as pd # version 1.3.5import numpy as npdef create_df():df
对于从事机器学习行业的人来说，Kaggle比赛可能大家都耳熟能详，它是一个流行的数据科学竞赛平台。
读者朋友们，你们好，我是Abhay Pawar，平时热衷于参加一些机器学习的比赛，不知道你以前有没有听过kaggle比赛，如果你参加过就会知道这个比赛是非常有趣的，而且很容易让人上瘾。这几年，我开发了一套标准流程来探索特征变量，以便建立更好的机器学习模型。正是这些简单而强大的技巧让我在Instacart Market Basket Analysis 比赛中获得了前2%的名次，不单单在竞赛中，我在Kaggle之外也经常使用到它们，接下来就开始我的分享吧！
本文将带领读者一起进行完整的建模全流程，了解银行风控是如何做的。并提供kaggle代码。首先讲述评分卡的分类、优缺点。接下来，结合完整的可以马上运行的代码，中间穿插理论，来讲解评分卡的开发流程。最后，把方法论再梳理一次，让读者在了解全流程后，在概念上理解再加深。
首先，需要确定变量之间是否存在共线性，若存在高度相关性，只需保存最稳定、预测能力最高的那个。需要通过 VIF(variance inflation factor）也就是 方差膨胀因子进行检验。 变量分为连续变量和分类变量。在评分卡建模中，变量分箱（binning）是对连续变量离散化（discretization）的一种称呼。要将logistic模型转换为标准评分卡的形式，这一环节是必须完成的。信用评分卡开发中一般有常用的等距分段、等深分段、最优分段。
直方图是一个可以快速展示数据概率分布的工具，直观易于理解，并深受数据爱好者的喜爱。大家平时可能见到最多就是 matplotlib，seaborn 等高级封装的库包，类似以下这样的绘图。
简单的直方图可能是理解数据集的第一步。之前，我们预览了 Matplotlib 直方图函数（参见“比较，掩码和布尔逻辑”），一旦执行了常规的导入，它在一行中创建一个基本直方图：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
云直播
