- 综合排序
- 最热优先
- 最新优先
- 来自专栏全栈程序员必看
特征工程
1.特征工程 特征归一化 问：为什么需要对数值类型的特征做归一化？ 分析解答： 为了消除数据特征之间的量纲影响，对特征进行归一化处理，使得不同指标之间具有可比性。 2.类别型特征 类别型特征指在有限选项内取值的特征。 （2）配合特征选择来降低维度。 3 高维组合特征的处理 问题：什么是组合特征？如何处理高维组合特征？ 为了提高复杂关系的拟合能力，在特征工程中疆场会把一阶离散特征两两组合，构成高阶组合特征。 深度学习模型提供了一种自动地进行特征工程的方式，模型中的每个隐层都可以认为对应着不同抽象层次的特征。
59420发布于 2021-05-20 - 来自专栏小明的博客
特征工程
数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。 特征工程本质是一项工程活动，目的是最大限度地从原始数据中提取特征以供算法和模型使用。 ( x^{\prime}=\frac{2 \arctan (x)}{\pi} ) 定量特征二值化 特征二值化是将数值型的属性按照阈值转换为布尔值（1或0）的属性,主要目的是将特征的取值变到我们想要研究的问题上去 例如将“中国”、“美国”、“英国”分别用1,2,3进行编码，机器学习的估计器将认为这些属性值是有序的。 4 个特征，度为 2 的多项式转换公式如下： 特征选择 特征选择的好处:更容易理解，减少训练周期和避免维度诅咒。 信息增益度量：特征f的信息增益定义为使用特征f的先验不确定性与期望的后验不确性之间的差异。若特征f1的信息增益大于特征f2的信息增益，则认为特征f1优于特征f2。
1.2K20编辑于 2022-09-06 - 来自专栏用户画像
特征工程
特征工程是用数学转换的方法将原始输入数据转换为用于机器学习模型的新特征。 特征工程提高了机器学习模型的准确度和计算效率，体现在以下五个方面 1、把原始数据转换成与目标相关的数据 我们可以使用特征工程对原始数据进行转换，使其更接近目标变量，转换后的特征对目标更有预测性。 在这种情况下，虽然未加工输入出现在原始数据集中，但如果将转换后的特征作为输入，则机器学习将提高预测的准确性。 2、引入额外的数据源 特征工程可以使从业者向机器学习模型引入额外的数据源。 引自《机器学习实战》 在机器学习应用领域中，特征工程扮演着非常重要的角色，可以说特征工程是机器学习应用的基础。 在机器学习应用中，特征工程介于“数据”和“模型”之间，特征工程是使用数据的专业领域知识创建能够使机器学习算法工作的特征的过程，而好的数据胜于多的数据。
86310发布于 2019-08-29 - 来自专栏mathor
特征工程
这次特征工程主要是以天池的一个二手车交易价格预测比赛出发进行学习 特征工程和数据清洗转换是比赛中至关重要的一块，因为数据和特征决定了机器学习的上限，而算法和模型只是逼近这个上限而已，所以特征工程的好坏往往决定着最后的结果 特征工程一般包括特征构造，特征选择，降维等步骤，但是它一般是和数据清洗转换放在一块，也有的把这两块统称为特征工程，因为两者联系实在是密切（你中有我，我中有你的景象） 通过数据清洗和转换，我们能够更好地表示出潜在问题的特征 特征构造 特征工程这块，在特征构造的时候，我们需要借助一些背景知识，遵循的一般原则就是我们需要发挥想象力，尽可能多的创造特征，不用先考虑哪些特征可能好，可能不好，先弥补这个广度，而特征构造的时候数值特征 通过上面的步骤，我们已经把特征工程做完了。简单的梳理一下，首先构造的是时间特征，构造了使用时间，是否报废，使用时间分箱，是否淡旺季等特征。 总结 梳理一下上面的知识：特征工程和数据清洗分不开，特征工程部分包括特征构造，特征筛选和降维等技术，特征构造部分，我们需要发散思维，根据背景尽可能的构造特征出来，挖掘数据的潜在信息，当然，构造的时候，不同字段的特征得分开处理
62620发布于 2020-03-31 - 来自专栏机器学习算法原理与实践
特征工程之特征表达
在特征工程之特征选择中，我们讲到了特征选择的一些要点。本篇我们继续讨论特征工程，不过会重点关注于特征表达部分，即如果对某一个特征的具体表现形式做处理。 如果是离散值，则一般会选择所有有该特征值的样本中最频繁出现的类别值，来填充缺失值。在sklearn中，可以使用preprocessing.Imputer来选择这三种不同的处理逻辑做预处理。 2. 此外，在自然语言处理中，我们也可以用word2vec将词转化为词向量，进而可以进行一些连续值的后继处理。 4. 离散特征的离散化处理 离散特征有时间也不能直接使用，需要先进行转化。 当然有时候转化为三值特征或者四值特征也是可以的。 对于分类问题的特征输出，我们一般需要用sklearn的LabelEncoder将其转化为0,1,2，...这样的类别标签值。 5. 小结 本文总结了特征表达的一些具体方法， 但是特征表达的方法便不止于上文中的方法，毕竟这是工程实践。但是上文中的方法是比较普遍的，希望可以给大家一些帮助和启发。
1K30发布于 2018-08-07 - 来自专栏Michael阿明学习之路
Feature Engineering 特征工程 2. Categorical Encodings
Count Encoding 计数编码 计数编码，就是把该类型的value，替换为其出现的次数 例如：一个特征中CN出现了100次，那么就将CN，替换成数值100 category_encoders.CountEncoder model on the baseline data train, valid, test = get_data_splits(data) bst = train_model(train, valid) 2. 目标编码：将会用该特征值的 label 的平均值 替换 分类特征值 For example, given the country value “CA”, you’d calculate the average 举例子：特征值 “CA”，你要计算所有 “CA” 行的 label（即outcome列）的均值，用该均值来替换 “CA” This is often blended with the target probability 这种编码方法会产生新的特征，不要把验证集和测试集拿进来fit，会产生数据泄露 Instead, you should learn the target encodings from the training
1.2K20发布于 2020-07-13 - 来自专栏算法研习社
特征工程（中）- 特征表达
模型需求 如果你在公司负责建模调优，那你对负责特征工程的同事，会有什么样的需求呢？换言之，你希望他们给你什么样的特征呢？ 应该不外乎这么几点，类型匹配、特征准确性、特征完备性和方便模型训练。 限于篇幅，这里不再详述，有兴趣的同学可以去研究Word2vec等Embedding模型。 比如，对类型1、2、3和4，可以分别编码为（1 0 0 0）、（0 1 0 0）、（0 0 1 0）和（0 0 0 1）。 如果分别编码为t1、t2和t3，则t2必需要介于t1和t3之间。 04 特殊特征的处理 有时候，根据模型的需要，需要对一些特征做特殊处理。这里以时间特征和地理特征为例，进行说明。 对文中提到的归一化，我们认为也是特征表达的一个方面，但这个问题不太核心，且限于篇幅，不再详述。下篇文章将是特征工程系列的最后一篇，届时会讨论特征评估的问题。
89830发布于 2020-07-21 - 来自专栏机器学习算法原理与实践
特征工程之特征选择
特征工程是数据分析中最耗时间和精力的一部分工作，它不像算法和模型那样是确定的步骤，更多是工程上的经验和权衡。因此没有统一的方法。这里只是对一些常用的方法做一个总结。本文关注于特征选择部分。 这个特征集合有时候也可能很大，在尝试降维之前，我们有必要用特征工程的方法去选择出较重要的特征结合，这些方法不会用到领域知识，而仅仅是统计学的方法。 最简单的方法就是方差筛选。 ，在第二类的时候，特征数就剩下n-1个了，我们继续用这n-1个特征和输出值来训练SVM，同样的，去掉$w_i^2$最小的那个序号i对应的特征。 在sklearn中，使用SelectFromModel函数来选择特征。 最常用的是使用L1正则化和L2正则化来选择特征。 个人经验是，聚类的时候高级特征尽量少一点，分类回归的时候高级特征适度的多一点。 4. 特征选择小结 特征选择是特征工程的第一步，它关系到我们机器学习算法的上限。
1.3K20发布于 2018-08-07 - 来自专栏光城(guangcity)
特征工程之特征关联
特征工程之特征关联 0.说在前面 1.皮尔逊 2.pointbiserialr系数 3.Spearman's 系数 4.总结 5.作者的话 0.说在前面 昨天学习了seaborn绘制图形 ，以及单变量与多变量之间的绘图，那么今天从统计学角度实战分析在处理特征工程过程中所涉及的三个相关系数(具体的三个系数数学推导，在后续更新)。 针对连续变量，我们在做特征工程时，需要做的便是皮尔逊系数分析！ 由于运行的结果众多，这里拿一个说明，如上图所示，pearsonr系数为0.7,说明与price的关联程度很强，那么在提取特征时，就得着重关注！ Spearman相关条件： 1.xy不服从双变量正态分布 2.总体分布类型未知 3.数据本身有不确定值 4.等级资料。
1.7K20发布于 2019-09-20 - 来自专栏机器学习AI算法工程
特征工程(四): 类别特征
独热编码e1,e2,e3限制条件。 e1+e2+e3+...+ek=1 因此，我们有一个线性的依赖性。 线性相关特征，就像我们一样在tfidf中发现，有点烦人，因为它意味着训练线性模型不会是唯一的。 线性回归模型可以这样写 y=w1x1+w2x2+w3x3+...+wnxn 习惯上我们还添加一个常量来，这样的话当x全部为0，y不会为0. 例5-1.在独热编码上的线性回归 ? 在效果编码中，没有单一特征代表参考类别。 因此，参考类别的影响需要分别计算为所有其他类别的系数的负和。(查看what is effect coding?) 例子5-2 Effect编码的线性回归 ? 然而，因为它是一种特征工程技术，而不是一种建模或优化方法，所以没有关于该主题的研究论文。 完整的数据集包含4,0428,967个观测值，其中有2,686,408个独特的设备。 Avazu竞赛使用广告数据来预测点击率，但我们将使用它来演示如何bin计数可以大大减少大的特征空间流数据量。
3.9K20发布于 2019-10-28 - 来自专栏算法研习社
特征工程（下 ）- 特征评估
作者丨stephenDC 编辑丨Zandy 作者会在本文中结合自己在视频推荐方面的工作经验，着重从工程实现方面，讲述如何对特征进行评估的问题。 Word2vec：Word2vec是谷歌提出的词嵌入模型，可以将一个词嵌入到特定的特征空间之中，并维持词与词之间的语义关系。 如果每个视频当成一个单词，将每个用户观看过的视频当成一个句子，则可以用Word2vec对视频编码，得到视频特征。 2 特征的问题 在数据源确定的情况下，影响特征质量的因素主要是特征选择和特征编码。在特征选择方面，我们要考虑选择出的特征是否完备，冗余度如何等。 没有这些相关同事的工作，特征工程就是巧妇难为无米之炊了。 小结 本文在“特征选择”和“特征表达”的基础上，聊了一下特征评估的问题。至此，特征工程系列终于结束。
1.7K20发布于 2020-07-21 - 来自专栏算法研习社
特征工程（上）- 特征选择
机器学习问题，始于构建特征。 特征质量的好坏，直接影响到最终的模型结果。 构建特征是一个很大的工程，总体来讲包括“特征选择”、“特征表达”和“特征评估”3个部分。 我们也按这3个部分，并结合自己的具体实践，用3篇文章来和大家聊一下特征工程的相关问题。 本篇文章，我们讨论一下特征选择。特征选择指的是，在全部的特征中，挑选出对最终的机器学习任务有用的特征。 在进行特征选择时，可以丢弃那些方差特别小的特征。 2. 健康状况和吸烟多少有关系吗？我想，绝大多数人会认同，吸烟对健康是负相关，即有害的。 3. 个人成功和家庭背景有关系吗？“当然没有”，前总理的女儿曾说过，“能力之外的资本等于0”！ 如果我们先从N个特征中选出一个最好的特征，然后让其余的N-1个特征分别与第一次选出的特征进行组合，从N-1个二元特征组合中选出最优组合。之后，再次在上次的基础上，添加一个新的特征，考虑3个特征的组合。
1.1K20发布于 2020-07-21 - 来自专栏AI 算法笔记
特征工程之特征缩放&特征编码
机器学习入门系列(2)--如何构建一个完整的机器学习项目(一) 机器学习数据集的获取和测试集的构建方法 特征工程之数据预处理（上） 特征工程之数据预处理（下） 本篇文章会继续介绍特征工程的内容，这次会介绍特征缩放和特征编码 2.决策树模型不推荐对离散特征进行独热编码，有以下两个主要原因： 产生样本切分不平衡问题，此时切分增益会非常小。 优点：模型简单 缺点：特征工程比较困难，但一旦有成功的经验就可以推广，并且可以很多人并行研究。 对于非线性模型（比如深度学习），通常使用“少量连续特征+复杂模型”。 优点：不需要复杂的特征工程 缺点：模型复杂 分桶 1.离散化的常用方法是分桶： 将所有样本在连续的数值属性 j 的取值从小到大排列。 然后从小到大依次选择分桶边界。 ---- 参考： 《百面机器学习》第一章 特征工程 https://blog.csdn.net/dream_angel_z/article/details/49388733#commentBox https
1.6K20发布于 2019-08-16 - 来自专栏AI 算法笔记
特征工程(完)
--如何构建一个完整的机器学习项目(一) 机器学习数据集的获取和测试集的构建方法 特征工程之数据预处理（上） 特征工程之数据预处理（下） 特征工程之特征缩放&特征编码 这也是特征工程系列最后一篇文章，介绍特征提取 、特征选择、特征构建三个工作，通常特征工程被认为分为这三方面的内容，只是我将前面的数据&特征预处理部分都加入到这个系列。 深度学习模型的出现正好提供了一种自动进行特征工程的方法，它的每个隐含层都相当于不同抽象层次的特征。 ---- 小结 特征工程这个内容加上本文总共写了四篇文章，从数据预处理，处理缺失值、异常值，类别不平衡和数据扩充问题，到特征缩放、特征编码，以及本文的特征选择、特征提取和特征构造，基本包含了特征工程涉及的内容 实际上是在对于《hands-on-ml-with-sklearn-and-tf》第二章数据准备部分的总结，刚好涉及到特征工程内容，所以打算好好做个总结，没想到这部分内容真的不少，而对于特征工程，我的经验其实不算很丰富
1.1K20发布于 2019-08-16 - 来自专栏机器学习算法原理与实践
特征工程之特征预处理
在前面我们分别讨论了特征工程中的特征选择与特征表达，本文我们来讨论特征预处理的相关问题。主要包括特征的归一化和标准化，异常特征样本清洗与样本数据不平衡问题的处理。 1. 具体的方法是求出样本特征x的均值mean和标准差std，然后用（x-mean)/std来代替原特征。这样特征就变成了均值为0，方差为1了。 2. 异常特征样本清洗 我们在实际项目中拿到的数据往往有不少异常数据，有时候不筛选出这些异常数据很可能让我们后面的数据分析模型有很大的偏差。 举个例子，比如该类别的候选合成集合有两个样本$(x_1,y),(x_2,y)$,那么SMOTE采样后，可以得到一个新的训练样本 image.png ,通过这种方法，我们可以得到不改变训练集分布的新样本， 结语 特征工程系列终于写完了，这个系列的知识比较零散，更偏向工程方法，所以不像算法那么紧凑，写的也不是很好，希望大家批评指正。如果有其他好的特征工程方法需要补充的，欢迎留言评论。
2K40发布于 2018-08-07 - 来自专栏1996
特征工程之类别特征
表5-1 对3个城市的类别进行独热编码 City e1 e2 e3 San Francisco 1 0 0 New York 0 1 0 Seattle 0 0 1 独热编码非常易于理解。 独热编码e1,e2,e3限制条件。 因此，我们有一个线性的依赖性。线性相关特征，就像我们一样在tfidf中发现，有点烦人，因为它意味着训练线性模型不会是唯一的。 表5-2 对3个城市的类别进行dummy编码 City e1 e2 San Francisco 1 0 New York 0 1 Seattle 0 0 使用虚拟编码进行建模的结果比单编码更易解释。 例子5-2表达了运行机理。截距项表示目标的全球平均值变量，单个系数表示各个类别的平均值与全球平均值有多少差异。（这被称为类别或级别的主要效果，因此名称为“效果编码”。） 图5-2 哈希编码 当有很多特征时，存储特征向量可能占用很多空间。特征散列将原始特征向量压缩为m维通过对特征ID应用散列函数来创建矢量。
1.1K10编辑于 2022-09-23 - 来自专栏机器学习AI算法工程
特征工程(一)：
可能它们与模型相关联的事实也没那么明显；一些模型更适合某些类型的特征，反之亦然。正确的特征应该与手头的任务相关并且容易被模型摄取。特征工程是指给定数据、模型和任务是制定最佳特征的过程。 这并不意味着不再需要特征工程。好的特征不仅代表数据的显著方面，而且符合模型的假设。因此，转换常常是必要的。数字特征工程技术是基础。当原始数据被转换为数字特征时，它们可以被应用。 （严格地说，这将是目标工程，而不是特征工程。）对数变换，这是一种功率变换，将变量的分布接近高斯。另一个解决方案是第5章讨论的bin计数方法。 总结 本章讨论了许多常见的数字特征工程技术：量化，缩放（又称规范化），对数变换（一种功率变换），交互特征以及处理大量交互特征所需的特征选择技术的简要总结。在统计机器学习中，所有数据最终归结为数字特征。 因此，所有道路最终都会指向某种数字特征工程技术。
1.4K30发布于 2019-10-28 - 来自专栏vincent随笔
特征工程笔记
虽然说特征工程很大程度上是经验工程，跟具体业务相关，但是我们可以根据一些思路来进行，以下是我在实践过程中总结出来的一些思路，希望能给大家带来一点启发。 根据相关领域的经验和概览得到的信息，决定怎么对属性进行组合比较合适 原始属性 四则运算 求和 求增幅 求众数，方差，极差 特征交叉组合 特征随机组合，然后使用PCA降维 对结构化属性进行组合（四则运算 ，求倒数和，x*y x2+y2 1/x+1/y等） 几点tips: 如果数据在某属性分布比较集中，这个属性必须细分 如果数据在某两个或几个属性间有相关性（协方差接近1），那他们可以只取其中一个，降维处理 2.特征生成 加权融合 对不同的特征采用不同的权重 数值归一化 数值重新赋值 将连续数值分段，进行离散化（one hot编码 TF-IDF编码） 3.特征选择 主成分分析（PCA） 因子分析 机器学习获取特征重要性分数 根据方差选择，选择方差大于一定阈值的特征（方差太小说明该特征的区别不明显）
30310发布于 2021-08-18 - 来自专栏Soul Joy Hub
pyspark 特征工程
曾经在15、16年那会儿使用Spark做机器学习，那时候pyspark并不成熟，做特征工程主要还是写scala。 后来进入阿里工作，特征处理基本上使用PAI 可视化特征工程组件+ODPS SQL，复杂的话才会自己写python处理。最近重新学习了下pyspark，笔记下如何使用pyspark做特征工程。 我们使用movielens的数据进行，oneHotEncoder、multiHotEncoder和Numerical features的特征处理。 Jumanji (1995)|Adventure|Childre...| 2|(1001,[2],[1.0])| | 3|Grumpier Old Men . -------+---------+--------------------+ only showing top 5 rows 其中生成vector的udf array2vec ： def array2vec
2.3K10发布于 2021-03-20 - 来自专栏人工智能从业者资格
2.1.3 特征工程
特征工程是什么？数据和特征决定了机器学习的上限，模型和算法只是逼近这个上限。 特征工程定义特征工程是指在机器学习中，在数据准备阶段之后，在构建模型和算法训练之前，对已经经过预处理的原始数据进一步提取和选择（数据的）（对本次任务）有效的特征，以供模型和算法来使用。 顾名思义，特征工程是一种工程活动，有很多对数据的处理在一定程度上都可以算法是特征工程，比方说数据清洗、数据选择、数据构造、数据提取等。所谓数据的特征，被抽象出来的信息，可以被机器或人类加以利用和识别。 机器学习如何识别人脸，我们需要为机器学习汇总和整理好人脸的特征，交给机器来学习，这就是特征工程需要做的事情。本质对数据的降维把“数据样本”拆解为“多个特征的组合”的过程就是降维的过程。 特征工程的基本方法特征工程非常依赖实践，在项目实战中学习特征工程才最有效。
44630编辑于 2023-01-01
腾讯云开发者
