| 导语 腾讯神盾产品化为推荐业务提供了一站式的解决方案，大大节约算法和开发的时间，同时提高推荐转化率。离线算法平台是神盾产品化中负责训练离线算法模型，并出库模型和特征到线上推荐的模块，最小训练粒度为小时级。同时，离线算法平台还整合了离线批量打分、文本内容理解与特征工程等针对特定需求的功能。 一、离线算法平台简介 算法+特征是推荐的基础，自然也是离线算法平台的两个核心模块。 离线算法平台算法库，提供了LR、CF、XGBoost、FM等多个算法模型，并且为部分算法提供了不同的优化器。 离线算法平台特征引擎，
1 综述 (1) 什么是特征选择 特征选择 ( Feature Selection )也称特征子集选择( Feature Subset Selection , FSS ) ，或属性选择( Attribute Selection ) ，是指从全部特征中选取一个特征子集，使构造出来的模型更好。 (2) 为什么要做特征选择 在机器学习的实际应用中，特征数量往往较多，其中可能存在不相关的特征，特征之间也可能存在相互依赖，容易导致如下的后果： 特征个数越多，分析特征、训练模型所需的时间就越长。 特征个数越多，容易引
在计算机视觉中，图像特征是指从图像中提取出的一些有意义的信息，如边缘、角点、颜色等。通过对图像特征的提取，可以将图像转换为可处理的数字形式，从而使计算机能够理解和处理图像。
今天分享一篇关于EEG特征选择优化的论文，发表于一区Top期刊Expert System with Applicaitons的论文Multi-objective symbiotic organism search algorithm for optimal feature selection in brain computer interfaces。
特征选择 ( Feature Selection )也称特征子集选择( Feature Subset Selection , FSS ) ，或属性选择( Attribute Selection ) ，是指从全部特征中选取一个特征子集，使构造出来的模型更好。
大家好，我是架构君，一个会写代码吟诗的架构师。今天说一说面向高维和不平衡数据分类的集成学习研究论文研读笔记「建议收藏」,希望能够帮助大家进步!!!
摘要 因果特征选择算法(也称为马尔科夫边界发现)学习目标变量的马尔科夫边界,选择与目标存在因果关系的特征,具有比传统方法更好的可解释性和鲁棒性.文中对现有因果特征选择算法进行全面综述,分为单重马尔科夫边界发现算法和多重马尔科夫边界发现算法.基于每类算法的发展历程,详细介绍每类的经典算法和研究进展,对比它们在准确性、效率、数据依赖性等方面的优劣.此外,进一步总结因果特征选择在特殊数据(半监督数据、多标签数据、多源数据、流数据等)中的改进和应用.最后,分析该领域的当前研究热点和未来发展趋势,并建立因果特征选择资料库(http://home.ustc.edu.cn/~xingyuwu/MB.html),汇总该领域常用的算法包和数据集. 高维数据为真实世界的机器学习任务带来诸多挑战, 如计算资源和存储资源的消耗、数据的过拟合, 学习算法的性能退化[1], 而最具判别性的信息仅被一部分相关特征携带[2].为了降低数据维度, 避免维度灾难, 特征选择研究受到广泛关注.大量的实证研究[3, 4, 5]表明, 对于多数涉及数据拟合或统计分类的机器学习算法, 在去除不相关特征和冗余特征的特征子集上, 通常能获得比在原始特征集合上更好的拟合度或分类精度.此外, 选择更小的特征子集有助于更好地理解底层的数据生成流程[6].
一、 背景 1) 问题 在机器学习的实际应用中，特征数量可能较多，其中可能存在不相关的特征，特征之间也可能存在相关性，容易导致如下的后果： 1. 特征个数越多，分析特征、训练模型所需的时间就越长，模型也会越复杂。 2. 特征个数越多，容易引起“维度灾难”，其推广能力会下降。 3. 特征个数越多，容易导致机器学习中经常出现的特征稀疏的问题，导致模型效果下降。 4. 对于模型来说，可能会导致不适定的情况，即是解出的参数会因为样本的微小变化而出现大的波动。 特征选择，能剔除不相关、
上文中我们了解了一下XGBoost的原理，本文再来了解一下GBDT的另一个进化算法LightGBM，从原理上来说它和GBDT及XGBoost类似，都采用损失函数的负梯度作为当前决策树的残差近似值，去拟合新的决策树。
采用PCA狗脸识别的方法完成下面的实验。图像特征可以采用灰度像素值、颜色直方图等。
LightGBM 全称为轻量的梯度提升机(Light Gradient Boosting Machine)，由微软于2017年开源出来的一款SOTA Boosting算法框架。
关于机器学习中的特征我有话要说 在这次校园招聘的过程中，我学到了很多的东西，也纠正了我之前的算法至上的思想，尤其是面试百度的过程中，让我渐渐意识到机器学习不是唯有算法，机器学习是一个过程，这样的过程包括数据处理+模型训练，而数据处理又包括了特征提取，特征表示。模型训练中有训练的策略，训练的模型，算法相关等等的一套流程，一个好的预测模型与特征提取，特征表示的方法息息相关，而算法这是作用于特征数据集上的一种策略。 以上是我个人的一些观点，如有不同见解的人，也希望你们留言，大家一起探讨，一起进步。
在这次校园招聘的过程中，我学到了很多的东西，也纠正了我之前的算法至上的思想，尤其是面试百度的过程中，让我渐渐意识到机器学习不是唯有算法，机器学习是一个过程，这样的过程包括数据处理+模型训练，而数据处理又包括了特征提取，特征表示。模型训练中有训练的策略，训练的模型，算法相关等等的一套流程，一个好的预测模型与特征提取，特征表示的方法息息相关，而算法这是作用于特征数据集上的一种策略。
一种面向高维数据的集成聚类算法 聚类集成已经成为机器学习的研究热点，它对原始数据集的多个聚类结果进行学习和集成，得到一个能较好地反映数据集内在结构的数据划分。很多学者的研究证明聚类集成能有效地提高聚类结果的准确性、鲁棒性和稳定性。本文提出了一种面向高维数据的聚类集成算法。该方法针对高维数据的特点，先用分层抽样的方法结合信息增益对每个特征簇选择合适数量比较重要的特征的生成新的具代表意义的数据子集，然后用基于链接的方法对数据子集上生成的聚类结果进行集成．最后在文本、图像、基因数据集上进行实验，结果表明，与集成
决策树算法在机器学习中算是很经典的一个算法系列了。它既可以作为分类算法，也可以作为回归算法，同时也特别适合集成学习比如随机森林。本文就对决策树算法原理做一个总结，上篇对ID3， C4.5的算法思想做了总结，下篇重点对CART算法做一个详细的介绍。选择CART做重点介绍的原因是scikit-learn使用了优化版的CART算法作为其决策树算法的实现。
本文是决策树的第三篇，主要介绍基于 Boosting 框架的主流集成算法，包括 XGBoost 和 LightGBM。
在生活中，“树”这一模型有很广泛的应用，事实证明，它在机器学习分类和回归领域也有着深刻而广泛的影响。在决策分析中，决策树可以明确直观的展现出决策结果和决策过程。如名所示，它使用树状决策模型。它不仅仅是在数据挖掘中用户获取特定目标解的策略，同时也被广泛的应用于机器学习。
遗传算法是一种基于自然选择的优化问题的技术。在这篇文章中，我将展示如何使用遗传算法进行特征选择。
特征工程 目的：从特征集合中挑选一组具有统计意义的特征子集，从而达到降维的效果。 流程：找一个集合，然后针对某个学习算法，测试效果如何，一直循环找到最优集为止。
XGBoost 是大规模并行 boosting tree 的工具，它是目前最快最好的开源 boosting tree 工具包，比常见的工具包快 10 倍以上。Xgboost 和 GBDT 两者都是 boosting 方法，除了工程实现、解决问题上的一些差异外，最大的不同就是目标函数的定义。故本文将从数学原理和工程实现上进行介绍，并在最后介绍下 Xgboost 的优点。
1 介绍 在计算机视觉、模式识别、数据挖掘很多应用问题中，我们经常会遇到很高维度的数据，高维度的数据会造成很多问题，例如导致算法运行性能以及准确性的降低。特征选取（Feature Selection）技术的目标是找到原始数据维度中的一个有用的子集，再运用一些有效的算法，实现数据的聚类、分类以及检索等任务。 特征选取的目标是选择那些在某一特定评价标准下的最重要的特征子集。这个问题本质上是一个综合的优化问题，具有较高的计算代价。传统的特征选取方法往往是独立计算每一个特征的某一得分，然后根据得分的高低选取前k个特
来源：DeepHub IMBA 本文约2200字，建议阅读5分钟 这篇文章探讨了如何使用 sklearn-genetic 包将遗传算法用于特征选择。 遗传算法是一种基于自然选择的优化问题的技术。在这篇文章中，我将展示如何使用遗传算法进行特征选择。 虽然 scikit-learn 中有许多众所周知的特征选择方法，但特征选择方法还有很多，并且远远超出了scikit-learn 提供的方法。特征选择是机器学习的关键方面之一。但是因为技术的快速发展，现在是信息大爆炸的时代，有多余的可用数据，因此通常会出现多余的特征
本文主要介绍基于 Boosting 框架的主流集成算法，包括 XGBoost 和 LightGBM。
本文是主要介绍基于 Boosting 框架的主流集成算法，包括 XGBoost 和 LightGBM。
在现实世界中，有很多类包含很多特征，比如生物的DNA，在利用不同算法选出较少的特征子集后，如何评价选出来的特征是至关重要的。
作者 | 吴磊，张艺帆 责编 | 郭芮 近年来，人工智能与机器学习的应用越来越广泛，尤其是在互联网领域。在微博，机器学习被广泛地应用于微博的各个业务，如Feed流、热门微博、消息推送、反垃圾、内容推荐等。 值得注意的是，深度学习作为人工智能和机器学习的分支，尤其得到更多的重视与应用。深度学习与众不同的特性之一，在于其能够对原始特征进行更高层次的抽象和提取，进而生成区分度更高、相关性更好的特征集合，因此深度学习算法还经常被叫作“自动特征提取算法”。 由此可见，无论是传统的基础算法，还是时下最流行的深度学习，特
知乎是目前国内最大的知识问答社区。截止 2019 年 1 月，它已经成为一个拥有 2.2 亿用户的平台。每天平台上都会产生大量的新提问，但是如此海量的问题往往不会被能够回答问题的答题者主动发现。因此，有时候需要用户或平台算法主动向潜在的答题者提出邀请，让他们来回答问题。
数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。由此可见，特征工程在机器学习中占有相当重要的地位。在实际应用当中，可以说特征工程是机器学习成功的关键。
在无人机(UAV)目标检测任务中，存在因检测目标尺度小、检测图像背景复杂等原因导致的漏检、误检问题。针对上述问题，提出改进YOLOv8s的无人机图像目标检测算法。
多目标跟踪(MOT)旨在从给定视频序列中输出所有目标的运动轨迹并维持各目标的身份。近年来，由于其在学术研究和实际应用中具有巨大潜力，因此受到越来越多的关注并成为计算机视觉的热点研究方向。当前主流的跟踪方法将MOT任务拆分为目标检测、特征提取以及数据关联３个子任务，这种思路已经得到了良好的发展。然而，由于实际跟踪过程中存在遮挡和相似物体干扰等挑战，保持鲁棒跟踪仍是当前的研究难点。为了满足在复杂场景下对多个目标准确、鲁棒、实时跟踪的要求，需要对MOT算法作进一步研究与改进。
作者 | 陈易生 前言 在伴鱼，我们在多个在线场景使用机器学习提高用户的使用体验，例如：在伴鱼绘本中，我们根据用户的帖子浏览记录，为用户推荐他们感兴趣的帖子；在转化后台里，我们根据用户的绘本购买记录，为用户推荐他们可能感兴趣的课程等。 特征是机器学习模型的输入。如何高效地将特征从数据源加工出来，让它能够被在线服务高效地访问，决定了我们能否在生产环境可靠地使用机器学习。为此，我们搭建了特征系统，系统性地解决这一问题。目前，伴鱼的机器学习特征系统运行了接近 100 个特征，支持了多个业务线的模型对在线获取特征的
和这个用户对此影片的评价，理论上我们能够通过用户对电影类型的喜好，和用户对此电影的评价来推断出电影的特征向量的
基于深度学习的算法在图像和视频识别任务中取得了广泛的应用和突破性的进展。从图像分类问题到行人重识别问题，深度学习方法相比传统方法表现出极大的优势。与行人重识别问题紧密相关的是行人的多目标跟踪问题。
数据挖掘方法的提出，让人们有能力最终认识数据的真正价值，即蕴藏在数据中的信息和知识。数据挖掘 (DataMiriing)，指的是从大型数据库或数据仓库中提取人们感兴趣的知识，这些知识是隐含的、事先未知的潜在有用信息，数据挖掘是目前国际上，数据库和信息决策领域的最前沿研究方向之一。因此分享一下很久以前做的一个小研究成果。也算是一个简单的数据挖掘处理的例子。 1.数据挖掘与聚类分析概述 数据挖掘一般由以下几个步骤： (l)分析问题:源数据数据库必须经过评估确认其是否符合数据挖掘标准。以决定预期结果，也就选择
本篇是来自木东居士的超赞文章，是关于特征工程的一些常用的方法理论以及python实现，大家在做特征工程的时候，可以有所借鉴。
它通过对已有样本的学习生成一颗决策树(可看成if-then规则集合)，从而能对新样本作出相应分类。
LightGBM可以看成是XGBoost的升级加强版本，2017年经微软推出后，便成为各种数据竞赛中刷分夺冠的神兵利器。
图像处理算法和技术在计算机视觉和图像处理领域发挥着重要作用，通过对图像进行分析、增强和转换，可以提取出有用的信息并解决实际问题。本文将以图像处理算法和技术的应用实践为中心，为你介绍一些常见的图像处理算法和技术，并通过实例展示它们在实际应用中的应用和效果。
在软件应用的各种弹窗中，弹窗识别是比较复杂的，比如不同类型弹窗中有不同的特征，比如网页样式或者浏览器类型等。弹窗的识别是涉及多个环节的，需要针对不同类型的网络流量采取不同的检测方法。由于网络流量较大，因此传统算法往往不能对弹窗进行有效识别。同时，由于弹窗具有隐蔽性和流动性，因此对于弹窗的识别有着非常高的要求，因此有针对性的攻击方式将会极大提升应用的安全性。本文基于YOLOv5算法对不同类型弹窗进行检测，并通过统计不同特征提取算法的特征信息进行匹配训练，对弹窗进行检测效果分析，最后通过算法迭代优化来实现不同类型弹窗的识别效果与检测效果的优化效果匹配，进而提高弹窗识别精度并降低攻击成本！
GBDT (Gradient Boosting Decision Tree) 是机器学习中一个长盛不衰的模型，其主要思想是利用弱分类器（决策树）迭代训练以得到最优模型，该模型具有训练效果好、不易过拟合等优点。GBDT不仅在工业界应用广泛，通常被用于多分类、点击率预测、搜索排序等任务；在各种数据挖掘竞赛中也是致命武器，据统计Kaggle上的比赛有一半以上的冠军方案都是基于GBDT。而LightGBM（Light Gradient Boosting Machine）是一个实现GBDT算法的框架，支持高效率的并行训练，并且具有更快的训练速度、更低的内存消耗、更好的准确率、支持分布式可以快速处理海量数据等优点。
加入GPU的嵌入式设备为计算机视觉提供强力的计算能力，使得很多算法可以达到实时运行的级别。这种设备可以使板载算法达到或者超过视频的输出频率，从而可以有更多的计算资源来获得更丰富的数据信息，并且降低了算法的延时误差。本文关注于使用高效的底层GPU硬件描述指令，改善VIO领域的计算机视觉算法性能。当前VIO的主要算法流程是使用图像数据进行特征提取和特征跟踪，而这两步算法非常适合并行运算。特别是算法中的非极大值抑制和随后的特征提取是影响整体图像处理速度的主要因素。首先，本文修正了针对gpu的特征检测的非极大值抑制问题，并提出了一种局部响应极大值检测算法，可以提取特征的同时计算特征的空间分布。本文的第二个贡献是使用上面的非极大值抑制算法提出了一种比FAST更快的特征检测算法。经过试验本文提出的算法在特征检测和特征跟踪上的表现，均超过了现在已有的算法。并且该算法在Jeston TX2上达到了1000fps。另外经过试验，将本文算法集成到VIO中，可以达到200fps的水平。
摘要：朴素贝叶斯算法是一种基于贝叶斯定理的分类算法，它假设各个特征之间相互独立。本文将介绍朴素贝叶斯算法的原理、应用场景以及如何使用Python中的scikit-learn库进行实现。
.NET数据挖掘与机器学习 原文：http://www.cnblogs.com/asxinyu/archive/2013/08/29/3289682.html 数据挖掘方法的提出，让人们有能力最终认识数据的真正价值，即蕴藏在数据中的信息和知识。数据挖掘 (DataMiriing)，指的是从大型数据库或数据仓库中提取人们感兴趣的知识，这些知识是隐含的、事先未知的潜在有用信息，数据挖掘是目前国际上，数据库和信息决策领域的最前沿研究方向之一。因此分享一下很久以前做的一个小研究成果。也算是一个简单的数据挖掘处理的例
同步定位和建图(SLAM)是实现机器人在未知环境下的定位和移动的重要技术方法[1]。定位精度是井下巡检的核心指标，高精度的定位算法是巡检过程中导航和避障的基础。但井下环境复杂，具有低照度、弱纹理、图像特征难以识别的特点[2]，给基于视觉的SLAM算法带来了极大的困难。而激光SLAM算法测量距离远、精度高，利用环境的结构特征进行定位[3]，在井下环境中更具应用前景[4-5]。
1.数据挖掘与聚类分析概述 数据挖掘一般由以下几个步骤： (l)分析问题:源数据数据库必须经过评估确认其是否符合数据挖掘标准。以决定预期结果，也就选择了这项工作的最优算法。 (2)提取、清洗和校验数据:提取的数据放在一个结构上与数据模型兼容的数据库中。以统一的格式清洗那些不一致、不兼容的数据。一旦提取和清理数据后，浏览所创建的模型，以确保所有的数据都已经存在并且完整。 (3)创建和调试模型:将算法应用于模型后产生一个结构。浏览所产生的结构中数据，确认它对于源数据中“事实”的准确代表性，这是很重要的一点。虽然
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
