在证券市场中，存在着大量历史交易数据。近年来随着大数据兴起，数据挖掘技术在股市中也得到了广泛的关注，在阅读文献的基础上我们小组对股市中不同情况如行业板块联动、行业指数涨跌预测、个股价格涨跌预测分别采用不同的机器学习算法进行分析。
聚类是一种无监督学习，聚类的方法几乎可以应用于所有对象。 聚类分析根据聚类算法将数据或样本对象划分成两个以上的子集。 每一个子集称为一个簇，簇中对象因特征属性值接近而彼此相似。不同簇对象之间则彼此存在差异。 把相似的对象归于统一组，不同对象归于不同组。需要一种相似度的计算方法
监督学习可以认为是学习一个模型，使它能对给定的输入预测相应的输出。监督学习包括分类、标注、回归。本篇主要考虑前两者的学习方法。
AI for Science领域存在大量未解NP-hard问题，其中就包括量子多体问题。作者丨何力新整理 | Don 编辑 | 青暮 人工智能的下一个目标是从模仿认知学习，转向解决一直存在的大规模科学计算问题，UC伯克利教授Michael Jordan曾经强调。而李国杰院士也曾在与雷峰网的交流中进一步指出，人工智能应该突破约翰·麦肯锡和艾伦·图灵定下来的框框，去研究NP-hard级别的大难题，让基础科研走向大工程化。也就是说，要用数据、算力和算法合力去寻找这类难题的具体解，并落地应用，而不仅仅追求理论边界的
链接: https://pan.baidu.com/s/1qa99ntHsozgqB2xliVYd7A 提取码: sp9h –来自百度网盘超级会员v6的分享
大数据文摘作品 作者：Susan Li 编译：袁雪瑶、吴双、姜范波 根据美国疾病控制预防中心的数据，现在美国1/7的成年人患有糖尿病。但是到2050年，这个比例将会快速增长至高达1/3。我们在UCL机器学习数据库里一个糖尿病数据集，希望可以通过这一数据集，了解如何利用机器学习来帮助我们预测糖尿病，让我们开始吧！ 数据集github链接：https://github.com/susanli2016/Machine-Learning-with-Python/blob/master/diabetes.csv 数
KNN（K-Nearest Neighbor）最邻近分类算法是数据挖掘分类（classification）技术中常用算法之一，其指导思想是"近朱者赤，近墨者黑"，即由你的邻居来推断出你的类别。
【第1章】 统计学习方法概论 【第2章】 感知机 【第3章】 k 近邻法 【第4章】 朴素贝叶斯法 【第5章】 决策树 【第6章】 逻辑斯谛回归与最大熵模型 【第7章】 支持向量机 【第8章】 提升方法 【第9章】 EM算法及其推广 【第10章】 隐马尔科夫模型 【第11章】 条件随机场 【第12章】 统计学习方法总结
今天要给大家介绍的是异常检测(Anomaly Detection), 它是机器学习的一个重要分支，实际应用领域广泛，更与我们的生活息息相关。那么什么是异常检测？其主要方法和目前所面临的技术难题有哪些？本文或许能提供一些参考。
感知机、k近邻法、朴素贝叶斯法、决策树 是简单的分类方法，具有模型直观、方法简单、实现容易等特点
选自towardsdatascience 作者：Marie Stephen Leo 机器之心编译 编辑：小舟、杜伟 数据科学经典算法 KNN 已被嫌慢，ANN 比它快 380 倍。 在模式识别领域中，K - 近邻算法（K-Nearest Neighbor, KNN）是一种用于分类和回归的非参数统计方法。K - 近邻算法非常简单而有效，它的模型表示就是整个训练数据集。就原理而言，对新数据点的预测结果是通过在整个训练集上搜索与该数据点最相似的 K 个实例（近邻）并且总结这 K 个实例的输出变量而得出的。KN
最近邻法是最简单的预测模型之一，它没有多少数学上的假设，也不要求任何复杂的处 理，它所要求的仅仅是:
在介绍min-hash算法之前，我们必须先简单介绍一下LSH（局部敏感哈希 Locality Sensitive Hashing）的概念。
欧氏距离是两个点在 n 维空间中直线距离的度量。它是最常见的距离度量方法之一，用于计算两个向量之间的距离。欧氏距离的公式如下：
考虑接下来一段时间会出差在外，现将自己近1个月来学习ML算法的一点成果做以分享，相关源码纯干货版本已上传至GitHub，有需要者可通过"阅读原文"连接自行clone。
机器学习算法是这样设计的，它们从经验中学习，当它们获取越来越多的数据时，性能就会提高。每种算法都有自己学习和预测数据的方法。在本文中，我们将介绍一些机器学习算法的功能，以及在这些算法中实现的有助于学习过程的一些数学方程。
DBSCAN （Density-Based Spatial Clustering of Applications with Noise） 是一种基于密度的聚类算法，基于密度的聚类寻找被低密度区域分离的高密度区域。常用于异常值或者离群点检测。
本文最初发表在 《ACM通讯》2012年第10辑。作者是华盛顿大学教授，著名的机器学习专家 Pedro Domingos。作者2016年凭借畅销书《终极算法》而名声大噪，成为全球机器学习领域代表人物之一。而5年前 Domingos 教授发表的这篇“内功心法”，也是整个国外机器学习领域几乎人人必读的一篇文章。在很多大学的机器学习课程以及优达学城等在线培训体系中，都推荐学生精读此文。 这篇文章高屋建瓴的介绍了机器学习实践当中若干需要关注、而又不见于一般教科书的问题，堪称经验之谈，非常宝贵。 国内的机器学
一句话就可以概括出KNN（K最近邻算法）的算法原理：综合k个“邻居”的标签值作为新样本的预测值。更具体来讲KNN分类过程，给定一个训练数据集，对新的样本Xu，在训练数据集中找到与该样本距离最邻近的K（下图k=5）个样本，以这K个样本的最多数所属类别（标签）作为新实例Xu的预测类别。
导读：在机器学习领域里，不存在一种万能的算法可以完美解决所有问题，尤其是像预测建模的监督学习里。 所以，针对你要解决的问题，最好是尝试多种不同的算法。并借一个测试集来评估不同算法之间的表现，最后选出一
今天给大家带来一篇人脸识别中的脸型识别，不同的脸型适合的眼镜发型不同，那么计算机要如何基于人脸图像来确定脸型呢？
导读：在机器学习领域里，不存在一种万能的算法可以完美解决所有问题，尤其是像预测建模的监督学习里。
在机器学习领域里，不存在一种万能的算法可以完美解决所有问题，尤其是像预测建模的监督学习里。 比方说，神经网络不见得比决策树好，同样反过来也不成立。 最后的结果是有很多因素在起作用的，比方说数据集的大小
k-近邻（kNN, k-NearestNeighbor）算法是一种基本分类与回归方法，我们这里只讨论分类问题中的 k-近邻算法。
本文共3800字，建议阅读6分钟。 选什么算法？本文为你梳理TOP10机器学习算法特点。
单细胞rna测序(scRNA-seq)是一种强大的实验方法，为基因表达分析提供细胞分辨率。随着scRNA-seq技术的广泛应用，分析scRNA-seq数据的方法也越来越多。然而，尽管已经开发了大量的工具，但大多数scRNA-seq分析都是在两种分析平台之一进行的:Seurat或Scanpy。表面上，这些程序被认为实现了分析相同或非常相似的工作流程:scRNA-seq结果计算分析的第一步是将原始读取数据转换为细胞基因计数矩阵X，其中输入Xig是细胞i表达的基因g的RNA转录本的数量。通常，细胞和基因被过滤以去除质量差的细胞和最低表达的基因。然后，将数据归一化以控制无意义的可变性来源，如测序深度、技术噪声、库大小和批处理效果。然后从归一化数据中选择高度可变基因(hvg)来识别感兴趣的潜在基因并降低数据的维数。随后，基因表达值被缩放到跨细胞的平均值为0，方差为1**。这种缩放主要是为了能够应用主成分分析(PCA)来进一步降低维数，并提供有意义的嵌入来描述细胞之间的可变性来源。然后通过k近邻(KNN)算法传递细胞的PCA嵌入，以便根据细胞的基因表达描述细胞之间的关系。KNN图用于生成无向共享最近邻(SNN)图以供进一步分析，最近邻图被传递到聚类算法中，将相似的单元分组在一起。图(s)也用于进一步的非线性降维，使用t-SNE或UMAP在二维中图形化地描绘这些数据结构。最后，通过差异表达(DE)分析鉴定cluster特异性marker基因，其中每个基因的表达在每个cluster与所有其他cluster之间进行比较，并通过倍比变化和p值进行量化。
基于数据，构建一个概率分布模型，得出模 型的概率密度函数。通常，异常点的概率是很低的。
概述 今天介绍一下机器学习常用算法，以及常用的数据处理技巧等。我们都知道机器学习针对特定任务从经验中学习，并且使得我们的任务效果越来越好。我们看一机器学习的workflow，如下所示: 数据采集和标记->数据清洗->特征选择->模型选择->模型训练和测试->模型性能评估和优化->模型使用即上线。 我们一般通过Python来实现机器学习常用算法的程序，所以基于Python语言常用的机器学习类库及其第三方扩展库有:IPython,Jupyter,numpy,matplotlib,scipy,scikit-lea
在物体分类、目标跟踪等问题下，我们经常需要提取物体的一些特征。传统图像中常使用描述子（例如BRIEF）等对某个特征点（FAST或Harris角点）等进行描述，进而通过特征匹配的方式进行跟踪，或利用机器学习的方式完成物体分类等任务。
如今的数据世界正在飞速变化，但许多企业似乎还未跟上这一趋势的脚步。有行业专家预测，到2025年，80%或以上的数据将是非结构化数据。但德勤的一项调查显示，只有18%的企业对非结构化数据分析做好了准备。这意味着绝大多数企业拥有的大部分数据都无法利用，而这也就突显了拥有正确工具的重要性。
KNN（k-nearest neighbors）又叫做K近邻，是机器学习中相对简单好理解的算法，并且它是个几乎不需要训练就可以得到预测结果的模型。
项目流程 明确定义问题 考虑非机器学习的方法 进行系统设计 选择算法 确定特征，训练数据和日志 执行前处理 学习与参数调整 系统实现 项目基础 微积分 矩阵计算 概率计算 项目算法 分类：利用正确解答的离散类别与输入数据的组合进行学习，从未知数据预测类别 回归：利用正确的数值和输入数据的组合进行学习，从未知数据预测连续值 聚类：以某种基准对数据进行分组 降维：将高维数据映射为低维数据以便可视化或减少计算量。 分类算法（离散值） 二元分类（二值分类） 感知机 逻辑回归 svm(支持向量机) 神经网络
今天我深入研究了逻辑回归到底是什么，以及它背后的数学是什么。学习了如何计算代价函数，以及如何使用梯度下降法来将代价函数降低到最小。 由于时间关系，我将隔天发布信息图。如果有人在机器学习领域有一定经验，并愿意帮我编写代码文档，也了解github的Markdown语法，请在领英联系我。
新的一周又开始了，作为引子的review，还是有点长的，大家可以耐心的读读，绝对会让你有种豁然开朗的感觉。下周的重点是统计语言模型，别想的那么复杂，实际上就是贝叶斯概率和线性代数。窃以为，所谓以代码来讲解算法的，就是在培训码农，而不是一名合格的程序员。虽然，作为应用的学科，证明并不是那么像纯数学那样重要，但总归还是得明白原理吧。
该数据与银行机构的直接营销活动相关，营销活动基于电话。通常，需要与同一客户的多个联系人联系，以便访问产品（银行定期存款）是否会（“是”）或不会（“否”）订阅
机器学习是一项经验技能，经验越多越好。在项目建立的过程中，实践是掌握机器学习的最佳手段。在实践过程中，通过实际操作加深对分类和回归问题的每一个步骤的理解，达到学习机器学习的目的。 预测模型项目模板 不能只通过阅读来掌握机器学习的技能，需要进行大量的练习。本文将介绍一个通用的机器学习的项目模板，创建这个模板总共有六个步骤。通过本文将学到： 端到端地预测（分类与回归）模型的项目结构。 如何将前面学到的内容引入到项目中。 如何通过这个项目模板来得到一个高准确度的模板。 机器学习是针对数据进行自动挖掘，找出数据
文章节选自《机器学习——Python实践》 文末评论赠送本书，欢迎留言！ 机器学习是一项经验技能，经验越多越好。在项目建立的过程中，实践是掌握机器学习的最佳手段。在实践过程中，通过实际操作加深对分类和回归问题的每一个步骤的理解，达到学习机器学习的目的。 预测模型项目模板 不能只通过阅读来掌握机器学习的技能，需要进行大量的练习。本文将介绍一个通用的机器学习的项目模板，创建这个模板总共有六个步骤。通过本文将学到： 端到端地预测（分类与回归）模型的项目结构。 如何将前面学到的内容引入到项目中。 如何通过这个项
数据分析的主要困难 我们碰到的数据通常有这样几个特点。一是数据量大。大家只要想一想，万维网上有多少网页，这些网页上有多少数据，就可以对现在碰到的数据量之大有点感觉了。第二是维数高。前面提到的SNP数据是64万维的。第三是类型复杂，比方说这些数据可以是网页或报纸，也可以是图像，视频。第四是噪音大。 这里面最核心的困难是维数高。维数高给我们带来的是维数诅咒（curse of dimension）：模型的复杂度和计算量随着维数的增加而指数增长。例如非参数化的模型中参数的个数会随着维数的增加而指数增长。
文章节选自《机器学习——Python实践》 文末评论赠送本书，欢迎留言！ 机器学习是一项经验技能，经验越多越好。在项目建立的过程中，实践是掌握机器学习的最佳手段。在实践过程中，通过实际操作加深对分类和回归问题的每一个步骤的理解，达到学习机器学习的目的。 预测模型项目模板 不能只通过阅读来掌握机器学习的技能，需要进行大量的练习。本文将介绍一个通用的机器学习的项目模板，创建这个模板总共有六个步骤。通过本文将学到： 端到端地预测（分类与回归）模型的项目结构。 如何将前面学到的内容引入到项目中。 如何通过这个项目模
假如我们现在要借助用户手机的通信数据对用户价值进行分析，原始通信数据包括：入网时间、套餐价格、每月话费、每月流量、每月通话时长、欠费金额、欠费月数等7个特征，但它的“内在维度”可能只有3个：用户忠诚度、消费能力、欠费指数，这3个维度能够更加直观地对用户价值进行刻画
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/u014688145/article/details/60758291
极值理论对样本尾部分布的极值指数的估计方法主要有两类：半参数方法和全 参数方法，前者主要是基于分布尾部的 Hill 估计量，后者则主要基于广义帕累托分布（点击文末“阅读原文”获取完整代码数据）。
模糊聚类算法是一种基于函数最优方法的聚类算法，使用微积分计算技术求最优代价函数．在基于概率算法的聚类方法中将使用概率密度函数，为此要假定合适的模型．模糊聚类算法中向量可以同时属于多个聚类，从而摆脱上述问题．在模糊聚类算法中，定义了向量与聚类之间的近邻函数，并且聚类中向量的隶属度由隶属函数集合提供．对模糊方法而言，在不同聚类中的向量隶属函数值是相互关联的．硬聚类可以看成是模糊聚类方法的一个特例。
该数据（查看文末了解数据获取方式）与银行机构的直接营销活动相关，营销活动基于电话。通常，需要与同一客户的多个联系人联系，以便访问产品（银行定期存款）是否会（“是”）或不会（“否”）订阅。 y - 客户是否订阅了定期存款？（二进制：'是'，'否'）
在深度学习项目中，寻找数据花费了相当多的时间。但在很多实际的项目中，我们难以找到充足的数据来完成任务。
PatchMatch 算法就是一个找近似最近邻（Approximate Nearest neigbhor)的方法，要比其他ANN算法快上10倍+。
自北京大学汤富酬教授（当时为英国剑桥大学格登研究所(Gurdon Institute) Azim Surani实验室博士后）等人于2009年在Nature Methods上发表首个单细胞测序（single cell sequencing）方案以来【1】，这项革命性技术已历经十年的飞速发展；分子生物学、微流控（microfluidics）技术和纳米技术等关联技术的长足进步催生了数十种全新的单细胞测序方案，使测序细胞数目呈现指数级增长 （生信宝典注：指数级增长的转折点是郭国骥老师的工作）（下图）【2】。同时，通过谷歌搜索趋势分析可以发现，对单细胞测序这一词条的相对搜索频率在全球范围内一直呈稳定上升趋势，甚至在2018年超过了同样仅有十余年应用史的重要分子生物学测序方法——染色质免疫共沉淀测序（ChIP-seq）（下图）。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
