策略:
距离:特征空间中两个实例点的距离是相似程度的反映,k近邻算法一般使用欧氏距离,也可以使用更一般的Lp距离或Minkowski距离.
k值:k值较小时,整体模型变得复杂,容易发生过拟合.k值较大时...,则以该结点为"当前最近点"(b)"当前最近点"一定存在于该结点一个子结点对应的区域,检查该结点的另一子结点对应的区域是否与以目标点为球心,以目标点与"当前最近点"间的距离为半径的超球体相交.如果相交,...作为回归问题中提升树算法中的残差的近似值,每一步以此来估计回归树叶结点区域以拟合残差的近似值,并利用线性搜索估计叶结点区域的值使损失函数最小化,然后更新回归树即可....K-Means
K-Means是无监督的聚类算法.思想是对于给定的样本集,按照样本之间的距离大小将样本集划分为K个簇,让簇内的点尽量紧密地连在一起,而让簇间的距离尽量的大....计算每个样本点和各个质心的距离,将样本点标记为距离最小的质心所对应的簇.
重新计算每个簇的质心,取该簇中每个点位置的平均值.
重复2,3,4步直到k个质心都没有发生变化为止.