机器学习算法-k近邻

import pandas as pd
import numpy as np
import collections


"""
名称：创建数据集
参数：无
返回值：
    group - 数据集
    labels - 分类标签
"""

def createData():  # 创建数据集的函数
    # 四组二维特征
    group = np.array([  
        [1,101],  # 第1个数表示打斗次数，第2个表示接吻次数
        [5,89],
        [108,5],
        [115,8]
    ])
    # 每个特征对应的标签
    labels = ["爱情片","爱情片","动作片","动作片"]
    # 返回每个特征和标签值
    return group, labels  


"""
名称：KNN算法，分类器
参数：
    inX：用于分类的数据，测试集
    dataSet：用于训练的数据集，训练集
    labels：分类标签
    k：算法参数，选择距离最小的k个点
"""

def classify(inX,dataSet,labels,k):
    # 计算欧式距离
    dist = np.sum((inX-dataSet) ** 2, axis=1) ** 0.5
    print("dist:",dist)
    # k个最近的标签:
    # argsort()：距离从小到大排列，取出前k个数据；将前k个对应的label标签全部取出来
    k_labels = [labels[index] for index in dist.argsort()[0:k]]
    print("k_labels:",k_labels)
    # 出现最多次数的标签即为最终类别
    label = collections.Counter(k_labels).most_common(1)[0][0]
    print("label:",label)
    
    return label


if __name__ == "__main__":
    # 创建数据集
    group ,labels = createData() 
    # 传入测试数据
    test = [98,17]
    # KNN分类
    test_class = classify(test,group,labels,3)
    # 打印结果
    print("test_class:",test_class)

import numpy as np
import operator  

"""
名称：创建数据集
参数：无
返回值：
    group - 数据集
    labels - 分类标签
"""

def createData():  # 创建数据集的函数
    # 四组二维特征
    group = np.array([  
        [1,101],  # 第1个数表示打斗次数，第2个表示接吻次数
        [5,89],
        [108,5],
        [115,8]
    ])
    # 每个特征对应的标签
    #  labels 包含的元素个数等于group矩阵的行数
    labels = ["爱情片","爱情片","动作片","动作片"]
    # 返回每个特征和标签值
    return group, labels  


"""
名称：KNN算法，分类器
参数：
    inX：用于分类的数据，测试集
    dataSet：用于训练的数据集，训练集
    labels：分类标签
    k：算法参数，选择距离最小的k个点
返回值: sortedClassCount[0][0]  分类结果
欧式距离计算：
    dis = ((x_2-x_1)^2 + (y_2-y_1)^2) ** 0.5 
"""

def classify(inX,dataSet,labels,k):
    # shape函数返回行数和列数
    datasetsize = dataSet.shape[0]  # 返回的是行数 
    
    # 将待预测的数据（datasetsize, 1)的大小
    diffMat = np.tile(inX, (datasetsize, 1)) - dataSet
    print("tile：\n", np.tile(inX, (datasetsize, 1)))
    
    # 二维特征相减再平方
    sqDiffMat= diffMat ** 2
    # sum(0)行相加，sum(1)列相加
    sqDistances = sqDiffMat.sum(axis=1)
    
    # 开方求出距离
    distances = sqDistances ** 0.5
    print("距离大小：\n", distances)
    # 返回从小到大排序后的索引值
    sortedDistIndices = distances.argsort()  
    print("排序后的索引值：\n",sortedDistIndices)
    
    # 假定一个字典来记录类别的次数
    classCount = {}
    for i in range(k):
        # 取出前k个元素的类别
        voteLabel = labels[sortedDistIndices[i]]
        # 字典的get方法：dict.get(key,default=None)，返回指定的值，如果不存在则返回的是默认值
        classCount[voteLabel] = classCount.get(voteLabel,0) + 1
    
        
    # reverse降序排序字典
    # operator.itemgetter(1)：对值进行排序
    # operator.itemgetter(0)：对键进行排序
    sortedClassCount = sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
    # 返回次数最多的类别，即所要的分类结果
    return sortedClassCount[0][0]


if  __name__ == "__main__":
    # 创建数据集
    group, labels = createData()
    # 待预测数据
    test = [98,20]
    # KNN分类
    test_class = classify(test,group,labels,3)
    # 打印结果
    print(test_class)

import pandas as pd

"""
函数功能：KNN分类器

参数说明：
    inX：待预测分类的数据
    dataSet：原数据集，训练集
    k：k-近邻算法中的超参数k
    
返回值：分类结果

"""

def classify0(inX, dataSet,k):
    result = []
    
    # 1、求新数据和每个原数据的距离
    dist = list(((data.iloc[:6,1:3] - new_data) ** 2).sum(1) ** 0.5)
    # 2、将求出的距离和电影标签放在一起
    dist_labels = pd.DataFrame({"dist":dist,"labels":data["电影类型"].tolist()})
    # 3、根据距离升序排列，取出前k个
    dist_sorted = dist_labels.sort_values(by="dist")[:k]
    # 4、排序之后取出标签，并统计频数
    res = dist_sorted.loc[:,"labels"].value_counts()
    result.append(res.index[0])
    
    return result