提供了Python编程的基础技术教程

Python程序教程

您现在的位置是：首页 >  python学习

当前栏目

快速入门Python机器学习（九）

快速,入门,Python,机器,学习
2025-03-13 21:27:13 时间

6 K邻近算法(KNeighbors)

所谓K近邻算法，即是给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例（也就是上面所说的K个邻居）， 这K个实例的多数属于某个类，就把该输入实例分类到这个类中。

  • 如果K=3，绿色圆点的最近的3个邻居是2个红色小三角形和1个蓝色小正方形，少数从属于多数，基于统计的方法，判定绿色的这个待分类点属于红色的三角形一类。
  • 如果K=5，绿色圆点的最近的5个邻居是2个红色三角形和4个蓝色的正方形，还是少数从属于多数，基于统计的方法，判定绿色的这个待分类点属于蓝色的正方形一类。

于此我们看到，当无法判定当前待分类点是从属于已知分类中的哪一类时，我们可以依据统计学的理论看它所处的位置特征，衡量它周围邻居的权重，而把它归为(或分配)到权重更大的那一类。这就是K近邻算法的核心思想。

6 .1 K邻近分类算法(KNeighbors Classifier)

类

sklearn.neighbors.KNeighborsClassifier(n_neighbors=5, weights='uniform', algorithm='auto', leaf_size=30,p=2, metric='minkowski', metric_params=None, n_jobs=1, **kwargs)

参数

参数

解释

n_neighbors

int, optional (默认= 5)，默认情况下用于查询的邻居数量。(一般也不需要更改，默认5是最佳的。也可以尝试在小范围调试看看效果)

algorithm

: {'auto','ball_tree','kd_tree','brute'}, optional。用于计算最近邻居的算法:•'ball_tree' 用于BallTree•'kd_tree'用于KDTree•'brute'用于强力搜查.•'auto'将尝试根据传递给fit方法的值来决定最合适的算法注意:使用强力拟合稀疏输入将覆盖此参数的设置。

属性

属性

解释

classes_

array of shape (n_classes,)分类器已知的类标签使用的距离度量。

effective_metric_

str or callble如果度量参数设置为'minkowski'，p参数设置为2，则它将与度量参数或其同义词相同，例如'euclidean'。

effective_metric_params_

dict度量类参数、属性和方法的其他关键字参数。对于大多数度量，都将与metric_params参数相同，但如果effective_metric_ attribute设置为'minkowski'，则也可能包含p参数值。

n_samples_fit_

int拟合数据中的样本数。

outputs_2d_

bool如果y的形状在拟合过程中为(n_samples, ) 或 (n_samples, 1)，则为False，否则为True。

方法

方法

解释

fit(X, y)

从训练数据集中拟合k近邻分类器。

get_params([deep])

获取此估计器的参数。

kneighbors([X, n_neighbors, return_distance])

找到点的K邻域。

kneighbors_graph([X, n_neighbors, mode])

计算X上点的k邻域（加权）图

predict(X)

预测所提供数据的类标签。

predict_proba(X)

测试数据X的返回概率估计。

score(X, y[, sample_weight])

返回给定测试数据和标签的平均精度。

set_params(**params)

设置此估计器的参数。

6.1.1 K邻近算法分析make_blobs数据集

2类

def sklearn_Kneighbors_for_make_blobs_2_centers():
    myutil = util()
    # 产生200个新样本，分成2类
    data = make_blobs(n_samples=200,centers=2, random_state=8)
    X,y =data
    print("X is :",X)
    print("y is :",y)
    #将数据集用散点图方式进行可视化分析
    plt.scatter(X[:,0],X[:,1],c=y,cmap=plt.cm.spring,edgecolor='k')
plt.show()

输出

X is : [[ 6.75445054  9.74531933]
 [ 6.80526026 -0.2909292 ]
 [ 7.07978644  7.81427747]
…
y is : [0 1 0 1 0 0 1 0 0 1 …0 1]
clf = KNeighborsClassifier()
    clf.fit(X,y)
    #下面代码用于画图
    title = "KN邻近分类——2个类别"
    myutil.draw_scatter(X,y,clf,title)
    myutil.plot_learning_curve(KNeighborsClassifier(),X,y,title)
    myutil.show_pic(title)

5类

def sklearn_Kneighbors_for_make_blobs_5_centers():
    myutil = util()
    data = make_blobs(n_samples=500,centers=5, random_state=8)
    X,y =data
    plt.scatter(X[:,0],X[:,1],c=y,cmap=plt.cm.spring,edgecolor='k')
    plt.show()

5类中有2类混合在一起

    clf = KNeighborsClassifier()
    clf.fit(X,y)
    #下面代码用于画图
    title = "KN邻近分类——5个类别"
    myutil.draw_scatter(X,y,clf,title)
    myutil.plot_learning_curve(KNeighborsClassifier(),X,y,title)
    myutil.show_pic(title)

6.1.2 K邻近算法分析load_iris数据集

from sklearn import datasets
def KNeighborsClassifier_for_load_iris():
    myutil = util()
    X,y = datasets.load_iris().data,datasets.load_iris().target
    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)
    title = "KNN分类_鸢尾花数据"
    clf = KNeighborsClassifier()
    clf.fit(X_train, y_train)
    myutil.print_scores(clf,X_train,y_train,X_test,y_test,title)
    myutil.plot_learning_curve(KNeighborsClassifier(),X,y,title)
    myutil.show_pic(title)
在Util.py中定义
#打印得分
def print_scores(self,clf,X_train,y_train,X_test,y_test,title):
       title = title+":\n{:.2%}"
       print(title.format(clf.score(X_train,y_train)))
       print(title.format(clf.score(X_test,y_test)))

输出：

KNN分类_鸢尾花数据:
97.50%
KNN分类_鸢尾花数据:
96.67%

6.1.3 K邻近算法分析load_wine数据集

def KNeighborsClassifier_for_load_wine():
    myutil = util()
    wine_dataset = datasets.load_wine()
    X,y = wine_dataset['data'],wine_dataset['target']
    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)
    title = "KNN分类_红酒数据"
    clf = KNeighborsClassifier()
    clf.fit(X_train, y_train)
    myutil.print_scores(clf,X_train,y_train,X_test,y_test,title)
    myutil.plot_learning_curve(KNeighborsClassifier(),X,y,title)
    myutil.show_pic(title)
    X_new = np.array([[25.5,3.14,3.22,18.5,95.8, 0.97, 2.52, 0.67, 1.52, 7.3, 0.98, 2.96, 990]])
    prediction = clf.predict(X_new)
    print('预测的红酒为：{}:\n'.format(wine_dataset['target_names'][prediction]))

输出

KNN分类_红酒数据:
77.46%
KNN分类_红酒数据:
72.22%
预测的红酒为：['class_0']:

6.1.4 K邻近算法分析load_breast_cancer数据集

def KNeighborsClassifier_for_load_breast_cancer():
    myutil = util()
    wine_dataset = datasets.load_breast_cancer()
    X,y = wine_dataset['data'],wine_dataset['target']
    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)
    title = "KNN分类_乳腺癌数据"
    clf = KNeighborsClassifier()
    clf.fit(X_train, y_train)
    myutil.print_scores(clf,X_train,y_train,X_test,y_test,title)
    myutil.plot_learning_curve(KNeighborsClassifier(),X,y,title)
    myutil.show_pic(title)
    print('第310个样本预测结果: {}'.format(clf.predict([X[310]])))

输出

KNN分类_乳腺癌数据:
94.07%
KNN分类_乳腺癌数据:
95.61%
第310个样本预测结果: [1]

6.1.5 比对线性分类方法（逻辑回归）与K邻近算法

逻辑回归算法

K邻近算法

鸢尾花数据

96.67%、100.00%

97.50%、96.67%

红酒数据

100.00%、94.44%

77.46%、72.22%

乳腺癌数据

94.95%、97.37%

94.07%、95.61%

可见红酒数据逻辑回归算法的正确率比较高，鸢尾花数据、乳腺癌数据两者的得分数据基本相同。另外可以看见由于KNN算法不是线性的，所以分布图的边界不是直线。

相关文章