目录
- 1. 聚类与分类
* - 1.1 聚类
- 1.2 分类
- 2. 关于KNN算法
* - 2.1
Lp距离定义： - 2.1
K值的选取 - 3. 练习
* - 第一题：
- 第二题：
-
聚类与分类
1.1 聚类
聚类是将数据对象的集合分成 相似的对象类的过程。使得同一个簇（或类）中的对象之间具有较高的相似性，而不同簇中的对象具有较高的 相异性，并且事先不知道数据集本身有多少类别，属于 无监督学习。
e.g：
比如预测某一学校的在校大学生的好朋友团体，我们不知道大学生和谁关系好或和谁关系不好，我们通过他们的相似度进行聚类，聚成 n个团体，这就是 聚类。
1.2 分类
分类就是事先已知道数据集中包含多少种类，从而对数据集中每一样本进行分类，且所分配的标签必须包含在已知的标签集中，属于 监督学习。
e.g：
比如对一个学校的在校大学生进行性别分类，我们会下意识很清楚知道分为”男”，”女”。对于一个分类器，通常需要你告诉它”这个东西被分为某某类”。
- 关于KNN算法
邻近算法，或者说 K最近邻分类算法是数据挖掘分类技术中最简单的方法之一。所谓 K最近邻，就是K个最近的邻居的意思，说的是每个样本都可以用它最接近的K个邻居来代表， KNN是通过测量不同特征值之间的 距离进行分类。(后续有 例题)
2.1 Lp距离 定义：
- 当p=1时，就是曼哈顿距离(对应L1范数)
- 当p=2时，就是欧氏距离（对应L2范数）
; 2.1 K 值的选取
- 如果选择较小的
K值，就相当于用较小的邻域中的训练实例进行预测，学习的近似误差会减小，只有与输入实例较近的训练实例才会对预测结果起作用，但缺点是学习的估计误差会增大，预测结果会对近邻的实例点分成敏感。如果邻近的实例点恰巧是噪声，预测就会出错。换句话说，K值减小就意味着整体模型变复杂，分的不清楚，就容易发生过拟合。 -
如果选择较大
K值，就相当于用较大邻域中的训练实例进行预测，其优点是可以减少学习的估计误差，但近似误差会增大，也就是对输入实例预测不准确，K值得增大就意味着整体模型变的简单。 -
练习
使用 Sklearn中的 make_circles方法生成训练样本，随机生成测试样本，用 KNN分类并可视化。
第一题：
"""
Sklearn中的make_circles方法生成训练样本
并随机生成测试样本，用KNN分类并可视化。
"""
from sklearn.datasets import make_circles
from sklearn.neighbors import KNeighborsClassifier
import matplotlib.pyplot as plt
import numpy as np
import random
fig = plt.figure(1, figsize=(10, 5))
x1, y1 = make_circles(n_samples=400, factor=0.4, noise=0.1)
knn = KNeighborsClassifier(n_neighbors=15)
knn.fit(x1, y1)
"""
置信风险与两个量有关，一是样本数量，显然给定的样本数量越大，我们的学习结果越有可能正确，
此时置信风险越小；二是分类函数的VC维，显然VC维越大，推广能力越差，置信风险会变大。
公式中R(w)就是真实风险，Remp(w)就是经验风险，Ф(n/h)就是置信风险。
统计学习的目标从经验风险最小化变为了寻求经验风险与置信风险的和最小，即结构风险最小。
SVM正是这样一种努力最小化结构风险的算法.
SVM就是试图把棍放在最佳位置，好让在棍的两边有尽可能大的间隙。
x2 = random.random()
y2 = random.random()
X_sample = np.array([[x2, y2]])
y_sample = []
for i in range(0, 400):
dx = x1[:, 0][i] - x2
dy = x1[:, 1][i] - y2
d = (dx ** 2 + dy ** 2) ** 1 / 2
y_sample.append(d)
neighbors = knn.kneighbors(X_sample, return_distance=False)
plt.subplot(121)
plt.title('data by make_circles() 1')
plt.scatter(x1[:, 0], x1[:, 1], marker='o', s=100, c=y1)
plt.scatter(x2, y2, marker='*', c='b')
plt.subplot(122)
plt.title('data by make_circles() 2')
plt.scatter(x1[:, 0], x1[:, 1], marker='o', s=100, c=y1)
plt.scatter(x2, y2, marker='*', c='r', s=100)
for i in neighbors[0]:
plt.scatter([x1[i][0], X_sample[0][0]], [x1[i][1], X_sample[0][1]], marker='o', c='b', s=100)
plt.show()
效果图：
第二题：
Sklearn中的 datasets方法导入训练样本，并用留一法产生测试样本，用 KNN分类并输出分类精度。
"""
Sklearn中的datasets方法导入训练样本
并用留一法产生测试样本
用KNN分类并输出分类精度
"""
import warnings
from sklearn import datasets
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import LeaveOneOut
import matplotlib.pyplot as plt
warnings.filterwarnings('ignore')
iris = datasets.load_iris()
X = iris.data
y = iris.target
loo = LeaveOneOut()
K = []
Accuracy = []
for k in range(1, 16):
correct = 0
knn = KNeighborsClassifier(k)
for train, test in loo.split(X):
knn.fit(X[train], y[train])
y_sample = knn.predict(X[test])
if y_sample == y[test]:
correct += 1
K.append(k)
Accuracy.append(correct / len(X))
plt.plot(K, Accuracy)
plt.xlabel('Accuracy:')
plt.ylabel('K:')
print('K次数:{} Accuracy正确率:{}'.format(k, correct / len(X)))
plt.show()
输出结果：
图像结果：
最后
小生凡一，期待你的关注
Original: https://blog.csdn.net/weixin_45304503/article/details/120043971
Author: 小生凡一
Title: ☀️机器学习入门☀️(二) KNN分类算法 | 附加小练习
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/614999/
转载文章受原作者版权保护。转载请注明原作者出处！