1. Johngo学长首页
  2. 技术点详细复盘专题
  3. 人工智能

KNN分类模型

• 人工智能 • 阅读 114

KNN分类模型

目录

1.概念

  • k-邻近算法采用测量不同特征值之间的距离方法进行分类(k-Nearest Neighbor，KNN)
    KNN分类模型
  • k值的作用【选择样本数据集中前K个的数据，出现次数最多的分类，作为新(预测)数据的分类】
  • 欧几里得距离(Euclidean Distance)
  • 注意：
  • 在knn中的k的取值不同会直接导致分类的结果不同。 n_neighbors参数表示k值
  • 模型的超参数：模型的参数有不同的取值且不同的取值会导致模型的分类或预测产生直接的影响
  • 在knn算法中，目标数据可以不是数值型。在knn算法原理中，仅仅计算特征数据的距离，不会计算目标数据的距离。
  • 工作原理
    • 存在一个样本数据集合【训练样本集】，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据 与所属分类的对应关系。
    • 输人没有标签的新数据后，将新数据的每个特征与样本集中数据对应的 特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。
    • 一般来说，我们 只选择样本数据集中前K个最相似的数据，这就是K-近邻算法中K的出处,通常K是不大于20的整数
    • 最后 ，选择K个最相似数据中出现次数最多的分类，作为新数据的分类。

; 2.寻找最优k值

import pandas as pd
from sklearn.preprocessing import MinMaxScaler
from sklearn.neighbors import KNeighborsClassifier
import numpy as np
%matplotlib inline
import matplotlib.pyplot as plt

df=pd.read_csv('./data/adults.txt')

target=df['salary']
feature=df[['age','education_num','occupation','hours_per_week']]

x_train,x_test,y_train,y_test = train_test_split(feature,target,test_size=0.1,random_state=2020)

one_hot_train=pd.get_dummies(x_train['occupation'])
one_hot_test=pd.get_dummies(x_test['occupation'])

x_train=pd.concat([x_train,one_hot_train],axis=1).drop(labels='occupation',axis=1)
x_test=pd.concat([x_test,one_hot_test],axis=1).drop(labels='occupation',axis=1)

scores = []
ks = []

for i in range(5,100):
    knn = KNeighborsClassifier(n_neighbors=i)
    knn.fit(x_train,y_train)
    score = knn.score(x_test,y_test)
    scores.append(score)
    ks.append(i)

scores_arr=np.array(scores)
ks_arr=np.array(ks)

plt.plot(ks_arr,scores_arr)
plt.xlabel('k_value')
plt.ylabel('score_value')

max=scores_arr.argmax()

k_value=ks_arr[max]

3.knn案例

  • API
from sklearn.neighbors import KNeighborsClassifier
  • 寻找最优k值预测
import pandas as pd
from sklearn.preprocessing import MinMaxScaler
from sklearn.neighbors import KNeighborsClassifier
import numpy as np
%matplotlib inline
import matplotlib.pyplot as plt

df=pd.read_csv('./data/adults.txt')

target=df['salary']
feature=df[['age','education_num','occupation','hours_per_week']]

x_train,x_test,y_train,y_test = train_test_split(feature,target,test_size=0.1,random_state=2020)

one_hot_train=pd.get_dummies(x_train['occupation'])
one_hot_test=pd.get_dummies(x_test['occupation'])

x_train=pd.concat([x_train,one_hot_train],axis=1).drop(labels='occupation',axis=1)
x_test=pd.concat([x_test,one_hot_test],axis=1).drop(labels='occupation',axis=1)

scores = []
ks = []

for i in range(5,100):
    knn = KNeighborsClassifier(n_neighbors=i)
    knn.fit(x_train,y_train)
    score = knn.score(x_test,y_test)
    scores.append(score)
    ks.append(i)

scores_arr=np.array(scores)
ks_arr=np.array(ks)

plt.plot(ks_arr,scores_arr)
plt.xlabel('k_value')
plt.ylabel('score_value')

max=scores_arr.argmax()

k_value=ks_arr[max]

knn=KNeighborsClassifier(n_neighbors=k_value)
knn.fit(x_train,y_train)
score=knn.score(x_test,y_test)

knn.predict()

4.knn取值问题

4.1学习曲线&交叉验证选取k值

  • k值较小，则模型复杂度较高，容易发生过度拟合，学习的估计误差会增大，预测结果对近邻的实例点非常敏感
  • k值较大，可以减少学习估计误差，但是学习的近似误差会增大，与输入实例较远的训练实例也会预测其作用，使预测发生错误，k值增大模型的复杂度会下降
  • 在应用中，k值一般取一个比较小的值，通常采用交叉验证法来选取最优的k值
  • 适用场景为小数据场景，样本为几千，几万

4.2 K折交叉验证

  • 目的：
  • 将样本的训练数据交叉折分出不同的训练集和验证集，使用交叉折分出不同的训练集和验证集分别测试模型的精准度，精准度的均值就是交叉验证的结果。将结果作用到不同的超参数中，选取出精准度最高的超参数作为模型创建的超参数即可
  • API
from sklearn.model_selection import cross_val_score
cross_val_score(estimator,X,y,cv)
  • 实现思路
  • 将数据集平均分割成k个等份
  • 使用1份数据作为测试数据，其余为训练数据
  • 计算测试准确率
  • 使用不同的测试集，重复2,3步骤
  • 对精准率求均值，作为对未知数据预测准确率的估计
  • 交叉验证在knn算法的基本使用
from sklearn.model_selection import cross_val_score,train_test_split
import sklearn.datasets as datasets
from sklearn.neighbors import KNeighborsClassifier
iris=datasets.load_iris()
feature=iris['data']
target=iris['target']
x_train,x_test,y_train,y_test=train_test_split(feature,target,test_size=0.2,random_state=2020)
knn=KNeighborsClassifier(n_neighbors=5)

cross_val_score(knn,x_train,y_train,cv=5).mean()
  • 使用交叉验证&学习曲线寻找最优的超参数
from sklearn.model_selection import train_test_split
import sklearn.datasets as datasets
from sklearn.neighbors import KNeighborsClassifier
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline

iris=datasets.load_iris()
feature = iris['data']
target = iris['target']

x_train,x_test,y_train,y_test = train_test_split(feature,target,test_size=0.2,random_state=2020)
scores = []
ks = []
iris = datasets.load_iris()
feature = iris['data']
target = iris['target']

x_train,x_test,y_train,y_test = train_test_split(feature,target,test_size=0.2,random_state=2020)

for k in range(3,20):
    knn = KNeighborsClassifier(n_neighbors=k)
    score = cross_val_score(knn,x_train,y_train,cv=6).mean()
    scores.append(score)
    ks.append(k)
scores_arr=np.array(scores)
ks_arr=np.array(ks)
plt.plot(ks_arr,scores_arr)
plt.xlabel('k_value')
plt.ylabel('score_value')
max=scores_arr.argmax()
k=ks_arr[max]

4.3 模型选择

  • 交叉验证也可以帮助我们进行模型选择，使用iris数据，比较和选择KNN和Logistic回归模型
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
import sklearn.datasets as datasets
from sklearn.neighbors import KNeighborsClassifier

iris = datasets.load_iris()
feature = iris['data']
target = iris['target']

x_train,x_test,y_train,y_test = train_test_split(feature,target,test_size=0.2,random_state=2020)
knn=KNeighborsClassifier(n_neighbors=5)
print(cross_val_score(knn,x_train,y_train,cv=10).mean())
lr=LogisticRegression()
print(cross_val_score(lr,x_train,y_train,cv=10).mean())

4.4 K-Fold&交叉验证

  • Scikit提供的API
from sklearn.model_selection import KFold
KFold(n_solits,shuffle,random_state)
  • 示例
from numpy import array
from sklearn.model_selection import KFold
data=array([0.1, 0.2, 0.3, 0.4, 0.5, 0.6])
kfold=KFold(n_splits=3,shuffle=True,random_state=1)
for train,test in kfold.split(data):
    print('train:%s,test:%s'%(data[train],data[test]))
  • Scikit中提取带K-Fold接口的交叉验证接口sklearn.model_selection.cross_validate，但是该接口没有数据shuffle功能，所以一般结合Kfold一起使用。如果Train数据在分组前已经经过了shuffle处理，比如使用train_test_split分组，那就可以直接使用cross_val_score接口
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
import sklearn.datasets as datasets
from sklearn.neighbors import KNeighborsClassifier

iris = datasets.load_iris()
feature = iris['data']
target = iris['target']
n_folds=5
kf=KFold(n_folds,shuffle=True,random_state=42).get_n_splits(feature)
scores=cross_val_score(knn,feature,target,cv=kf)
scores.mean()

5.算法代码实现

  • 类封装
class KNNClassifier:
    def __init__(self,k=7):
        self.k=k
        self._X_train=None
        self._y_train=None

    def fit(self,X_train,y_train):
        self._X_train=X_train
        self._y_train=y_train

    def _predict(self,x):

        distances=np.sqrt(np.sum((self._X_train-x)**2,axis=1))

        votes=Counter(self._y_train[np.argpartition(distances,self.k)[:self.k]])
        return votes.most_common(1)[0][0]

    def predict(self,X_predict):
        y_predict=np.array([self._predict(x) for x in X_predict])
        return y_predict

from sklearn import datasets
from collections import Counter

iris=datasets.load_iris()
X=iris.data
y=iris.target
knn=KNNClassifier()
knn.fit(X,y)

y_predict=knn.predict(X)
y_predict

Original: https://blog.csdn.net/m0_46926492/article/details/122766173
Author: 荼靡，
Title: KNN分类模型

原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/663881/

转载文章受原作者版权保护。转载请注明原作者出处！

赞 (0)
0

【自取】最近整理的，有需要可以领取学习：



Linux核心资料大放送~

全栈面试题汇总（持续更新&可下载）

一个提高学习100%效率的工具！

【超详细】深度学习面试题目！

LeetCode Python刷题答案下载！

LeetCode Java版刷题答案下载！

LeetCode C++ 版本，抓紧保存！

LeetCode GO语言 刷题答案下载！

大家都在看

亲爱的 Coder【最近整理，可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球