机器学习-感知机

一.感知机的概念

感知机可以说是最古老的分类方法之一了,在1957年就已经提出。他的思考方法就是在平面画出一条直线,或者在空间画出一个平面,或者可以推广到更高维的向量空间画一个超平面,将两种不同的东西分开。感知机模型虽然古老、简单、基础,但是原理很重要,下一步再学习支持向量机,学习神经网络,深度学习。

二.感知机模型

感知机是一个二分类的线性模型,这个模型的输入是向量,输出是1或0(也可以理解为True或False),每一个向量有多个维度,将每一个维度都数值化,用xi来表示向量的一个维度。

机器学习-感知机

这个模型进行二分的逻辑是这样的
为每一个维度设置相应的权重概念,代表重要程度,用w表示。
设置一个门限值threshold,作为分界线。
求每一个向量的各维度的加权和w1 x1+w2 x2 +…+ wn xn
如果Σwi xi >= threshold,则输出1
如果Σwi xi < threshold,则输出0
则得到感知机函数
h = sign(Σwi xi – threshold)
用x代表向量,w代表权重组成的向量,w x代表两个向量的内积
感知机函数简写为
h = sign(wx+ b)

sign(x)是一个取符号的函数,x>=0时,函数值为1,反之为-1。

; 三.感知机策略

模型确定了,下面就要求接触模型中的未知数。未知数包括有w1,w2,w3…wn,b。
例如可以用双输入的感知机做一个与门,w=[0.5,0.5],b=-1。这个例子中决定参数的是人,这样做并没有什么可感觉厉害的。所以我们要设计学习算法,使计算机能够自动的调整权重与偏移。
感知机是一个有监督的学习算法,所以需要训练集(大量的向量数据以及正确标签)为了求得一个合适的超平面将数据分成两类,需要先确定一个计算损失的函数来表示超平面的靠谱程度,并尽量损失函数取最小值。
感知机选择的 损失函数:是用 误分类点到超平面S的总距离来表示。

机器学习-感知机
机器学习-感知机
其中||w||是向量2-范数
机器学习-感知机

最后,使用 梯度下降法求能够使 损失函数最小的解(w1,w2,…,b)。

四.感知机的局限

1.只能处理线性可分的问题。
2.需要人工选择特定的特征作为输入。

后面就发展出了 多层感知机 Multi-Layer Perception MLP

Original: https://blog.csdn.net/yiwenbin94/article/details/120905459
Author: yiwenbin94
Title: 机器学习-感知机

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/690471/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球