文章目录
- 5 Logistic Regression
* - 5.1 Function Set
- 5.2 Goodness of a Function
- 5.3 Find the beat function
- 5.4 局限性
- 6 逻辑回归和线性回归对比
- 7 逻辑回归和高斯函数
- 8 多分类问题案例
5 Logistic Regression
我们前面学习了，如何借助Gaussian对数据的分类。
Logistic Regression是另一种可以用作Function Set的方法。
5.1 Function Set
我们把这个function set称为逻辑回归，是用来处理分类任务的。
; 5.2 Goodness of a Function
因为x3是属于类被C2的，所以用减。
交叉熵代表的含义是这两个分布由多接近，一模一样交叉熵就是0。
伯努利分布就是0/1分布，只有两种可能结果。
现在我们的Step2就是去最小化f(x)的伯努利分布和target的伯努利分布的交叉熵。
5.3 Find the beat function
; 5.4 局限性
没办法用逻辑回归将这四个点正确区分为两类，因为function是一条直线
那怎么做呢，可以转换数据的特征信息，即特征转换
比如把特征值换成和两个点的距离
但是我们不知道怎么找一个好的变换规则
怎么让机器自己产生好的transformation
于是我们就把很多逻辑回归模型层叠起来，用前面作转换，后面的做分类
所以像这样三个logistic regression就可以解决比较复杂的分类问题
如果把一个logistic regression称为一个neural
多个neural共同组成Neaural Network那就是我们的神经元，就是深度学习模型
6 逻辑回归和线性回归对比
优化方案分别使用交叉熵和均方差。
为什么逻辑回归模型不能使用均方差作为优化标准呢？
如果使用逻辑回归+均方误差优化
很显然我们发现计算出的微分值一直很小。
相比起来，均方差不好判断距离目标的远近，而交叉熵在距离远的时候误差很大
; 7 逻辑回归和高斯函数
我们把使用Logistic Regression的方法称为Discriminative的方法，使用Gaussian的方法称为Generative的方法、他们的function se本质上t是一样的。
但是找出的w,b不是同一组值。
通常Discriminative model的效果回更好
为什么Discriminative比Generative效果好？
现在我们对四个测试数据使用Generative方法
训练数据被预测为class2
因为generative model对数据进行了脑补，即假设数据足够多，就会出现这样的情况
所以data较少的时候，generative model可能更优，因为做了自己的补充。
8 多分类问题案例
Original: https://blog.csdn.net/weixin_43931465/article/details/123580961
Author: 王亿亿
Title: 【李宏毅2022机器学习】笔记三：Logistic Regression
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/664009/
转载文章受原作者版权保护。转载请注明原作者出处！