逻辑回归
初学逻辑回归的时候就只是简单地认为sigmoid函数可以把线性函数映射到(0，1)的区间上，因此选用了sigmoid模型作为逻辑回归的模型函数。
其实是学的太简单了，直到面试的时候被问到这个问题，才想到需要来把坑填一下。
- *事实上可以把线性函数映射到(0，1)上的函数有无穷多个，而逻辑回归使用sigmoid函数并不是随便选的，而是通过理论推导得到的。
这里挂上我觉得解释得最清楚的文章：https://www.cnblogs.com/wallacup/p/6024855.html?utm_source=itdadao&utm_medium=referral
下面是我个人的理解和总结：
这里以二项逻辑回归为例子，即分类只有两种(y)，记为0和1。
在这个分类问题上，我们知道y的先验分布实际上是一个伯努利分布(有可能y=1且概率为p，或者有可能y=0且概率为1-p)。即：
推导得到：
这符合指数分布族的标准形式：
其中，η是分布的 自然参数（natural parameter）或 典范参数（canonical parameter），T(y)叫做 充分统计量（sufficient statistic）。
通常情况下T(y)=y；a(η)是 对数分配函数（log partition function），而a、b与T一般都是给定的， 随着η的变化，会得到不同的分布。
引进广义线性模型（GLM）的概念：
广义线性模型：
应用到上面的逻辑回归中：
(1) 由上述内容已知:
(2)
(3)
其中，w就是广义线性模型中的线性模型系数θ
由此，
得到逻辑回归模型：
- 推导出分类问题——逻辑回归的模型之后，如何评估这个模型
我们就得想想怎么基于样本，得到最理想的模型。一般的流程是我们需要找到一个评估模型的指标，再设法优化这个指标，来得到最好的模型参数。
在回归问题中，我们通常使用 损失函数来评估，不断 缩小残差方。
在分类问题中，对于逻辑回归，可以使用 最大似然函数来评估。
最大似然函数的意思，就是最大程度上的相似。长这个样子：
其中，
指的是我们想要拟合的这个模型，当输入xi的时候，输出的Y=1的概率。
相应地，
， 其实就是这个逻辑回归的模型。
指数上的yi则指的是样本的y。
举个栗子： 如果你有一组训练样本(xi，yi)，得到了一个训练模型
。
如果训练模型告诉你，
。
情况1(这组样本预测正确)： 你的yi此时正是1，那么
情况2(这组样本预测错误)： 你的yi此时正是0，那么
可以看到当累乘，乘以0.1的时候，即模型和样本不fit的时候，相比于预测正确，乘上0.9，会使得似然函数变得更小。
因此我们的目的就是极大化最大似然函数
- 有了评估指标后，怎么求似然函数的极大值：
取对数！
得到对数似然函数：
其中，
得到了只有一个未知数w的函数，于是可以用梯度下降或者拟牛顿法来求得最优解。
Original: https://blog.csdn.net/weixin_48457572/article/details/116594651
Author: 一枚达达
Title: 分类问题——逻辑回归与XGBoost
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/666482/
转载文章受原作者版权保护。转载请注明原作者出处！