1.softmax回归是一种多分类的算法
2.softmax是基于多项式分布，即有多个分类，其中每条样本预测的概率加和等于1用公式表达就是
3.如果由k各类别: 1, 2, 3, 4, 5, 6…k,其中第一个类别的概率是1.0，那么其他每个类别的概率就是0
全部加起来就是1。
4.思路：
这里联合分布的概率密度函数推导成指数族分布的形式就可以用广义线性回归建模，然后就可以用广义线性回归剩下两条性质，推导出saftmax函数。
性质1：T(y) = y
性质2：η = θTX
5.证明广义线性回归属于指数族分布
我们知道联合分布概率密度函数是：通过一下联合分布概率密度函数证明他是属于指数族分布。
6.那么我们可以看出η等于
展开：
又因为
是每个类别的概率，我们知道所有类别的概率加起来等于1，那么得到下面的式子
那么再将
反代回
我们就能得到
因为
,至此我们得到softmax公式
softmax将每个类别的概率加和等于1。
总结步骤：
假设数据服从多项式分布 -> 证明多项式分布属于指数族分布的一种 –> 使用广义线性回归的性质
–>推导出softmax公式
Original: https://blog.csdn.net/h2728677716/article/details/123122609
Author: 海滩上的那乌克丽丽
Title: Softmax回归介绍以及公式由来
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/635534/
转载文章受原作者版权保护。转载请注明原作者出处！