定义
sigmoid 函数：形状像S的函数。
logistic 函数：一种典型的sigmoid 函数，函数如下：
logit函数;：logistic 函数的反函数，也有logistic unit的意思，类似于probit相对于标准正态分布的分布函数（也是S型的呢）的反函数，即probability unit，就是通过概率找到随机变量的值：
也叫 log-odds函数，因为p/(1-p)在统计学中叫做odds，几率、可能性、胜率的意思。
logistic模型（logit模型）：是一种回归模型， 回归模型就是指对两个随机变量建立关系，比如线性关系就是线性回归模型，当因变量是离散值的时候用的一种模型，用来建模某一离散值的概率和自变量的关系，一个简单但是不太专业的理解可以看这篇文章：浅入深出被人看扁的逻辑回归。
softmax函数：是 logistic 函数在多个维度的泛化，也叫归一化指数函数，函数如下：
softmax regression：多分类问题的回归模型
cross entropy;：是信息论的一个概念，可以衡量关于同一组事件的实际分布p和估计分布q这两个概率分布之间的差异，公式如下：
cross entropy loss：在深度学习的分类任务中，神经网络的输出在[0,1]区间，可以看作估计概率分布，而one-hot标签可以看成实际概率分布，因此可以用交叉熵来作为损失函数，而且求出的导数也很简洁，然后梯度下降balabala。
关系
其实一直很纳闷，到底是先有logistic，还是先有logit。
关于logit的理解可以看这篇文章：Logit究竟是个啥？——离散选择模型之三。
看了这一系列文章：Logistic回归的起源（上），感觉好像是先有logistic函数，然后提出了logistic（logit）模型，但是我在这篇文章里又感觉是反过来的：Logistic Regression – Why sigmoid function，是先有logit(p/(1-p))=wx+b，然后推出p=logistic(x)，我上这门课的时候老师也是以这样的逻辑讲的：
（当时上课的时候以为明白了，现在查了很多资料之后觉得不太明白了……）
然后关于logistic和softmax，我的理解是这样的：
考虑softmax维度为2的时候，x1和x2两个变量其实是冗余的，所以其实只需要神经网络的最后一个线性层输出一个值就可以了，这个值就是t，那么线性层后面的激活函数就是logistic函数了。
而且cross entropy对于这两个函数的导数的形式也是一样的。
关于为什么要用交叉熵作为softmax（logistic）的损失函数，可以参考这篇文章：损失函数｜交叉熵损失函数。
; 在神经网络中的应用
一般讲到的 sigmoid函数就是指 logistic函数，可以用作 激活函数， 拟合任务和 分类任务都需要激活函数，来让输出变得非线性，尤其是只有全连接层的神经网络。不过激活函数还有别的，比如 relu， tanh等等；还可以用作 二分类问题的最后一层。
softmax常用于 多分类问题的最后一层，比如VGG模型。
cross entropy常用于 分类问题的损失函数
Original: https://blog.csdn.net/weixin_45783996/article/details/123771809
Author: weixin_45783996
Title: 关于logistic、logit、log-odds、sigmoid、softmax、cross entropy
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/689437/
转载文章受原作者版权保护。转载请注明原作者出处！