激活函数的作用
引入非线性
因为神经网络中 每一层的输入输出都是一个线性求和的过程， 下一层的输出只是承接了上一层输入函数的线性变换，所以如果没有激活函数，那么无论你构造的神经网络多么复杂，有多少层， 最后的输出都是输入的线性组合，纯粹的线性组合并不能够解决更为复杂的问题。 而引入激活函数之后，我们会发现常见的激活函数都是非线性的，因此也会给神经元引入非线性元素，使得神经网络可以逼近其他的任何非线性函数，这样可以使得神经网络应用到更多非线性模型中。
激活函数的性质
- 连续并可导（允许少数点上不可导），可导的激活函数可以直接利用数值优化的方法来学习网络参数；
- 激活函数及其导数要尽可能简单一些，太复杂不利于提高网络计算率；
- 激活函数的导函数值域要在一个合适的区间内，不能太大也不能太小，否则会影响训练的效率和稳定性。
常见的激活函数
Sigmoid函数
Sigmoid函数也叫Logistic函数， 用于隐层神经元输出，取值范围为(0,1)，它可以将一个实数映射到(0,1)的区间，可以用来做二分类。在特征相差比较复杂或是相差不是特别大时效果比较好
缺点：
- 梯度消失：Sigmoid 函数趋近 0 和 1 的时候变化率会变得平坦坦&#
Original: https://blog.csdn.net/qq_40107571/article/details/127808368
Author: Mick..
Title: 常用的激活函数
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/656376/
转载文章受原作者版权保护。转载请注明原作者出处！