本文将为大家介绍经典神经网络的开山力作——AlexNet（ImageNet Classification with Deep Convolutional Neural Networks）。文章包含论文原文翻译＋精读＋个人学习总结。
研一萌新，第一次发文，不足之处多多包涵啦~
论文原文：http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf
目录
3.1ReLU Nonlinearity—非线性激活函数ReLU
3.2Training on Multiple GPUs—用多个GPU训练
3.3Local Response Normalization—局部归一化
3.5Overall Architecture—整体网络架构
6.1Qualitative Evaluations—定性评估
Abstract-摘要
翻译
我们训练了一个庞大的深层卷积神经网络，将ImageNet LSVRC-2010比赛中的120万张高分辨率图像分为1000个不同的类别。在测试数据上，我们取得了37.5％和17.0％的前1和前5的错误率，这比以前的先进水平要好得多。具有6000万个参数和650,000个神经元的神经网络由五个卷积层组成，其中一些随后是最大池化层，三个全连接层以及最后的1000个softmax输出。为了加快训练速度，我们使用非饱和神经元和能高效进行卷积运算的GPU实现。为了减少全连接层中的过拟合，我们采用了最近开发的称为”dropout”的正则化方法，该方法证明是非常有效的。我们还在ILSVRC-2012比赛中使用了这种模式的一个变种，取得了15.3％的前五名测试失误率，而第二名的成绩是26.2％。
精读
主要内容
（1）表示了用了 一个深度卷积神经网络来进行图片分类，取得了一个非常好的效果。
（2）深度卷积网络由 60million个参数， 65w个神经元，以及 五个卷积层和 三个全连接层， 一个1000路的softmax层组成。
（3）为了加快训练，用到了 非饱和激活函数ReLU和卷积运算的GPU加速实现。
（4）用了 Dropout这个随机失活方法来减少完全联通层的过拟。
相关问题一：过拟合和欠拟合
● 神经网络的过拟合和欠拟合介绍：
过拟合概念：过拟合现象一般都是因为学习的过于精确，就好比让机器学习人脸，取了100个人的脸训练，但是由于你学习的过精确，导致除了这个样本100人外其他的人脸神经网络都认为不是人脸，实际我们只需要学习人脸的基本特征而不是详细到人的皮肤细腻眼睛大小等过于细致的特征，这样可以保证机器还是能识别别的图片中的人脸的。
过拟合的表现：模型在训练集上误差很小，在测试集上误差很大。 过拟合主要由两个方面决定：一是数据集，二是模型
欠拟合概念：欠拟合是指模型不能在训练集上获得足够低的误差。而过拟合是指训练误差和测试误差之间的差距太大。
●如何判断深度神经网络是否过拟合：
原则上RSquare值越高（越接近1），拟合性越好，自变量对因变量的解释越充分。但最重要的是看sig值，小于0.05，达到显著水平才有意义。 可以看回你spss的结果，对应regression的sig值如果是小于0.05的，就可以了。
● 如何减少过拟合：
减少过拟合需要具体情况具体分析。 一般由以下几种方法：
模型角度 :1. 限制模型的复杂度（根据训练集的分布，选择复杂度合适的模型）。 2. L2正则限制特征权重，防止某些特征对结果影响太大。 3. L1正则产生稀疏权重，限制模型的复杂度。 4. 参数共享。 5. bagging 。6. 提前终止。 7. dropout 。8. BN
数据角度：得到质量更高，数据量的数据。如数据增强。
相关问题二：Top-5错误率和Top-1错误率
Top-5错误率：一个图片经过网络，得到预测类别的概率，如果概率前五（top-5）中包含正确答案，即认为正确。top-5错误率就是Top-5 = （正确标记 不在 模型输出的前5个最佳标记中的样本数）/ 总样本数。
Top-1错误率：如果概率最大的是正确答案，才认为正确。Top-1 = （正确标记 不是 模型输出的最佳标记的样本数）/ 总样本数。
1. Introduction—前言
翻译
当前目标识别的方法基本都使用了机器学习的方法。为了提高这些方法的性能，我们可以收集更大的数据集，学习得到更加强大的模型，然后使用更好的方法防止过拟合。直到现在，相比于成千上百的图像，带标签的图像数据集相对较小（如NORB[16]，Caltech-101/256[8,9]，以及CIFAR-10/100[12]）。这种规模的数据集能使得简单的识别任务得到很好地解决，特别是如果他们进行带标签的转换来增广数据集。例如，当前MINIST数字识别任务最小的错误率（
Original: https://blog.csdn.net/weixin_43334693/article/details/128127653
Author: 路人贾’ω’
Title: 经典神经网络论文超详细解读（一）——AlexNet学习笔记（翻译＋精读）
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/794741/
转载文章受原作者版权保护。转载请注明原作者出处！