目录
1， 过拟合与欠拟合
- 过拟合：一个假设在训练数据集上能够获得比其他假设更好的拟合， 但是在测试数据集上却不能很好地拟合数据，此时认为这个假设出现了过拟合的现象。(模型过于复杂)
即训练效果绝佳，但在测试集表现很差
- 欠拟合：一个假设在训练数据上不能获得更好的拟合，并且在测试数据集上也不能很好地拟合数据，此时认为这个假设出现了欠拟合的现象。(模型过于简单)
训练集和测试集表现都很差
2，原因及解决方案
- 欠拟合原因以及解决办法
- 原因：学习到数据的特征过少
- 解决办法：增加数据的特征数量
- 过拟合原因以及解决办法
- 原因：原始特征过多，存在一些嘈杂特征， 模型过于复杂是因为模型尝试去兼顾各个测试数据点，导致泛化能力差2
- 解决办法：尽量减小高次项的影响– *正则化
3， 正则化
在学习的时候，数据提供的特征有些影响模型复杂度或者这个特征的数据点异常较多，所以算法在学习的时候尽量减少这个特征的影响（甚至删除某个特征的影响），这就是正则化
注：调整时候，算法并不知道某个特征影响，而是去调整参数得出优化的结果
3.1 L2正则化
- 作用：可以使得其中一些W的都很小，都接近于0，削弱某个特征的影响
- 优点：越小的参数说明模型越简单，越简单的模型则越不容易产生过拟合现象
- Ridge回归
3.2 L1正则化
- 作用：可以使得其中一些W的值直接为0，删除这个特征的影响
- LASSO回归
Original: https://blog.csdn.net/zcolaz/article/details/123635091
Author: 荷泽泽
Title: 回归与聚类算法————欠拟合与过拟合
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/636026/
转载文章受原作者版权保护。转载请注明原作者出处！