机器学习（深度学习）的根本问题是优化和泛化之间的对立。
优化（optimization）是指调节模型以在训练数据上得到最佳性能（即机器学习中的学习），而泛化（generalization）是指训练好的模型在前所未见的数据上的性能好坏。
1. 泛化
指训练好的模型在前所未见的数据上的性能好坏
举个例子：
小明和小李都上了高三。小明头脑机灵，一边刷着五年高考三年模拟一边总结做题规律，而小李一门心思刷题，一套完了又一套，刷的试卷堆成山了却没有对错题进行总结。高考结束成绩公布，小明超出一本线几十分，而小李却勉强上了二本线。这是为什么呢？
原来高考试题一般是新题，谁也没做过，平时的刷题就是为了掌握试题的规律，能够举一反三、学以致用，这样面对新题时也能从容应对。这种对规律的掌握便是泛化能力。
在这个例子中，小明善于总结做题规律，可以说是他的泛化能力好；而小李只知道刷题却没有掌握做题规律，可以说是他的泛化能力差。
根据泛化能力强弱，可以分为：
欠拟合：模型过于简单，不能在训练集上获得足够低的误差；
拟合： 测试误差与训练误差差距较小；
过拟合：过分关注训练集细节，在训练集上表现良好，但不能泛化到新数据上；
不收敛：模型不是根据训练集训练得到的。
Original: https://blog.csdn.net/weixin_52045738/article/details/120391390
Author: wp猿
Title: 机器学习泛化
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/531474/
转载文章受原作者版权保护。转载请注明原作者出处！