通过学习得到的一个模型对应了假设空间的一个假设（这是上节假设空间的内容）
- 归纳偏好或偏好：机器学习算法在学习过程中对某种类型假设的偏好（对于一个新西瓜来说：让一个训练好的模型来判断它为好瓜还是坏瓜？可以根据某种特征判断它为好瓜，也可以根据另外一种特征判断它为坏瓜，归纳偏好就是看哪一个特征更为重要，从而根据比例将新西瓜进行分类）
如果没要偏好，说明两种特征都一样重要，这时模型对新西瓜的预测，时而判断它是好瓜，时而判断它是坏瓜，这样在模型根本没有任何意义
归纳偏好可看作学习算法自身在一个可能很庞大的假设空间中对假设进行选择的启发式或”价值观”
- 奥卡姆剃刀原则：若有多个假设与观察一致，则选最简单的那个
- 没有免费的午餐定理（NFL定理）：无论A算法多简单，B算法多复杂，他们两的期望值（平均值）是一样的，也就是说无论是繁还是简，它们的预测值相同
没有免费的午餐定理告诉我们：就算我们用奥卡姆剃刀原则来选择简单的模型，但也会在一些情况下选的模型不够较复杂的模型好
NFT定理有一个重要的前提：所有问题出现的机会相同，或所有问题同等重要
现实情况并不是这样，在考虑具体问题的条件下，模型还是有好坏之分的
很多时候，我们只关注自己正在试图解决的问题，希望为它找到一个解决方案，至于这个解决方案在别的问题、甚至在相似的问题上是否为好方案，我们并不关心
最后（下面这句话十分关键）
学习算法自身的归纳偏好与问题是否相配，往往会起决定性的作用
下一步：推NFL定理
Original: https://blog.csdn.net/m0_56342660/article/details/122731913
Author: 在下_诸葛
Title: （4）绪论三：归纳偏好
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/699334/
转载文章受原作者版权保护。转载请注明原作者出处！