目录
前言
提示：本blog不用于商用，如有侵权请速与作者联系。`
毕竟是又开启了人生的又一阶段，花点时间重新系统的学一遍机器学习也未尝不是一件好事。有幸了解到李航博士新书《机器学习方法》（第三版），并第一时间买了下来，此书的前两版名叫《统计学习方法》，第一版主要讲解了监督学习，第二版加入了无监督学习，第三版在基础上加入了深度学习的内容，主要围绕着在各大领域大放异彩的前馈神经网络、卷积神经网络、循环神经网络、生成对抗网络及对应的经典模型。
接下来的几天甚至几周将过一遍此书中的内容，并以笔记的形式写成Blog。由于书中并没有案例代码，所以想要在此Blog中找寻机器学习代码可以直接绕行，不要过多浪费时间。
本人水平有限，能够吃透李航博士书中内容的零星半点便知足了，而笔记更是只能照猫画虎似地摘抄，提出些天马行空的理解，如有错误之处还望各位读者批评指正。
提示：笔记中的多级标题与书中的章节或小结并不一一对应，且笔记中的内容是个人认为的没见过的且比较重点的内容，而不是全部内容，还望各位读者不要将其奉为圭臬。
一、第一章 机器学习及监督学习概论
1、机器学习
实现机器方法的步骤
（1）得到一个有限的训练数据集合；
（2）确定包含所有可能的模型的假设空间，即学习模型的集合；
（3）确定模型选择的准则，即学习的策略；
（4）实现求解最优模型的算法，即学习的算法；
（5）通过学习方法选择最优模型；
（6）利用学习的最优模型对新数据进行预测或分析。
机器学习的研究
（1）机器学习方法的研究：旨在开发新的学习方法；
（2）机器学习理论的研究在于探求及学习方法的有效性与效率，以及机器学习基本理论问题；
（3）机器学习应用的研究主要考虑将机器学习方法应用到实际问题中去，解决实际问题。
个人理解：就我所了解到的人智领域的现状（一位步入大厂的朋友反复和我强调的）：（1）与（3）方面上只有工业界才能做出突破，而学界只不过是拿着工业界所取得的成果，在（2）进行一系列证明，或拿着（1）的残羹剩饭进行二创。因为想要以一个实验室或者学校的力量提出一个新的学习范式并转化为生产力在现阶段来说是完全不可能的。
2、机器学习的分类
基本分类
监督学习：
监督学习是指从标注数据中学习预测模型的机器学习问题。标注数据表述输入输出的对应关系，预测模型对给定的输入产生相应的输出。监督学习的本质是学习输入到输出的映射的同级规律。
（1）输入空间、特征空间和输入空间
在监督学习中，将输入与输出的所有可能取值的集合分别称为输入空间与输出空间。输入空间和输出空间可以是有限元素集合，也可以是整个欧式空间。输入空间与输出空间可以是同一空间，也可以是不同的空间，但通常输出空间是远远小于输入空间的。每个具体的输入是一个实例，通常由特征向量表示。这时，所有特征向量存在的空间称为特征空间。模型实际上都是定义在特征空间上的。
在监督学习中，将输入与输出看作是定义在输入（特征）空间与输出空间上的随机变量的取值。输入输出变量用大写字母表示，习惯上输入变量写作X，输出变量写作Y。监督学习从训练数据集合中学习模型，对测试数据及逆行预测。训练数据由输入（或特征向量）与输出对组成，测试数据也由输入与输出对组成。输入与输出对又称为样本或样本点。
（2）联合概率分布
监督学习假设输入与输出的随机变量X与Y遵循联合概率分布P（X,Y）。P（X,Y）表示分布函数或分布密度函数。在学习过程中，假定这一联合概率分布存在，但对学习系统来说，联合概率分布的具体定义是未知的。训练数据与测试数据被看作是依联合概率分布P(X,Y)独立同分布产生的。机器学习假设数据存在一定的统计规律，X和Y具有联合概率分布就是监督学习关于数据的基本假设。
联合概率是指在多元的概率分布中多个随机变量分别满足各自条件的概率。假设X和Y都服从正态分布，那么P{X
Original: https://blog.csdn.net/HitStuHan/article/details/125905760
Author: HitStuHan
Title: 《机器学习方法（第三版）—— 李航》学习笔记（一）附代码
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/719589/
转载文章受原作者版权保护。转载请注明原作者出处！