1. Johngo学长首页
  2. 技术点详细复盘专题
  3. 人工智能

【机器学习】机器学习笔记（吴恩达）

• 人工智能 • 阅读 89

文章目录

中文笔记地址

https://github.com/fengdu78/Coursera-ML-AndrewNg-Notes

视频地址

https://study.163.com/course/courseLearn.htm?courseId=1210076550#/learn/video?lessonId=1280912351&courseId=1210076550

第1章 引言

1.1 欢迎

1.2 机器学习是什么

定义机器学习为：在进行特定编程的情况下，给予计算机 学习能力的领域。目前存在几种不同类型的学习算法，主要的两种类型被我们称之为监督学习和无监督学习。 监督学习这个想法是指，我们将教计算机如何去完成任务， 而在无监督学习中，我们打算让它自己进行学习

1.3 监督学习

**监督学习指的就是我们给学习算法一个数据集（训练集）。这个数据集由”正确答案”组成。

回归与分类问题定义
回归 这个词的意思是，我们在试着推测出这一系列 连续值属性
回归问题 ，指我们试着推测出一个连续值的结果，比如房子的价格（1-1000元），尽管价格最小单位是分，但我们还是把它作为连续值

分类指的是，我们试着推测出 离散的输出值，如是否是肿瘤（是为1，不是为0）

支持向量机，里面有一个巧妙的数学技巧， 能让计算机处理无限多个特征

假设你经营着一家公司，你想开发学习算法来处理这两个问题：

（1）你有一大批同样的货物，想象一下，你有上千件一模一样的货物等待出售，这时你想预测接下来的三个月能卖多少件？
（2）你有许多客户，这时你想写一个软件来检验每一个用户的账户。对于每一个账户，你要判断它们是否曾经被盗过？
那这两个问题，它们属于分类问题、还是回归问题

问题一是一个回归问题，因为你知道，如果我有数千件货物，我会把它看成一个 实数（有理数+无理数），一个连续的值。因此卖出的物品数，也是一个连续的值。

问题二是一个分类问题，因为我会把预测的值，用 0 来表示账户未被盗，用 1 表示账户曾经被盗过。所以我们根据账号是否被盗过，把它们定为0 或 1，然后用算法推测一个账号是 0 还是 1，因为只有少数的离散值，所以我把它归为分类问题。

1.4 无监督学习

无监督学习中， 数据集没有任何的标签或者是有相同的标签。所以我们已知数据集，却不知如何处理，也未告知每个数据点是什么

无监督学习就是运行一个聚类算法（无监督学习算法），把不同的个体，归入不同类或者归为不同的类型的人

无监督学习的第2种算法，叫”鸡尾酒会算法”，能两种混合在一起的声音区分开来（如两种混在一起的人声，人声和背景音混在一起）

问题Q&A汇总

【机器学习】机器学习笔记（吴恩达）
【机器学习】机器学习笔记（吴恩达）

无监督学习和有监督学习的区别：（1）数据集，有监督学习的数据集是提前打好标签的，而无监督学习的数据集是没有任何标签或标签都是相同的

; 第2章

2.1 模型展示

单变量线性回归

一元线性回归模型（单变量线性回归模型）

【机器学习】机器学习笔记（吴恩达）
因为只含有一个特征/输入变量，因此这样的问题叫作单变量线性回归问题。h表示为假设函数

【机器学习】机器学习笔记（吴恩达）

【机器学习】机器学习笔记（吴恩达）
我们可以通过模型参数，a和b （对应文中的0和1两个参数），来定义不同的假设函数
【机器学习】机器学习笔记（吴恩达）

; 2.2 代价函数

代价函数也被称作平方误差函数，有时也被称为平方误差代价函数。我们之所以要求出误差的平方和，是因为误差平方代价函数，对于大多数问题，特别是回归问题，都是一个合理的选择

整体的目标函数是使得误差平方代价函数值最小

【机器学习】机器学习笔记（吴恩达）
【机器学习】机器学习笔记（吴恩达）

【机器学习】机器学习笔记（吴恩达）
这个最小的点，对应的参数（0，1），形成最终的目标函数

【机器学习】机器学习笔记（吴恩达）
看到第2张图，是等高线，所有圆圈上（参数x0，和参数x1），对应的j（x0，x1）的值都是相同的，类似于等高线

2.3-2.4 代价函数理解

【机器学习】机器学习笔记（吴恩达）
提供假设函数，该假设函数有两个参数，我们通过误差平方和来定义代价函数，当选定特定的参数0和参数1，使代价函数值最小，这个就是我们的目标函数

; 2.5-2.6 梯度下降算法，梯度下降算法理解

梯度下降算法，可以用于求函数的最小值，可用梯度下降算法来求出代价函数J（x0，x1）的最小值

梯度下降算法公式

【机器学习】机器学习笔记（吴恩达）
公式当中的:= 为赋值，而=为条件判断语句（视频中是这样定义的）
【机器学习】机器学习笔记（吴恩达）
另外更新x0，x1 参数需要同步更新，右边先更新x0 ，再更新x1 不是典型的梯度下降算法，结果可能不正确

梯度下降会自动采用更小的幅度，没有必要再降低学习率a

【机器学习】机器学习笔记（吴恩达）
梯度下降可以收敛到一个局部最小值，即使学习率a是固定的。当接近一个局部最小值时，梯度下降会自动采取更小的步骤，所以不需要随时间减小学习率a

但就目前而言，应用刚刚学到的算法，你应该已经掌握了批量梯度算法，并且能把它应用到线性回归中了， 这就是用于线性回归的梯度下降法。

如果你之前学过线性代数，有些同学之前可能已经学过高等线性代数，你应该知道有一种计算代价函数最小值的数值解法，不需要梯度下降这种迭代算法。在后面的课程中，我们也会谈到这个方法， 它可以在不需要多步梯度下降的情况下，也能解出代价函数的最小值，这是另一种称为正规方程(normal equations)的方法。实际上在数据量较大的情况下，梯度下降法比正规方程要更适用一些。

现在我们已经掌握了梯度下降，我们可以在不同的环境中使用梯度下降法，我们还将在不同的机器学习问题中大量地使用它。所以，祝贺大家成功学会你的第一个机器学习算法。

在下一段视频中，告诉你 泛化（通用）的梯度下降算法，这将使梯度下降更加强大。

第3章

矩阵和向量相关概念

第4章

4.2 多元（多变量）梯度下降算法

【机器学习】机器学习笔记（吴恩达）
下面是单变量梯度下降和多变量梯度下降的对比
【机器学习】机器学习笔记（吴恩达）

; 4.3 梯度下降实用技巧1-特征缩放

特征缩放，先看左边的图，如果有两个特征，一个特征是房子大小0-2000，而另一个特征是卧室的数量（1-5），那么画出来的代价函数的图像，就是椭圆状，这种图像经过梯度下降算法，很难收敛，因为（x0，x1）会来回震荡

【机器学习】机器学习笔记（吴恩达）
我们经过特征缩放，即x1=size/2000，x2=卧室数量/5，这样的操作后，x1与x2 都处于 0到1的范围

【机器学习】机器学习笔记（吴恩达）
尽量使得每一个特征处于-1

Original: https://blog.csdn.net/u011035397/article/details/122143857
Author: Bug 挖掘机
Title: 【机器学习】机器学习笔记（吴恩达）

原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/648708/

转载文章受原作者版权保护。转载请注明原作者出处！

赞 (0)
0

【自取】最近整理的，有需要可以领取学习：



Linux核心资料大放送~

全栈面试题汇总（持续更新&可下载）

一个提高学习100%效率的工具！

【超详细】深度学习面试题目！

LeetCode Python刷题答案下载！

LeetCode Java版刷题答案下载！

LeetCode C++ 版本，抓紧保存！

LeetCode GO语言 刷题答案下载！

大家都在看

亲爱的 Coder【最近整理，可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球