NLP学习D4-李宏毅自然语言处理L1&L2

学习tf是因为莫烦在用;昨天差不多看完了,想看李宏毅老师的课,结果发现他用的是pytorch,所以还需要再学下pytorch,找了教程。那就多线程工作叭!

————–TIMELINE OF TODDAY——–

先去找找有没有课件,不仅找到了课件,还看到了更新一版本的课程!!!

—0757还找到了作业!!!太开心了!!J继续看

1、第一次真正了解机器学习的作用——拟合函数;而深度学习可以很好地对函数进行拟合
2、激活函数的作用——将线性的函数变为非线性函数,这样可以拟合曲线。不然,线性永远是线性函数。课件中一维的时候有图像,更加立体。

顺便想了一下batch的作用。首先看下loss的定义,是对一组值的好坏的估计,所以这个一组,就是batch。也就是说,我们进行优化的时候,不一定是看一个数据的值进行优化(batch!=1),也可以看一组数据的值。

NLP学习D4-李宏毅自然语言处理L1&L2
NLP学习D4-李宏毅自然语言处理L1&L2

具体地的,其实我们在进行参数优化,对参数求偏导时,由于函数固定,所以求偏导的公式是固定的,但是得出来的具体的gradient的不一样的,主要因为最后forward的一组y不同,导致最后的Loss不同,所以代入求导公示后gradient就不同。

—1405弄了好久colab,接了个水,看下作业视频叭

—1428看完了hw1的讲解,真的好贴心心啊!!!而且居然还有不同的baseline。
我要开始看代码了!

; LECTURE 2

1、看了一些,发现刚才可能是opmization没做好

这幅图很好,因为把g算出来了,g其实也是关于w的函数,最后具体得多少得看你的w。

NLP学习D4-李宏毅自然语言处理L1&L2
判断鞍点:VHV是否>0->H是否为正定->H的特征值是否为正->H为L二次导矩阵,代入theta周围值(其实也就是原来的值,还没有被优化的值),有具体值,可以算特征值。
NLP学习D4-李宏毅自然语言处理L1&L2
1723.。。。。。。。md真的好有意思啊。。先下一下slides预习一下,一会吃啊饭的时候也可以听听

去看下课堂的课件,再听下课,就去复习Catti和做一套catti真题了!!

—2015这个课有一个多小时,是讲宝可梦和数码宝贝分类器的,打算明天看了,今天先复习Catti和消化今天学的叭!

Original: https://blog.csdn.net/weixin_45252975/article/details/124441553
Author: 甄小胖
Title: NLP学习D4-李宏毅自然语言处理L1&L2

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/530223/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球