NLP模型学习方式

如何学习项目:

NLP涉及30多种任务

项目中涉及各种文件:因此

1.看README.md(项目自述,说明该项目)

(1)项目是干嘛的

(2)大致用什么框架

(3)所需的环境

(4)数据集的介绍

(5)个别文件的作用

2.一定要找到哪个文件是项目入口

3.看数据集

小知识:python中的debug

1.第一个是简单粗暴的下一步

2.第二个是进入系统底层方法的下一步

3.第三个是只能进入自己写的方法的下一步

4.左侧是同时打两个断点进行跳跃,跳过不想运行的部分。

注意:

debug 断点不要打在方法名、类名上

不要打在if,else判断上,因为有可能进不去。

小知识:

torch.save(model,)

saver = tf.train.Saver()

一、数据处理部分

1.读取数据并进行处理

2.构建词汇表并保存

3.把构建label_to_id,word_to_id

4.把文本变成下标,句子的填充(因为句子长短不一)

5.批量

6.随机打乱顺序

二、模型处理部分

1.获取模型参数,并定义占位符

2.embedding层/向量化层

3.定义模型结构层,得到预测值h

4.有了h之后,就可以和y构建损失函数

5.优化器

6.评估方法

Original: https://blog.csdn.net/m0_67084346/article/details/128330864
Author: 小杨变老杨
Title: NLP模型学习方式

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/777628/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球