自然语言处理NLP星空智能对话机器人系列：理解语言的 Transformer 模型
本文是将葡萄牙语翻译成英语的一个高级示例。
目录
- 安装部署 Tensorflow
- 设置输入pipeline
- 从训练数据集创建自定义子词分词器subwords tokenizer
- 如果单词不在词典中，则分词器（tokenizer）通过将单词分解为子词来对字符串进行编码。
- 将开始和结束标记（token）添加到输入和目标
- 为了使示例较小且相对较快，删除长度大于40个标记的样本
- 附录 最终的运行结果
- 参考文献
- 星空智能对话机器人系列博客
; 安装部署 Tensorflow
import tensorflow_datasets as tfds
import tensorflow as tf
Original: https://blog.csdn.net/duan_zhihua/article/details/121479623
Author: 段智华
Title: 自然语言处理NLP星空智能对话机器人系列：理解语言的 Transformer 模型-子词分词器
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/79851/
转载文章受原作者版权保护。转载请注明原作者出处！
