文章目录
*
–
+ 题目
+ 前言
+ TextBrewer
+
* Main Features
* Architecture And Design
* FAQ
* Specific Details
* How To Use
题目
TextBrewer详解+代码
前言
今天读了一篇论文《TextBrewer: An Open-Source Knowledge Distillation Toolkit for Natural Language Processing》，它的核心思想不是发明了一种新的知识蒸馏的方法，而是根据现有的知识蒸馏的方法进行了总结和归纳封装成了一个工具包。使得知识蒸馏的过程更加规范和统一。
确实对此颇有感受，最近一段时间读了几篇不同的关于知识蒸馏的论文，虽说每个方法针对特点的任务都有很好的效果，但是复现起来太难，这也就是我为什么一直没有再更新的原因了。不说别的，光是BERT模型的蒸馏就好多，包括PatientKD、DistilBERT、TinyBERT，更别说我还没看过的论文。😂
Original: https://blog.csdn.net/qq_44833392/article/details/124389285
Author: 365JHWZGo
Title: TextBrewer之文本情感分类代码
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/528244/
转载文章受原作者版权保护。转载请注明原作者出处！