语音识别(ASR)论文优选:性能测试Wav2Vec2.0 on the Edge: Performance Evaluation

声明:平时看些文章做些笔记分享出来,文章中难免存在错误的地方,还望大家海涵。搜集一些资料,方便查阅学习:http://yqli.tech/page/speech.html。语音合成领域论文列表请访问http://yqli.tech/page/tts_paper.html,语音识别领域论文统计请访问http://yqli.tech/page/asr_paper.html。如何查找语音资料请参考文章https://mp.weixin.qq.com/s/eJcpsfs3OuhrccJ7_BvKOg)。如有转载,请注明出处。欢迎关注微信公众号:低调奋进。

Wav2Vec2.0 on the Edge: Performance Evaluation

本文为Meta Inc在2022.02.12更新的文章,主要进行wav2vec2.0在边缘设备上的性能测试,具体的文章链接

https://arxiv.org/pdf/2202.05993.pdf

(本文的主要目的是分享实验结果。我以实验报告的形式对它们进行总结。结果仅供参考。)

[En]

(the main purpose of this paper is to share the experimental results. I summarize them in the form of an experimental report. The results are for reference only.)

1 实验背景和目的

Wav2Vec2.0 是通过无监督学习Self-supervised learning对音频进行表征学习,其学习的表征信息供下游的语音识别等任务使用,如图1所示。过往的研究还没有对Wav2Vec2.0在边缘设备上进行性能测试,因此本文主要分享该实验成果。

语音识别(ASR)论文优选:性能测试Wav2Vec2.0 on the Edge: Performance Evaluation

2 实验设置

本文实验的整套方案是在PyTorch生态上进行,其量化等操作都是其生态api。该实验的模型准备如图2所示,图3和图4展示测试流程。实验数据为LibriSpeech,实验使用的lm为KenLM。实验设备Raspberry Pi 的配置如table 1所示。实验的指标包括

accuracy(WER), latency(RTF) and efficiency(CPU, memory and power consumption)。

语音识别(ASR)论文优选:性能测试Wav2Vec2.0 on the Edge: Performance Evaluation

语音识别(ASR)论文优选:性能测试Wav2Vec2.0 on the Edge: Performance Evaluation

语音识别(ASR)论文优选:性能测试Wav2Vec2.0 on the Edge: Performance Evaluation

3 实验结果

首先看一下语音识别的WER指标如table 2所示,有了语言模型,WER 至少比没有语言模型的 WER 好 30 %。beam size 100 至少有 ∼3 % 的改进。使用量化语言模型WER 比不使用语言模型的好 ∼25 %​。

语音识别(ASR)论文优选:性能测试Wav2Vec2.0 on the Edge: Performance Evaluation

接下来看一下RTF,核数越多rtf越小,但3核和4核差别不大​,都勉强实时。图5到图8展示了能量开销,系统稳态为∼ 3.1W,则每增加一核开销∼ 1.1W, ∼ 1.7W, ∼ 2.3W and ∼ 2.9W ​。图9和图10对比量化和​非量化模型的能源开销。图11和图12为内存开销和cpu占用情况,可以看到使用语言模型的内存占用增加​较大。

语音识别(ASR)论文优选:性能测试Wav2Vec2.0 on the Edge: Performance Evaluation

语音识别(ASR)论文优选:性能测试Wav2Vec2.0 on the Edge: Performance Evaluation

语音识别(ASR)论文优选:性能测试Wav2Vec2.0 on the Edge: Performance Evaluation

语音识别(ASR)论文优选:性能测试Wav2Vec2.0 on the Edge: Performance Evaluation

语音识别(ASR)论文优选:性能测试Wav2Vec2.0 on the Edge: Performance Evaluation

4 总结

本文评估在边缘设备树莓派上的 Wav2Vec 模型推理性能,其RTF勉强达到实时。 通过使用语言模型,模型的准确率提高了∼30%,但增加了约 200% 内存成本。 通过使用量化语言模型,内存占用可以大大减少。 模型量化比未量化模型的能源开销低约 27%。​

Original: https://blog.csdn.net/liyongqiang2420/article/details/122947930
Author: 我叫永强
Title: 语音识别(ASR)论文优选:性能测试Wav2Vec2.0 on the Edge: Performance Evaluation

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/498246/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球