语音识别(ASR)论文优选:车内场景粤语指令数据集CI-AVSR: A Cantonese Audio-Visual Speech Dataset for In-car Command Recogni

声明:平时看些文章做些笔记分享出来,文章中难免存在错误的地方,还望大家海涵。搜集一些资料,方便查阅学习:http://yqli.tech/page/speech.html。语音合成领域论文列表请访问http://yqli.tech/page/tts_paper.html,语音识别领域论文统计请访问http://yqli.tech/page/asr_paper.html。如何查找语音资料请参考文章https://mp.weixin.qq.com/s/eJcpsfs3OuhrccJ7_BvKOg)。如有转载,请注明出处。欢迎关注微信公众号:低调奋进。

CI-AVSR: A Cantonese Audio-Visual Speech Dataset for In-car Command Recognition

本文为香港科技大学在2022.01.11更新的文章,主要开源车载语音命令数据集,该数据集包括音频、视频和文本,适合于多模态语音识别,具体的链接

https://arxiv.org/pdf/2201.03804.pdf

注:前两天该实验室发了粤语数据集,可参考https://mp.weixin.qq.com/s/L1c-ohknkNfNHyO0TDOM2w

1 背景

随着深度学习和智能汽车的兴起,智能助手已成为促进驾驶和提供额外功能的必不可少的车载组件。然而,低资源语言存在数据稀缺问题,阻碍其研究和应用的发展。本文介绍了一个新的数据集,即粤语车载视听语音识别数据集(CI-AVSR),用于通过视频和音频数据以粤语进行车载命令识别。

2 设计

文本主要分为四类​: 1) navigation; 2) music playing; 3) weather inquiry; and 4) others,具体文本设计如table 1​所示,每类文本数据量如table 2所示​。

DataSet​Content​:音频、视频和文本

[En]

Dataset ​ content ​: audio, video, and text

参与人员​:30位粤语人员

录制​总时长:人工检测后4984 句 (8.3 小时)。通过添加背景噪声,使其数量增加10倍。图1和图2是数据的时长分布,table 3是数据集划分情况​。

数据​增量:添加车内场景10种背景噪声,使其数量增加10倍​。alarm, horn, background music, ignition, hail, rain with wiper, cars passing by, door opens and closes, people talking, and dog barking​。

语音识别(ASR)论文优选:车内场景粤语指令数据集CI-AVSR: A Cantonese Audio-Visual Speech Dataset for In-car Command Recogni

语音识别(ASR)论文优选:车内场景粤语指令数据集CI-AVSR: A Cantonese Audio-Visual Speech Dataset for In-car Command Recogni

语音识别(ASR)论文优选:车内场景粤语指令数据集CI-AVSR: A Cantonese Audio-Visual Speech Dataset for In-car Command Recogni

语音识别(ASR)论文优选:车内场景粤语指令数据集CI-AVSR: A Cantonese Audio-Visual Speech Dataset for In-car Command Recogni

3 实验

本文的数据集适合多模态的语音识别,选取了两个系统Conformer-based multimodal ASR model和Wav2Vec 2.0-based multimodal ASR model。训练时候只使用干净数据,没使用增加带噪数据(这也是后边实验噪声测试CER非常高原因。我感觉该实验还应该添加使用扩展后10倍数据进行训练对比)。table 4使其识别CER结果,该结果显示添加video多模态提高性能​。wav2vec2效果好于conformer,主要由于wav2vec2使用大量数据预训练,而conformer只使用本文几十小时​数据。table 5为wav2vec2对10种噪声数据的​CER情况。

语音识别(ASR)论文优选:车内场景粤语指令数据集CI-AVSR: A Cantonese Audio-Visual Speech Dataset for In-car Command Recogni

语音识别(ASR)论文优选:车内场景粤语指令数据集CI-AVSR: A Cantonese Audio-Visual Speech Dataset for In-car Command Recogni

4 总结

本文开源了适用于多模式语音识别的车载语音指令数据集,包括音频、视频和文本。

[En]

In this paper, we open source the vehicle voice command data set, which includes audio, video and text, which is suitable for multimodal speech recognition.

Original: https://blog.csdn.net/liyongqiang2420/article/details/122462261
Author: 我叫永强
Title: 语音识别(ASR)论文优选:车内场景粤语指令数据集CI-AVSR: A Cantonese Audio-Visual Speech Dataset for In-car Command Recogni

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/498419/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球