CAU SUBMISSION TO DCASE 2021 TASK6: TRANSFORMER FOLLOWED BY TRANSFER LEARNING FOR AUDIO CAPTIONING

Abstract & Introduction & Related Work

  • 研究任务
    AAC(自动音频字幕)
  • 已有方法和相关工作
  • 面临挑战
  • 创新思路
    使用预训练模型,seq2seq模型使用CNN14和ResNet54作为encoder,transformer的decoder
  • 实验结论
    SPIDEr score of 0.246 and 0.285

PROPOSED MODEL

System Overview

CAU SUBMISSION TO DCASE 2021 TASK6: TRANSFORMER FOLLOWED BY TRANSFER LEARNING FOR AUDIO CAPTIONING

; Pre-Processing

输入特征使用了log-mel频谱图特征。音频数据的采样频率为44.1kHz,我们采用了1024大小的汉恩窗口,重叠率为50%。从每个窗口帧中,我们提取了64个对数梅尔波段的能量。对于时间窗口的数量,我们计算了样本数据集中的最大时间窗口数T。对于我们模型上的固定大小的输入特征,我们将时间维度填充为T大小的零

word embedding用word2vec

Data Augmentation

Spec Augment[8]作为一种数据增强方法被应用于更强大的训练。通过Spec Augment,在我们将对数谱图输入到CNN14或ResNet54编码器之前,频率掩码和时间掩码被随机地应用到对数谱图上

Pretrained Audio Neural Networks using AudioSet

预训练的PANNs用来处理输出,后面接encoder

CAU SUBMISSION TO DCASE 2021 TASK6: TRANSFORMER FOLLOWED BY TRANSFER LEARNING FOR AUDIO CAPTIONING

; Proposed Model

我们采用从PANNs学到的预训练网络(CNN14,ResNet54)作为AudioSet,并使用它们作为我们的编码器,把预训练模型的参数冻结

EXPERIMENTS

CAU SUBMISSION TO DCASE 2021 TASK6: TRANSFORMER FOLLOWED BY TRANSFER LEARNING FOR AUDIO CAPTIONING

; CONCLUSION

没有fine-tune的迁移学习表现最好

Remark

使用了在大规模数据集上预训练的迁移模型,并且不fine-tune效果更好??我表示非常疑惑,那是不是说明你这个模型并不能学到什么东西,奇奇怪怪

Original: https://blog.csdn.net/Raki_J/article/details/123069005
Author: 爱睡觉的Raki
Title: CAU SUBMISSION TO DCASE 2021 TASK6: TRANSFORMER FOLLOWED BY TRANSFER LEARNING FOR AUDIO CAPTIONING

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/498092/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球