# 探究torchAudio中wav2vec2的源码（二）——特征提取

extractor_conv_layer_config列表中的三元组的含义分别表示：out_channels、kernel_size、stride。

## ; 特征提取

[En]

The normalized model parameters are:

• GroupNorm：将channel方向分group，然后每个group内做归一化，算(C//G)HW的均值
• LayerNorm：channel方向做归一化，算CHW的均值

def _get_feature_extractor(
norm_mode: str,
shapes: List[Tuple[int, int, int]],
bias: bool,
) -> FeatureExtractor:
assert norm_mode in ["group_norm", "layer_norm"]
# &#x5757;
blocks = []
# &#x8F93;&#x5165;&#xFF1A;&#x8BED;&#x97F3;
in_channels = 1
# &#x7A77;&#x4E3E;&#x7ED3;&#x6784;&#x53C2;&#x6570;
for i, (out_channels, kernel_size, stride) in enumerate(shapes):
# &#x5F52;&#x4E00;&#x5316;&#x6A21;&#x578B;
normalization = None
# &#x5982;&#x679C;&#x5F52;&#x4E00;&#x5316;&#x6A21;&#x578B;&#x662F;&#x7EC4;&#x5F52;&#x4E00;&#x5316;
if norm_mode == "group_norm" and i == 0:
# &#x7EC4;&#x5F52;&#x4E00;&#x5316;&#x6A21;&#x578B;&#x6784;&#x9020;
normalization = nn.GroupNorm(
num_groups=out_channels,
num_channels=out_channels,
affine=True,
)
# &#x5982;&#x679C;&#x662F;&#x5C42;&#x5F52;&#x4E00;&#x5316;
elif norm_mode == "layer_norm":
# &#x5C42;&#x5F52;&#x4E00;&#x5316;&#x6A21;&#x578B;&#x6784;&#x9020;
normalization = LayerNorm(
normalized_shape=out_channels,
elementwise_affine=True,
)
# conv1d&#x6A21;&#x578B;&#x6784;&#x9020;&#xFF0C;&#x628A;&#x5F52;&#x4E00;&#x5316;&#x4E5F;&#x4F20;&#x8FDB;&#x53BB;
blocks.append(
ConvLayerBlock(
in_channels=in_channels,
out_channels=out_channels,
kernel_size=kernel_size,
stride=stride,
bias=bias,
layer_norm=normalization,
)
)
# &#x8F93;&#x51FA;channel&#x53D8;&#x8F93;&#x5165;channel&#xFF08;1&#x53D8;512&#x3001;512&#x53D8;512.....&#xFF09;
in_channels = out_channels
# &#x628A;&#x5217;&#x8868;blocks&#x8F6C;&#x6362;&#x6210;pytorch&#x6A21;&#x578B;&#x5217;&#x8868;&#x7136;&#x540E;&#x8FD4;&#x56DE;&#x63D0;&#x53D6;&#x7279;&#x5F81;&#x7684;&#x7ED3;&#x679C;
return FeatureExtractor(nn.ModuleList(blocks))

## 总结

Original: https://blog.csdn.net/weixin_43142450/article/details/123986531
Author: Squid _
Title: 探究torchAudio中wav2vec2的源码（二）——特征提取

(0)

### 大家都在看

• #### 多项式拟合lm_拟合R语言中的多项式回归

让我们看一个经济学的例子：假设你想购买一定数量q的特定产品。如果单价是p，那么你会支付总金额y。这是一个线性关系的典型例子。总价格和数量成正比。 如下所示： 但购买和出售，我们可能…

人工智能 2023年6月18日
0221
• #### 不要停止预训练实战-Roberta与Albert

文章目录 前言 任务描述 任务数据集 实验设置 预训练数据生成 * roberta的预训练数据处理 albert的预训练数据处理 预训练代码 * 模型结构 – Robe…

人工智能 2023年5月27日
0158
• #### python opencv+tkinter 使用tkinter实现交互式图像处理工具

tkinter 基本控件与使用 我们将学习如何使用Tkinter包编写一些图形用户界面程序。Tkinter是Python的一个标准包，因此我们并不需要安装它。我们将从创建一个窗口开…

人工智能 2023年6月17日
0159
• #### Python模拟登陆网页的三种方法

人工智能 2023年7月4日
0147
• #### 了解聚类是什么。聚类方法：k-means、核聚类、层次聚类、谱聚类

聚类 1.什么是聚类 2.聚类方法 * 2.1 划分式聚类方法 – k-means k-means++ bi-kmeans 基于密度的方法 – DBSCAN…

人工智能 2023年6月2日
0175

人工智能 2023年6月26日
0145
• #### 人工智能-A*启发式搜索算法解决八数码问题 Python实现

一.问题描述 八数码问题也称为九宫问题。在 3×3 的棋盘，摆有八个棋子，每个棋子上标有 1 至 8 的某一数字，不同棋子上标的数字不相同。棋盘上还有一个空格（以数字 0 来表示）…

人工智能 2023年7月29日
0212
• #### 快速上手数据挖掘

一、数据挖掘的应用 数据挖掘是一项应用十分广泛的技术，它能够从历史数据中发掘出有用的规律，然后运用规律去做预测。比如在金融机构中通过挖掘历史用户信息和违约之间的规律进行风险预测，防…

人工智能 2023年7月17日
0169

说明：这是一个机器学习实战项目（附带 数据+代码+文档+视频讲解），如需 数据+代码+文档+视频讲解可以直接到文章最后获取。 1.项目背景 GBDT是Gradient Boosti…

人工智能 2023年6月16日
0171
• #### 【华为云ModelArts】识别你的专属云宝

抵扣说明： 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。 Original: https://blo…

人工智能 2023年7月27日
0134
• #### 蟒蛇书学习笔记——Chapter 09 Section 03 继承【第九章完结 3/3】

编写类时，并非总是要从空白开始。如果要编写的类是另一个 现成类的特殊版本，可使用继承。一个类继承另一个类时，将自动获得另一个类的所有属性和方法。原有的类称为父类，而新类称为子类。子…

人工智能 2023年6月4日
0185
• #### 数据分析 第四周 (pandas 一维 series 和 二维 DaTaFrame)笔记

为什么要用pandas？ numpy 虽然有强大的功能 ， 但是只能处理数值数据 而 pandas 就很好的解决了这个问题 pandas 一维 Serier 类似于 C++ 中的 …

人工智能 2023年7月9日
0126
• #### 【行业研究报告】AI助力安防行业向智能化转型——以涂鸦智能微案例分析

概念界定： “AI+安防”行业主要应用感知方面的计算机视觉技术和认知方面的知识图谱技术；在安防产品上应用的是视频结构化：对视频数据特征的识别和提取、生物识别…

人工智能 2023年6月10日
0166
• #### 详解BiLSTM

一、介绍 1.1 文章组织 本文简要介绍了BiLSTM的基本原理，并以句子级情感分类任务为例介绍为什么需要使用LSTM或BiLSTM进行建模。 1.2 情感分类任务 自然语言处理中…

人工智能 2023年5月27日
0160
• #### 从零讲解目标检测的评价指标map及实现

前言 map是Mean Average Precision的缩写，翻译过来是平均精度的平均。有点绕啊，在理解map之前，先问个为什么要引入map，在分类任务中，常使用精确率和召回率…

人工智能 2023年5月26日
0146
• #### 花了一天的时间，地板式扫盲了vue3中所有API盲点

; 📍前言 最近在一次理解 vue项目的代码时，发现周一对好多 API都不太熟悉。这间接导致的问题是，代码理解速度要比平常要慢很多。于是乎，赶忙把 vue API的学习提上了日程。…

人工智能 2023年6月27日
0173