深度学习笔记—-三维卷积及其应用(3DCNN,PointNet,3D U-Net)

目录

1.什么是三维卷积

1.1 三维卷积简介

1.2 三维卷积的工作原理

2,三维卷积核多通道卷积的区别

2.1 多通道卷积

2.2 三维卷积和多通道卷积之间的区别

2.3 总结

3,三维卷积的应用

3.1 视频分类

3.2 点云分类

3.2.1 PointNet网络亮点

3.2.2 PointNet网络结构

3.3 图像分割(U-Net)

3.3.1 二维的U-Net

3.3.2 三维的U-Net

1.什么是三维卷积

1.1 三维卷积简介

二维卷积是在单通道的一帧图像上进行滑窗操作,输入是高度H宽度W的二维矩阵。三维卷积输入多了深度C这个维度,输入是高度H宽度W*深度C的三维矩阵。在卷积神经网络中,网络每层的宽度是由每一层特征图图的通道数绝决定的。多通道卷积看起来和三维卷积有一样的深度,但两者之间是有本质的区别的。

下面就是 3D 卷积,其过 滤器深度小于输入层深度(核大小

深度学习笔记----三维卷积及其应用(3DCNN,PointNet,3D U-Net)

在 3D 卷积中,3D 过滤器可以在所有三个方向(图像的高度、宽度、通道)上移动。在每个位置,逐元素的乘法和加法都会提供一个数值。因为过滤器是滑过一个 3D 空间,所以输出数值也按 3D 空间排布。也就是说输出是一个 3D 数据。三维卷积被普遍用在视频分类,三维医学图像分割等场景中。

1.2 三维卷积的工作原理

首先我们看一下3D CNN是如何对时间维度进行操作的,如下图所示,我们将时间维度看成是第三维,这里是对连续的四帧图像进行卷积操作,3D卷积是通过堆叠多个连续的帧组成一个立方体,然后在立方体中运用3D卷积核。在这个结构中,卷积层中每一个特征map都会与上一层中多个邻近的连续帧相连,因此捕捉运动信息。

深度学习笔记----三维卷积及其应用(3DCNN,PointNet,3D U-Net)

注:3D卷积核只能从cube(立方)中提取一种类型的特征,因为在整个cube中 卷积核的权值都是一样的, 也就是共享权值,都是同一个卷积核(图中同一个颜色的连接线表示相同的权值)。我们可以采用多种卷积核,以提取多种特征 。

2,三维卷积核多通道卷积的区别

2.1 多通道卷积

首先先看一下多通道卷积,如下图所示 ,这里多通道的卷积不同通道上的卷积核参数是不相同的。

深度学习笔记----三维卷积及其应用(3DCNN,PointNet,3D U-Net)

具体的实现过程为:

深度学习笔记----三维卷积及其应用(3DCNN,PointNet,3D U-Net)

多通道特征图大小公式:

深度学习笔记----三维卷积及其应用(3DCNN,PointNet,3D U-Net)

深度学习笔记----三维卷积及其应用(3DCNN,PointNet,3D U-Net)

2.2 三维卷积和多通道卷积之间的区别

1) 结构不一样:三维卷积核的大小为kkd,三维特征图的深度为L,一般d

Original: https://blog.csdn.net/YOULANSHENGMENG/article/details/121328554
Author: YOULANSHENGMENG
Title: 深度学习笔记—-三维卷积及其应用(3DCNN,PointNet,3D U-Net)

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/624648/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球