一、论文研究背景
语义分割（Semantic segmentatio）是计算机视觉中的关键任务之 一。现实中，越来越多的应用场景需要从影像中推理出相关的知识或语义（即由具体到抽象 的过程）。作为计算机视觉的核心问题，语义分割对于场景理解的重要性日渐突出。
1.1相关概念辨析
①语义分割 ②实例分割 ③全景分割
语义即图像想要表达的意思，语义分割可以简单理解为抠图+分类。如下图b图所示，行人标为红色、汽车标为蓝色。实例分割是在语义分割的基础之上，对图像上除背景以外的对象进行分类。与语义分割不同的是，每一个对象都是单独的，不再按照大类划分。即每一个人都对应一个颜色，每一辆车也对应一个颜色。实例分割=语义分割+实例分割，理解为两者的结合，如下图的d图所示。
1.2 图像分割的历史
所有的发展都是漫长的技术积累，加上一些外界条件满足时就会产生质变。我们简单总结了图像分割的几个时期：
- 2000年之前，数字图像处理时我们采用方法基于几类：阈值分割、区域分割、边缘分割、纹理特征、聚类等。
- 2000年到2010年期间， 主要方法有四类：基于图论、聚类、分类以及聚类和分类结合。
- 2010年至今，神经网络模型的崛起和深度学习的发展。
1.3 传统方法的问题
在FCN问世之前，也有一些传统的方法进行语义分割，比如：Normalized cut 、Structured Random Forests 、SVM等等。阐述一下传统方法的缺点：在实际运用中，每运行一次N-cut，只能切割一次图片，为了分割出图像上的多个物体，需要多次运行，下图示例了对原图 a 进行 7 次 N-cut 后，每次分割出 的结果。 缺点：效率低、准确度不高。
1.4 利用深度学习的缺点
①不匹配关系 ②不寻常类
如上图所示，枕头、床单、以及床尾柜子都容易被当作和床是一体的。
二、语义分割实现流程
2.1训练
根据batch_size大小，将 数据集中的训练样本和标签读入卷积神经网络。根据实际需要，应先对训练图片及标签进行预处理，如裁剪、数据增强 等。这有利于深层网络的的训练，加速收敛过程，同时也避免过拟合问题并增强了模型的泛化能力。
2.2验证
训练一个epoch结束后， 将数据集中的验证样本和标签 读入卷积神经网络，并载入训 练权重。根据编写好的语义分 割指标进行验证，得到当前训 练过程中的指标分数，保存对 应权重。常用一次训练一次验 证的方法更好的监督模型表现。
2.3测试
所有训练结束后，将数据集中的测试样本和标签读入卷 积神经网络，并将保存的最好权重值载入模型，进行测试。 测试结果分为两种，一种是根据常用指标分数衡量网络性能，另一种是将网络的预测结果以 图片的形式保存下来，直观感受分割的精确程度。
三、语义分割常用数据集
现提供CamVid数据集：CamVid数据集，语义分割FCN训练数据集
【因下篇文章内容为利用该数据集进行实现FCN，所以多对此数据集进行介绍】
CamVid全称：The Cambridge-driving Labeled Video Database，该数据集由剑桥大学工程系于 2008 年发布，是第一个具有目标类别语义标签的视频集合。数据库提供32个ground truth语义标签，将每个像素与语义类别之一相关联。
数据集包 括 700 多张精准标注的图片用于强监督学习，可分为训练集、验证集、测试集。 同时， 在 CamVid 数据集中通常使用 11 种常用的类别来进行分割精度的评估，分别为：道路 （Road）、交通标志（Symbol）、汽车（Car）、天空（Sky）、行人道（Sidewalk）、电线杆 （Pole）、围墙（Fence）、行人（Pedestrian）、建筑物（Building）、自行车（Bicyclist）、 树木（Tree）。
四、语义分割常用指标
4.1 Pixel Accuracy（PA 像素精度）
定义：标记正确的像素占总像素的比例
4.2 Mean Pixel Accuracy（MPA 均像素精度）
定义：计算每个类内被正确分类像素数的比例，再求所有类的平均。
4.3Mean Intersection over Union（MIoU 均交并比）
定义：计算真实值和预测值的交集和并集
Ps：数学不好的同学们，一笑而过就行，不过要记住这三个常用指标的名称，在后续的程序实现中，利用混淆矩阵的方式来计算各个指标的值。非常巧妙！有空为大家更新。
更新啦！！！ 解读混淆矩阵在语义分割FCN指标计算中的应用（含代码实现）
语义分割的开山作FCN在另一篇文章中，为大家做详细介绍。
Original: https://blog.csdn.net/m0_62128864/article/details/124304881
Author: 码农男孩
Title: 双重角度看语义分割：传统语义分割方法 对比 深度学习语义分割方法
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/661888/
转载文章受原作者版权保护。转载请注明原作者出处！