图像分割汇总

Image Segmentation(图像分割)所谓图像分割是指根据灰度、彩色、空间纹理、几何形状等特征把图像划分成若干个互不相交的区域,使得这些特征在同一区域内表现出一致性或相似性,而在不同区域间表现出明显的不同。简单的说就是在一副图像中,把目标从背景中分离出来。对于灰度图像来说,区域内部的像素一般具有灰度相似性,而在区域的边界上一般具有灰度不连续性。

Medical Image Segmentation(医学图像分割):医学图像分割的目的是使图像中解剖或病理结构的变化更加清晰;它在计算机辅助诊断和智能医疗中发挥着至关重要的作用,极大地提高了诊断的效率和准确性。目前流行的医学图像分割任务包括肝脏和肝脏肿瘤分割,脑和脑肿瘤分割,视盘分割,细胞分割,肺分割和肺结节等。 一般的图像分割任务主要分为了语义分割和实例分割。但在医学图像分割中,由于每个器官或组织都有很大的不同,所以医学图像的实例分割并无太大意义,医学图像分割通常都指语义分割。

superpixels(超像素):超像素是 一系列像素的集合,这些像素具有类似的颜色、纹理等特征,距离也比较近,需要注意的是,超像素很可能把同一个物体的不同部分分成多个超像素,如下图,其中每个白色线条区域内的像素集合就是一个超像素。

图像分割汇总

Semantic Segmentation(语义分割):就是把图像中 每个像素赋予一个类别标签(比如汽车、建筑、地面、天空等),比如下图就把图像分为了草地(浅绿)、人(红色)、树木(深绿)、天空(蓝色)等标签,用不同的颜色来表示。存在的问题是:不同的人标上的颜色是一样的,因为类别相同,也就是说语义分割只能判断类别,无法区分个体。

图像分割汇总

Instance Segmentation(实例分割):有点类似于物体检测,不过物体检测一般输出的是 bounding box,实例分割输出的是一个 mask。实例分割和上面的语义分割也不同,它不需要对每个像素进行标记,它只需要找 到感兴趣物体的边缘轮廓就行。

图像分割汇总

Image Classification: 图像分类,用于识别图像中物体的类别(如:bottle、cup、cube)
Object Localization: 目标检测,用于检测图像中每个物体的类别,并准确标出它们的位置。

图像分割汇总

Panoptic Segmentation(全景分割):它是 语义分割和实例分割的结合,即同时实现 对背景的语义分割和前景的实例分割。如下图所示,每个像素都被分为一类,如果一种类别里有多个实例,会用不同的颜色进行区分,我们可以知道哪个像素属于哪个类中的哪个实例。比如下图中黄色和红色都属于人这一个类别里,但是分别属于不同的实例(人),因此我们可以通过mask的颜色很容易分辨出不同的实例。

图像分割汇总

图像分割汇总

Interactive Segmentation(交互式分割):交互式分割是用户通过提供目标物体 前景和背景信息实现交互式的监督分割。交互式分割往往是建立在自动分割的基础上,对已有的监督信息中增加人为(模拟人为)的标记,实现更加精细的分割。例如仅对感兴趣的目标进行分割,在自动分割结果不够好的情况下通过用户介入矫正,特定医疗图像的目标分割等。

Matting:Matting 是 将图像分解为前景和背景的处理,以便于将前景合并到新的背景上. 这也是绿幕greenscreen 的关键技术,被广泛应用于视频生产、图形和APPs 中。简而言之,分割是对图像中每个像素分配一个二值标签0,1,以表示背景和前景,而Matting是求解公式中连续的 alpha 值。

图像分割汇总

图中,边缘区域,尤其是头发,是由 0-1 之间的真实 alpha 值的. 因此,分割的二值性导致前景边界周围出现严格边界,留下可见的不好效果. 解决了部分透明度和前景问题,对第二帧的合成更有利.

比如paddlepaddle就提供以下四种四种分割功能: (精度到头发丝了)

图像分割汇总

参考链接:

超像素、语义分割、实例分割、全景分割 傻傻分不清? – 知乎 (zhihu.com)

飞桨PaddlePaddle-源于产业实践的开源深度学习平台

Matting – Background Matting 简单理解 – AI备忘录 (aiuai.cn)

2022-02-11 17:00更

Video Object Segmentation(视频目标分割):对视频中感兴趣的目标进行分割,给定第一帧mask的VOS称为one-shot VOS (单样本VOS),无第一帧目标mask的称为zero-shot VOS(无样本VOS)。通常会给定目标mask,求特定目标的mask,下图为实例级视频目标分割的例子:

图像分割汇总

视频目标分割是集 检测、跟踪、分割、ReID于一体的计算机视觉任务,提供了更加丰富的信息,标注成本很高,计算量也比较大,近年来随着高性能设备和相关数据集的出现,也越来越受到关注。

视频实例分割(Video Instance Segmentation):根据目标检测的框,求目标的mask

图像分割汇总

Original: https://blog.csdn.net/qq_46675545/article/details/122708000
Author: 好啊啊啊啊
Title: 图像分割汇总

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/702867/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球