Multi-View Learning(多视图学习/多视角学习 )是什么? Co-training(协同训练)和它的关系

一句话解释什么是Multi-View Learning: 从多个视角进行学习,可以让模型从多方面更好的理解事物,从而提升模型的性能

多个视角的来源:

(1) 多个源(multiple sources ):比如人物识别可以用脸、指纹等作为不同源的输入。
(2) 多个特征子集(different feature subsets;):比如图像表示可以用颜色、文字等作为不同特征表述。

可用于多视角学习算法分为三类:(1)Co-training 协同训练 (2)Multiple Kernel Learning 多核学习 (3)Subspace Learning 子空间学习。

我们先学习一下什么是协同训练,理解了协同训练就差不多可以理解多视图学习 (Multi-View Learning)是什么了:

协同训练 Co-training

Co-training是 基于分歧的方法,其假设每个数据可以从不同的角度(view)进行分类,不同角度可以训练出不同的分类器,然后用这些从不同角度训练出来的分类器对无标签样本进行分类,再选出认为可信的无标签样本加入训练集中。 由于这些分类器从不同角度训练出来的,可以形成一种互补,而提高分类精度;就如同从不同角度可以更好地理解事物一样

随着数据采集技术的不断发展,人们获得的数据常常具有多个视角, 形成多视图数据。多视图学习可以为来自多个特征集的数据融合或数据集成。

图a.根据网页本身的内容和其超链接的内容,对网页进行识别与分类;

图b.根据视频的图像和音频视角识别学习视频;

图c.除了同一事件的不同特征值外,多视角学习还可以是数据的不同采集来源,如一片待测区域数据,是来自全站仪,扫描仪与无人机测量的数据;

图d.更具论文的作者以及参考文献中的引用关系可以对论文进行学科分类。

Multi-View Learning(多视图学习/多视角学习 )是什么? Co-training(协同训练)和它的关系

在半监督深度学习里,co-training 会以什么方式呈现呢?问题的关键自然在于,如何去构建两个(或多个) 近似代表充分独立的视图的深度模型,两个比较直观的方法就是:

  • 使用不同的网络架构(哪怕是对同一个数据集,不同的网络架构学习到的预测分布是不一样的);
  • 使用特殊的训练方法来得到多样化的深度模型。

具体的文章介绍看:半监督深度学习小结:类协同训练和一致性正则化 | 机器之心

我们来总结一下类协同训练在深度学习中应用的三个关键点:

1.怎么训练具有不同视图信息的分类器?目前看到的方法有二:1)构建不同的数据集;2)使用不同的网络架构。看起来两种方法一起用效果会更好;

2.如何解决 collapsed neural networks 问题,即如何保持分类器的 diversity,这问题非常重要。

3. 如何训练”好”的无标签样本加入训练集?虽然协同训练本身通过一致性原则选择的样本就具有一定的可靠性,但是否有很好的挑选方法?如稳定性。

单视图学习

单视图学习可以在传统的垃圾邮件过滤中见到。比如我们训练一个classifier去筛选垃圾邮件,我们可以通过自然语言处理(NLP)去通过邮件的内容来判断它是否是垃圾邮件。我们通常会增加一些features,比如标点符号的比例,邮件的文档长度。新的features和文档内容放在同一个视图下,我们在这里可以把视图理解为一个pd.dataframe。然后通过监督学习(supervised-learning)去训练一个模型。

多视图学习

多视图学习则可以解决更复杂的问题。我们通过一个简单的例子来理解:我们现在构建一个公司防御系统,来检测公司员工的异常行为。这个防御系统可以看到员工的邮件往来网络,以及员工访问公司文件的日志。系统通过文件访问日志了解到,员工A,B,C只访问资源I,员工D,E,F,G则同时访问资源I和资源II。这时没有异常信息可以被检测到。接下来,系统通过邮件网络了解到:员工{A,B,C,D}处于一个团队,员工{E,F,G}则在另外一个团队。通过这2个视图,我们则可以检测到员工D的异常行为。因为第一个团队的{A,B,C,D}里只有他一人同时访问资源I和资源II,在这里我们可以把这个团队理解为项目I的开发部门。{E,F,G}则同时负责项目I和项目II(比如说管理角色)。对第二个团队来说,同时访问资源I和资源II是很正常的,而第一个团队的D则不应该访问资源II。我们可以看到有必要从两个不同的视图来判断员工D有异常行为。

半监督深度学习又小结之类协同训练 – 知乎

什么是多视图学习(Multiview Learning)? – 唐建威 – 博客园

多视图学习 (Multi-View Learning)_长路漫漫2021的博客-CSDN博客_多视图学习

Original: https://blog.csdn.net/weixin_43135178/article/details/126370613
Author: 马鹏森
Title: Multi-View Learning(多视图学习/多视角学习 )是什么? Co-training(协同训练)和它的关系

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/614743/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球