标题：可解释的视觉问题回答的概率神经符号模型
来源：ICML 2019https://proceedings.mlr.press/v97/vedantam19a.html
代码：https://github.com/kdexd/probnmn-clevr
一、问题提出
neural-symbolic模型是神经和符号网络模型的结合。
神经网络参数的灵活可以挖掘到跟多的信息，但是缺乏解释性；
符号网络缺乏灵活的学习能力，但支持很强的泛化和系统性，且更加直观可解释。
本文从NMN出发，结合neural和program，深入探讨模型的推理能力。
对于VQA的image i 和question x, 生成一个程序program z, 利用program制定推理过程，使用神经网络进行具体运算。
例子：该例子中，基于问题，program首先从场景中过滤出cylinder和cube两个关键词，应用filter[cube]算子并关联[left]，之后和filter[cylinder]一起预测答案。
在构建program的过程中，将会动态产生一组参数θ，每一个参数代表一个模块。
本文的内容是在神经符号模型中引入了概率公式，通过这样的表达式，期望该模型满足可解释推理模型的一些自然需求。
二、主要思想
问题形式化定义：
输入图像：(i\in\ R^{U\times V})
输入问题：(x=\left(x_1,…,x_t\right),\ \ x_t\in\ X)
回答：(a\in\ A)
前缀序列化程序program：(z=(z_1,…,z_t)\in\ Z)，其中给定符号(z\in\ Z)，有一个对应的神经网络（后续可以动态的实例化神经网络）和参数(\theta_z)（给定z，这些都是确定的）。——该步定义类同于NMN神经模块网络中的模块
采用的数据集：
[D={x^n,z^n}\cup{x^m,a^m,i^m} ]
({x^m,a^m,i^m})：VQA数据集
({x^n,z^n})：指引数据集，需要人工标注（为了探索模型的学习效果，期望N<
Original: https://www.cnblogs.com/jiojio-star/p/16123055.html
Author: jiojio-star
Title: 论文阅读：《Probabilistic Neural-symbolic Models for Interpretable Visual Question Answering》
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/807324/
转载文章受原作者版权保护。转载请注明原作者出处！