MIL-Bayesian Graph Neural Networks论文评述
| 文章《Bag Graph: Multiple Instance Learning using Bayesian Graph Neural Networks》 https://www.aaai.org/AAAI22Papers/AAAI-8577.PalS.pdf 作者：Soumyasundar Pal, Antonios Valkanas, Florence Regol, Mark Coates 引用方式：Pal, Soumyasundar, et al. “Bag Graph: Multiple Instance Learning using Bayesian Graph Neural Networks.” Proc. AAAI Conf. on Artificial Intelligence. 2022. |
论文评述：唐子铭
（整理自多示例贝叶斯图讨论材料。）
2022-10-15
一、 论文主要研究内容和结果：
该工作结合神经网络多示例学习模型(MIL)和贝叶斯-图形神经网络(Bayes-GNN)模型提出了一种端到端的多示例MIL学习体系架构，该方法能够有效地解决包之间存在关系的相互作用对多示例模型结果的影响。
1. 算法建模目标：算法建模目标为$p(y_V | Y_L, X_V, G_{obs})$，换言之，利用图的观测值$G_{obs}$，包的示例Instance的表示$X_V$, 和训练集$L$中的包标签$Y_L$来对整个图的节点集合V进行标签值计算。
我们做个类比：V是全校学生，Z_i 是第i个学生的包Bag嵌入，X_i是第i个学生的示例嵌入（MIL用来将X_i转换为Z_i）, y_i是第i个学生的状态标签。L是某学院的学生群体，做为测试集，标签已知。G_obs是全校学生之间的社交网络。
2. 算法思路：为了对建模目标进行计算，该算法将一个概率图模型（PGM）与一个GCN提供的MIL包表示学习相结合结合起来。其中，PGM以$G_{Obs}$, $y_L$为观测值，图$G$视作隐变量，GCN中的参数$W$亦被视作隐变量。将包i的MIL嵌入Z_V当作Bridging变量，连通PGM和MIL。
算法通过MAP获得图G的最大后验$\hat{G}$, 以类似“跷跷板”的方式，来回训练MIL部分参数和PGM部分参数。
3. 算法效果：实验结果表明：在MIL标准数据集上的性能与最新的技术相当，并在文本分类、选举结果预测和租金价格回归的实例实验中的结果表明此模型的优化效果显著。
二、论文中使用的模型方法及参考
- 基于神经网络的MIL模型(e.g., Deep Sets Zaheer et al. 2017)；
- Transformer ((Lee et al. 2019) 用于包中示例相互影响的建模；
- 贝叶斯框架的引入，考虑真实图的后验推断；
- 图的非参数模型(Pal et al. (2020))，解决参数随机图模型选择困难的问题；
- Bayes-GNN中的GNN用于学习图拓扑来表示包之间依赖关系和分配标签；
- 使用GCN(Kipf and Welling 2017)进行实例实验。
三、对论文工作的评价
该工作中Bayes-MIL的把观测图视为真实图的抽样，真实图视为变量的方法思想对于探索关系复杂的预测图模型有不错的效果，尤其是考虑将我们现有的网络视为观测图时，去噪得到的真图及预测很可能有不错的效果。
该工作的框架允许从数据中推断图，把观测(Obs)数据得到的图视为有噪声的图，使用Bayes-GNN框架应对包之间可能存在的关系，或许可通过该文真实图的后验推断的思想，在真图中得到更多优质连边或可信预测。
Jingbo's BioNLP Lab 