本文简要介绍NAACL 2019录用论文“Graph Convolution for Multimodal Information Extraction from Visually Rich Documents”的主要工作。该论文主要针对视觉富文本数据的信息抽取问题，提出了一种图卷积网络，结合文本信息与视觉信息，取得了比纯文本方法更好的效果。
图1 视觉富文本数据示例
一、研究背景
信息抽取是从非结构化文本中提取结构化信息的过程，其作为一个经典和基础的自然语言处理问题已经得到广泛研究。传统的信息抽取聚焦于从纯文本中提取实体与关系信息，却较少有对视觉富文本的研究。视觉富文本数据是指语义结构不仅由本文内容决定，也与排版、表格结构、字体等视觉元素有关的文本数据。视觉富文本数据在生活中随处可见，例如收据、证件、保险单等，本文主要关心的是该类图片经过OCR后带坐标文字行数据的信息抽取。基于模板匹配的方法1[3]虽然可以结合文本与视觉信息，但是以收据为例一种数据可能有上千种模板，并且以图片为输入的系统伴随着变形、模糊、干扰信息等问题，每个模板都需要大量工程调优，其可扩展性很差。
二、方法原理简述
图2 视觉富文本数据建模
图2是本文对视觉富文本数据的建模方式。每张图片经过OCR系统后会得到一组文本块，每个文本块包含其在图片中的坐标信息与文本内容。本文将这一组文本块构成全连接有向图，即每个文本块构成一个节点，每个节点都与其他所有节点有连接。节点的初始特征由文本块的文本内容通过BiLSTM[4]编码得到。边的初始特征为邻居文本块与当前文本块的相对坐标与长宽信息，该特征使用当前文本块的高度进行归一化，具有仿射不变性。
图3 视觉富文本数据图卷积模型
图3是本文对视觉富文本数据使用的图卷积模型。与其他图卷积工作（GAT[5]等）仅在节点上进行卷积不同，本文认为在信息抽取中“个体-关系-个体”的三元信息更加重要，所以在“节点-边-节点”的三元特征组上进行卷积。本文同时引入了Self-attention机制[6]，让网络在全连接有向图构成的所有有向三元组中挑选更加值得注意的信息，并加权聚合特征。初始的节点特征与边特征经过多层卷积后得到节点与边的高层表征。
图4 图特征的BiLSTM-CRF解码
图4是本文使用信息抽取解码器，解码阶段将之前得到的节点高层表征与节点文本每个单字的特征表征拼接，使用经典的BiLSTM+CRF结构，输出单字级别的抽取结果。实验中使用Word2Vec生成单字的特征表征，并对单字进行IOB打标[7]。实验中同时对每个文字块所属的实体标签进行打标，并将节点高层表征输入Sigmoid分类器对文字块的实体标签进行判定，作为一个辅助任务同时进行训练。
三、主要实验结果
本文在两份真实商业数据上测试了方法的效果，分别为增值税发票（VATI，固定版式，3000张）和国际采购收据（IPR，非固定版式，1500张），其中OCR部分使用了阿里巴巴读光OCR团队的技术。本文使用了两个Baseline，Baseline I为对每个文本块的文本内容独立做BiLSTM+CRF解码，Baseline II为将所有文本块的文本内容进行“从左到右、从上到下”的顺序拼接后，对拼接文本整体做BiLSTM+CRF解码。
表1 整体F1score评价
表2 实体F1score评价
从表1和表2可以看到，本文提出的模型在Basline的基础上都有明显提升，其中在仅依靠文本信息就可以抽取的字段（如日期）上与Baseline持平，而在需要依靠视觉信息做判断的字段（如价格、税额）上有较大提升。
表3 模型简化测试（F1score）
表3为模型简化测试结果，进一步研究视觉信息（初始边特征）、文本信息（初始节点特征）与self-attention所扮演的作用。实验显示，视觉信息起主要作用，增加了语义相近文本的区分度。文本信息也对视觉信息起到一定的辅助作用。self-attention在固定版式数据上基本没有帮助，但是在非固定版式数据上有一定提升。
表4 辅助任务有效性验证（F1score）
表4为辅助任务有效性验证实验结果，可以看到辅助任务由于引入了更多信息，所以取得了更佳的效果。实验同时发现，引入辅助任务有助于网络训练更快收敛。
四、总结及讨论
1. 本文提出了一种用于视觉富文本数据信息抽取的图卷积网络，在图卷积网络抽取的特征上做BiLSTM+CRF解码，对比在独立文本块和拼接文本上做BiLSTM+CRF解码有明显的效果提升。
2. 本文标注了两个真实场景视觉富文本数据集，并进行了综合实验与分析，直观展现了视觉信息、文本信息、Self-Attention和辅助任务的作用。
3. 本文展现了处理视觉富文本的新思路，未来会应用于更多视觉富文本理解任务。
五、相关资源
• Graph Convolution for Multimodal Information Extraction from Visually Rich Documents 论文地址：
https://arxiv.org/pdf/1903.11279.pdf• GAT论文地址：
https://arxiv.org/pdf/1710.10903.pdf• Self-Attention论文地址：
https://arxiv.org/pdf/1706.03762.pdf参考文献
[1] Laura Chiticariu, Yunyao Li, and Frederick R Reiss. 2013. Rule-based information extraction is dead! long live rule-based information extraction systems! In Proceedings of the 2013 conference on empirical methods in natural language processing, pages 827–832.
[2] Andreas R Dengel and Bertin Klein. 2002. smartfix: A requirements-driven system for document analysis and understanding. In International Workshop on Document Analysis Systems,pages 433–444. Springer.
[3] Daniel Schuster, Klemens Muthmann, Daniel Esser, Alexander Schill, Michael Berger, Christoph Weidling, Kamil Aliyev, and Andreas Hofmeier. 2013. Intellix–end-user trained information extraction for document archiving. In 2013 12th International Conference on Document Analysis and Recognition,pages 101–105. IEEE.
[4] Mike Schuster and Kuldip K Paliwal. 1997. Bidirectional recurrent neural networks.IEEE Transactions on Signal Processing,45(11):2673.
[5] Petar Veliˇckovi´c, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Li`o,and Yoshua Bengio. 2018. Graph attention networks. International Conference on Learning Representations.
[6] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, ŁukaszKaiser, and Illia Polosukhin. 2017. Attention is all you need. In Advances in Neural Information Processing Systems, pages 5998–6008.
[7] Erik F Sang and Jorn Veenstra. 1999. Representing text chunks. In Proceedings of the ninth conference on European chapter of the Association for Computational Linguistics, pages 173–179.Association for Computational Linguistics.
__
原文作者：Xiaojing Liu, Feiyu Gao,Qiong Zhang, Huasha Zhao
**本文出处：
https://mp.weixin.qq.com/s/CwLN2SRyN7RTEFtNx3u8Pg**