近日,在 MS MARCO 文本阅读理解挑战赛中,阿里 AI 创造了阅读理解能力测试的新纪录,并在开放域问答任务上超越人类阅读水平。
相关论文(英文原文)下载:
https://102.alibaba.com/downloadFile.do?file=1562069368386/A%20Deep%20Cascade%20Model%20for%20Multi-Document%20Reading%20Comprehension.pdfMS MARCO 挑战赛是 AI 阅读理解领域的权威比赛,包含100多万问题和近千万篇文档,参赛机构提供的 AI 模型需要从这些文档中找出100万个问题的正确答案。测试结果显示,阿里 AI 模型在文档检索排序和开放域自动问答两项任务都登顶榜首,其中在开放自动问答领域上超越人类水平,这意味着人工智能的阅读理解能力达到新的高度。这次评比也吸引了众多国际著名研究机构如微软、百度、FACEBOOK等参加。
与斯坦福大学发起的 SQuAD 挑战赛不同,MS MARCO 数据集模拟了搜索引擎中的真实应用场景,其难度更大,是机器阅读理解领域最有应用价值的数据集之一。MS MARCO 挑战赛需要参赛者提交的模型具备理解长文档多段落,并回答复杂问题的能力。对于每一个问题,MS MARCO 提供多篇来自搜索结果的网页文档,AI 需要通过阅读这些文档来回答用户提出的问题。但是,文档中是否含有答案,以及答案具体在哪一篇文档或段落中,都需 AI 自己来判断解决。
更难的是,有一部分问题无法在文档中直接找到答案,需要 AI 自由发挥做出判断。这对机器阅读理解提出了更高的要求,需要 AI 具备综合理解多文档信息、聚合生成问题答案的能力。
但阿里 AI 正在往人类思维模式接近。阿里巴巴的突破在于提出了基于“融合结构化信息 BERT 模型”的“深度级联机器阅读模型”,可以模仿人类阅读理解的过程,先对文档进行快速浏览,判断,然后针对相应段落进行精读,并根据“自己的理解”回答问题。其中,阿里巴巴自研的算法成果——“深度级联机器阅读模型”已被人工智能顶级学术会议 AAAI 2019收录。
阿里 AI 可以像人类一样在阅读并理解后快速应对天马行空的问题。比如阿里 AI 可以在毫秒内读完2亿字的巨著,相当于 5 本《大英百科全书》,并根据自己的理解快速回答100多万个不同领域的不同问题。例如2014年足球世界杯的冠军是谁?哈利波特在哪里上学的?什么是宇宙中最强的磁场?阿里 AI 可以分别迅速给出答案,无惧“连环追击”,这一研究水平可以应对高中英语阅读理解试题。
对人类而言,阅读是获取知识、不断进步的重要途径;对机器而言,同样如此。阿里AI 这一成果揭示了机器在理解大量复杂材料以及回答现实生活中复杂问题方面的潜力。这一技术已经应用在阿里巴巴的电子商务平台。例如,去年在 Lazada 一次线上促销活动前,阿里 AI 仅仅花了 30 毫秒就学会了25 个在印尼促销品销售中的所有规则,并成功应用到聊天机器人中,在活动中回答问题方面的准确率达到了 96%。
阿里巴巴达摩院语言实验室 (NLP) 团队致力与学术界、工业界同仁一起创新自然语言技术, 让商业没有语言障碍。团队二十余次在国际自然语言技术竞赛中取得冠军成绩:如2016年 CIKM Cup 电商搜索,2017年 IJCNLP 语法纠错,2017年美国标准计量局英文实体识别,2018年机器阅读理解首次超出人类回答精准率,2018年国际翻译大赛5项第一等。团队在杭州,北京,西雅图,硅谷和新加坡都在广泛招聘人才。