今天是:
设为首页 | 加入收藏

第十个No.1!哈工大讯飞联合实验室刷新国际大赛SQuAD2.0新纪录

来源:杭州市萧山区机电工程学会      发布时间:2018-11-28

科大讯飞的机器阅读理解能力再次进化。11月16日,在新揭晓的SQuAD2.0排行榜上,哈工大讯飞联合实验室团队(HFL)从谷歌(Google AI)、阿里达摩院(Alibaba DAMO)、微软亚洲研究院(Microsoft Research Asia)等业界翘楚中脱颖而出,获得今年的第10个世界冠军。 

第十个No.1!哈工大讯飞联合实验室刷新国际大赛SQuAD2.0新纪录1.jpg

SQuAD2.0最新榜单(截至2018.11.22) 


从1.1到2.0:测试高度再升级 


SQuAD(Stanford Question Answering Dataset)是认知智能行业内公认的机器阅读理解领域的顶级水平测试,通过吸收来自维基百科的大量数据,SQuAD构建了一个包含十多万问题的大规模机器阅读理解数据集,这使得在这个数据集上训练大规模复杂算法成为可能。 


本次参测的SQuAD2.0相比此前的SQuAD1.1,在基于篇章片段抽取的阅读理解任务的基础上进一步提高了解答难度,对机器阅读理解模型提出了新的挑战。其难度主要在于在新版本数据集中加入了“不可回答的问题”,即参赛团队所提交的机器阅读理解模型需要通过阅读篇章和问题,判断所提出的问题是否能够通过篇章内容进行回答,如果可以回答,则根据篇章中的内容作出答案;如果不可回答,则需要对题目进行拒答。 


认知智能新突破:科大讯飞再夺第一 


2018年对于以机器阅读理解为核心的认知智能来说是不平凡的一年,从上半年哈工大讯飞联合实验室在语义评测SemEval-2018和CGEG中相继夺冠到下半年Google提出的BERT模型在各类自然语言理解测试中频频刷榜,中西方智慧在交流中不断助力全球认知智能领域研究迈上新台阶。 


作为全球范围内较早启动机器阅读理解技术研究的团队,哈工大讯飞联合实验室阅读理解团队(HFL-RC)此前已多次荣登SQuAD榜首。在本次提交的系统中,哈工大讯飞联合实验室在吸收业界最新前沿技术的同时又加入了已有的原创核心技术,不仅将评测中的两项指标进一步提升到新的高度,还在各自单模型系统(Single Model)的对比中,以显著优势赢得胜利。 


第十个No.1!哈工大讯飞联合实验室刷新国际大赛SQuAD2.0新纪录2.jpg

哈工大讯飞联合实验室参赛提交系统一览 


从具体指标来看,哈工大讯飞联合实验室所提交的模型在EM指标(Exact Match,精准匹配率,预测答案和真实答案完全匹配,即机器给出的答案需要和人一样才算正确)上达到82.374,F1指标(F1-score,模糊匹配率,即将答案短语切成词,与人类答案共同计算回归率和准确性,如果机器模型的答案并没有完全匹配也可以得分,用以表示评测模型的整体性能)上达到85.310,进一步缩小了机器与人类认知水平在该数据集上的效果差距(EM:86.831,F1:89.452)。 


科大讯飞眼中的A.I.技术:技术+应用才是硬道理 


从去年开始,科大讯飞就已经从探索技术无人区的角度出发,开始尝试在阅读理解与问题拒答领域进行技术拓展,今年斯坦福大学将SQuAD评测推向2.0版本,进一步佐证了科大讯飞在自然语言处理等基础研究上的前瞻性。 


基于此前研究的积累,目前科大讯飞已成功将机器阅读理解技术融合于车载智能交互系统中,通过让车机阅读汽车说明书和其他介绍材料,车载系统就可以深度理解并掌握车型的具体情况,从而在用户提出问题时,针对用户问题做到及时、精确的反馈,并对说明书等材料中未涉及内容直接拒答,从而提高用户获取信息的速度,在未来技术进一步提升后,甚至还可以直接根据厂商所提供的资料,针对用户的问题作出具体且准确的答复。 


第十个No.1!哈工大讯飞联合实验室刷新国际大赛SQuAD2.0新纪录3.jpg

科大讯飞执行总裁胡郁在2017讯飞年度发布会上介绍智能车载系统中阅读技术的应用 


第十个No.1!哈工大讯飞联合实验室刷新国际大赛SQuAD2.0新纪录4.jpg

CMRC:引领中文机器阅读理解技术前行 


不仅在核心技术上持续深耕,积极参加SQuAD等国际性机器阅读理解比赛,哈工大讯飞联合实验室也同样持续关注和积极推动中文信息处理的研究发展。 


在过去的2017年和2018年,哈工大讯飞联合实验室先后承办了两届“讯飞杯”中文机器阅读理解评测(CMRC),受到了业界的广泛关注,吸引了众多研究人员积极参加。在赛后,哈工大讯飞联合实验室还发布了相关中文数据集。


放眼即将到来的2019年,科大讯飞与哈工大双方还将继续携手中国中文信息学会计算语言学专业委员会(CIPS-CL),承办相关中文评测活动,为研讨和传播最新学术和技术成果提供了高水平的平台,以期进一步促进和推动中文机器阅读理解研究。 


哈工大讯飞联合实验室 


哈工大讯飞联合实验室(HFL)是科大讯飞针对“讯飞超脑”项目计划,重点引进和布局的核心研发团队之一,由科大讯飞AI研究院与哈尔滨工业大学社会计算与信息检索研究中心(HIT-SCIR)共同创办。 


根据联合实验室建设规划,双方将在语言认知计算领域进行长期、深入合作,具体开展阅读理解、自动阅卷、类人答题、人机对话、语音识别后处理、社会舆情计算等前瞻课题的研究。重点突破深层语义理解、逻辑推理决策、自主学习进化等认知智能关键技术,支撑科大讯飞实现从“能听会说”到“能理解会思考”的技术跨越,并围绕教育、司法、人机交互等领域实现科研成果的规模化应用。 



Copyright©2016-2022杭州市萧山区机电工程学会版权所有 浙ICP备16025663号-1 技术支持:杭州巨创网络
联系地址:萧山通惠南路448号  联系电话:0571-82672671 免责声明