开放域问答（QA）是自然语言理解（NLU）中的基准任务，旨在模拟人类查找信息，通过阅读和理解整个文档来查找答案的过程。举例来说，对于一个用自然语言表达的问题（“为什么天是蓝色的？”），QA 系统应该能够做到在阅读网页（例如维基百科页面）之后返回正确的答案，即使答案有点复杂和冗长。
然而，目前业界仍没有足够大且公开可用的自然问题来源（即人们为找寻信息而提出的问题）以及可用于训练和评估 QA 模型的答案。这是因为汇集用于问答的高质量数据集需要大量的实际问题来源，并耗费大量人力寻找正确答案。
为了促进 QA 的研究进展，我们很高兴地宣布开放自然问题（NQ，Natural Questions），这是一个用于训练和评估开放域问答系统的新型大型语料库，也是第一个模仿人类寻找答案整个过程的语料库。NQ 规模巨大，包括 300,000 个自然发生的问题，以及来自维基百科页面带有人类注释的答案，用于训练 QA 系统。另外，该语料库还包括 16,000 个示例，其中 5 个不同的注释器提供了答案（针对相同的问题），这对于评估经过学习的 QA 系统的性能非常有用。回答 NQ 中的问题需要比回答普通问题需要更加深入的理解——这对于计算机来说已经非常容易。此外，我们还宣布发起一个基于这些数据的挑战，以推进计算机自然语言理解发展。
数据
NQ 是首个使用自然发生提问的数据集，它通过阅读整个页面来查找答案，而不是从短段中提取答案。为了创建 NQ，我们从用户在 Google 搜索引擎中进行的真实、匿名、汇总的查询开始。然后，我们让注释器通过阅读整个维基百科页面来寻找答案。注释器会查找涵盖可能推断出答案需要的所有信息的长答案，以及用一个或多个名称简洁地回答问题的简短答案。经测试，NQ 语料库中的注释质量准确度已达 90％。
我们的论文《Natural Questions：问答研究的基准》已在计算语言学协会发表，它完整地描述了数据收集过程。查看数据集中的更多示例，请查看NQ网站。
挑战
NQ 旨在使 QA 系统能够阅读和理解整篇维基百科文章，但该文章不一定包含问题的答案。系统需要首先判断问题是否定义完好，可以找到答案，因为许多问题都是错误的假设，或者过于含糊不清，无法得到简明扼要的回答。然后，NQ 需要确定维基百科页面中是否包含推断答案所需的信息。我们认为，长答案识别任务，即找到推断答案所需的所有信息，需要更深层次的语言理解，而不是在知道长答案之后再找到简短答案。
我们希望 NQ 的发布以及相关的挑战将有助于推动开发出更有效和更强大的 QA 系统。我们鼓励 NLU 社区参与，已缩小当前最先进方法的表现与人类最优表现之间的巨大差距。你可以访问挑战赛页面查看排行榜，了解更多信息。
原文链接：
暂无签名
Java 避坑指南：Java 高手笔记代码篇
本迷你书包括 86 个业务开发中常见踩坑点。每一个知识点都相当的实用，是程序员业务开发中的必备避坑指南...
评论