写点什么

谷歌发布 TyDi QA 语料库,涵盖 11 种不同类型语言

  • 2020-02-10
  • 本文字数:1846 字

    阅读完需:约 6 分钟

谷歌发布TyDi QA语料库,涵盖11种不同类型语言

为了鼓励对多语言问答技术的研究,近日,谷歌发布了 TyDi QA,这是一个涵盖了 11 种不同类型语言的问答语料库。


本文已获原作者授权,InfoQ 整理并翻译。


问答技术帮助人们在日常生活中遇到问题时,如“乌贼的墨汁可以安全食用吗?”之类的问题,用户可以通过询问语音助理或键入搜索内容并期望得到答案。去年,我们向研究社区发布了英语版的自然问题数据集,以提供反映真实用户需求的挑战。然而,世界上还有成千上万不同的语言,其中许多语言使用非常不同的方法来构造语义。例如,在英语中,一个物体(“book”)和多个物体(“books”);而在阿拉伯语中,也有第三种形式表示,除了单数(“كتاب”,kitab)或复数(“كتب”, kutub)之外,还有表示两个物体 (“كتابان”,kitaban) 。此外,有一些语言,如日语,在单词之间并不使用空格。要创建这样一种机器学习系统,能够理解语言表达意义的多种方式,真不啻为一项挑战,而训练这样的系统,需要从它们将应用到的不同语言中获得样本。


为了鼓励对多语言问答技术的研究,今天,我们发布了 TyDi QA,这是一个涵盖了 11 种不同类型语言的问答语料库。在我们的论文《TyDi QA:不同类型语言中信息查询问答系统的基准》(TyDi QA: A Benchmark for Information-Seeking Question Answering in Typologically Diverse Languages)中描述,我们的语料库的灵感来自于类型多样性,这是一种概念,即不同的语言以不同的结构方式来表达意义。因为我们为这个语料库选择了一组在类型上彼此相距较远的语言,我们期望,在这个数据集上表现良好的模型,能够推广到世界上的大量语言。

类型多样的语言集

TyDi QA 包括了来自 11 种语言的超过 200000 个问答对,代表了一系列不同的语言现象和数据挑战。其中许多语言使用的是非拉丁字母,如阿拉伯语、孟加拉语、韩语、俄语、泰卢固语(Telugu)和泰语。还有一些单词的构成方式很复杂,如阿拉伯语、芬兰语、印尼语、斯瓦希里语(Kiswahili)、俄语等。日语使用四种字母,如:



由四种颜色表示,而韩文字母本身具有很强的组合型。这些语言的范围也很广,从网上有很多可用数据(如英语和阿拉伯语)到只有很少的数据(如孟加拉语和斯瓦希里语)。我们期望,能够应对这些挑战的系统将在许多语言中取得成功。

创建真实数据

研究社区使用的许多早期 QA 数据集都是这样创建的:首先给人们一篇文章,然后要求他们根据阅读文章的内容写出问题来创建。然而,由于人们在写下每个问题时都能够看到答案,这种方法产生的问题往往包含与答案相同的单词。因此,针对这类数据进行训练的机器学习算法更倾向于单词匹配,而忽略了满足用户需求所需的更细微的答案。


为了构建一个更自然的数据集,我们从那些想要得到答案但还不知道答案的人那里收集了问题。为了激发问题的灵感,我们向人们展示了维基百科(Wikipedia)用他们的母语写成的一段有趣的内容。然后,我们让他们提一个问题,任何问题都可以,只要我给他们看的内容没有回答,并且他们实际上想知道答案。这类似于当你在大街上闲逛时,你的好奇心可能会引发关于你所看到的有趣事物的问题。我们鼓励他们在提出问题时发挥想象力。比如,一篇关于冰的文章,会让你想到夏天的冰棒吗?棒极了!问问是谁发明了冰棒。重要的是,问题是直接用某种语言写就的,而不是翻译,因此许多问题不同于那些在英语版语料库中看到的问题。孟加拉语中有一个问题:“সফেদা ফল খেতে কেমন?”(人心果(Sapodilla)是什么味道?)从来没听说过人心果吗?这可能是因为人心果在印度比美国更常见。


对于这些问题中的每一个,我们在 Google 上用适当的语言搜索最匹配的维基百科的文章,并要求提问者在文章中查找并高亮显示答案。虽然我们预料到当提问者没有找到答案时,问题和答案之间会有一些有趣的分歧,但结合世界语言中惊人的广泛语言现象,我们发现情况甚至更为复杂。


例如,在芬兰语中,有一些有趣的例子,在问题和回答中,day 和 week 这两个词的表达方式就非常不同。要成功从整个维基百科文章中选择这个答案句子,系统需要能够识别出芬兰语词汇 viikonpäivät、seitsenpäiväinen 和 viikko 之间的关系。


作为研究社区共同取得进展

我们希望,这个数据集能够推动研究社区进行创新,为世界各地的用户创建更有用的问答系统。为了跟踪社区的进展,我们建立了一个排行榜,参与者可以在其上评估他们的机器学习系统的质量,我们还开源了一个使用该数据集的问答系统。要查看排行榜并了解更多信息,请访问挑战网站。


作者介绍:


Jonathan Clark,Google Research 研究科学家。


2020-02-10 14:372036
用户头像
陈思 InfoQ编辑

发布了 576 篇内容, 共 277.0 次阅读, 收获喜欢 1301 次。

关注

评论

发布
暂无评论
发现更多内容

SpringBoot2---指标监控,Java架构师之路

Java 程序员 后端

网络攻防学习笔记 Day142

穿过生命散发芬芳

数据中心 9月日更

Opus从入门到精通(七)Opus编码基础之认识声音

轻口味

android 音视频 9月日更

架构实战营模块三

WolvesLeader

「架构实战营」

MySQL 从入门到实践,万字详解!

前端下午茶

MySQL 数据库 大前端

高峰应对记录

编号94530

Spring Boot 2 性能压测 测试发开 高峰应对

SpringBoot之配置文件,Java开发教程入门

Java 程序员 后端

springboot文件上传下载实战 ——文件上传,Java入门

Java 程序员 后端

架构实战营第八模块作业

子豪sirius

架构实战营

HarmonyOS 鸿蒙登录页搭建及 Text 文本详解

阿策小和尚

HarmonyOS Android 小菜鸟 引航计划 9月日更

云随想三 2B软件的机遇与挑战?

FLASH

云时代 2B软件

springboot文件上传下载实战 —— 登录功能,「高并发秒杀

Java 程序员 后端

0x00 Go参考

Uasen_

【LeetCode】最长递增子序列Java题解

Albert

算法 LeetCode 9月日更

SpringBoot-自动配置-源码解析,做了5年Java

Java 程序员 后端

Python 千猫图,简单技术满足你的收集控

梦想橡皮擦

9月日更

☕️【Java专题系列】「回顾 RateLimiter」针对于限流器的入门到精通(针对于源码分析介绍)

洛神灬殇

ratelimiter Guava 9月日更 限流器

SpringBoot整合Redis,怎么实现发布-订阅?,一个回答引发热烈讨论

Java 程序员 后端

架构训练营模块三

yphust

ES知识总结

十二万伏特皮卡丘

产品分析:解决什么问题?

石云升

产品经理 9月日更

这些 JS 中强大的操作符,总有几个你没听说过

前端下午茶

JavaScript 代码设计 代码技巧 基础知识

Linux常用命令

在即

9月日更

项目管理实践篇(二):技术型PM炼成记

后台技术汇

项目管理 管理 引航计划 内容合集 管理领域

模块八作业

秀聪

架构实战营

架构师训练营 2 期模块三作业

kazeMace

架构实战营

springboot文件上传下载实战 ——文件上传(1),想搞定大厂面试官

Java 程序员 后端

那段记忆中的声音:单式评书再现江湖背后的AI技术

脑极体

JVM启动参数学习笔记二

风翱

JVM 9月日更

JavaScript进阶(五)节流

Augus

JavaScript 9月日更

谈 C++17 里的 Observer 模式 - 3

hedzr

c++ 算法 设计模式 观察者模式 Design Patterns

谷歌发布TyDi QA语料库,涵盖11种不同类型语言_AI&大模型_Jonathan Clark_InfoQ精选文章