写点什么

谷歌发布 TyDi QA 语料库,涵盖 11 种不同类型语言

  • 2020-02-10
  • 本文字数:1846 字

    阅读完需:约 6 分钟

谷歌发布TyDi QA语料库,涵盖11种不同类型语言

为了鼓励对多语言问答技术的研究,近日,谷歌发布了 TyDi QA,这是一个涵盖了 11 种不同类型语言的问答语料库。


本文已获原作者授权,InfoQ 整理并翻译。


问答技术帮助人们在日常生活中遇到问题时,如“乌贼的墨汁可以安全食用吗?”之类的问题,用户可以通过询问语音助理或键入搜索内容并期望得到答案。去年,我们向研究社区发布了英语版的自然问题数据集,以提供反映真实用户需求的挑战。然而,世界上还有成千上万不同的语言,其中许多语言使用非常不同的方法来构造语义。例如,在英语中,一个物体(“book”)和多个物体(“books”);而在阿拉伯语中,也有第三种形式表示,除了单数(“كتاب”,kitab)或复数(“كتب”, kutub)之外,还有表示两个物体 (“كتابان”,kitaban) 。此外,有一些语言,如日语,在单词之间并不使用空格。要创建这样一种机器学习系统,能够理解语言表达意义的多种方式,真不啻为一项挑战,而训练这样的系统,需要从它们将应用到的不同语言中获得样本。


为了鼓励对多语言问答技术的研究,今天,我们发布了 TyDi QA,这是一个涵盖了 11 种不同类型语言的问答语料库。在我们的论文《TyDi QA:不同类型语言中信息查询问答系统的基准》(TyDi QA: A Benchmark for Information-Seeking Question Answering in Typologically Diverse Languages)中描述,我们的语料库的灵感来自于类型多样性,这是一种概念,即不同的语言以不同的结构方式来表达意义。因为我们为这个语料库选择了一组在类型上彼此相距较远的语言,我们期望,在这个数据集上表现良好的模型,能够推广到世界上的大量语言。

类型多样的语言集

TyDi QA 包括了来自 11 种语言的超过 200000 个问答对,代表了一系列不同的语言现象和数据挑战。其中许多语言使用的是非拉丁字母,如阿拉伯语、孟加拉语、韩语、俄语、泰卢固语(Telugu)和泰语。还有一些单词的构成方式很复杂,如阿拉伯语、芬兰语、印尼语、斯瓦希里语(Kiswahili)、俄语等。日语使用四种字母,如:



由四种颜色表示,而韩文字母本身具有很强的组合型。这些语言的范围也很广,从网上有很多可用数据(如英语和阿拉伯语)到只有很少的数据(如孟加拉语和斯瓦希里语)。我们期望,能够应对这些挑战的系统将在许多语言中取得成功。

创建真实数据

研究社区使用的许多早期 QA 数据集都是这样创建的:首先给人们一篇文章,然后要求他们根据阅读文章的内容写出问题来创建。然而,由于人们在写下每个问题时都能够看到答案,这种方法产生的问题往往包含与答案相同的单词。因此,针对这类数据进行训练的机器学习算法更倾向于单词匹配,而忽略了满足用户需求所需的更细微的答案。


为了构建一个更自然的数据集,我们从那些想要得到答案但还不知道答案的人那里收集了问题。为了激发问题的灵感,我们向人们展示了维基百科(Wikipedia)用他们的母语写成的一段有趣的内容。然后,我们让他们提一个问题,任何问题都可以,只要我给他们看的内容没有回答,并且他们实际上想知道答案。这类似于当你在大街上闲逛时,你的好奇心可能会引发关于你所看到的有趣事物的问题。我们鼓励他们在提出问题时发挥想象力。比如,一篇关于冰的文章,会让你想到夏天的冰棒吗?棒极了!问问是谁发明了冰棒。重要的是,问题是直接用某种语言写就的,而不是翻译,因此许多问题不同于那些在英语版语料库中看到的问题。孟加拉语中有一个问题:“সফেদা ফল খেতে কেমন?”(人心果(Sapodilla)是什么味道?)从来没听说过人心果吗?这可能是因为人心果在印度比美国更常见。


对于这些问题中的每一个,我们在 Google 上用适当的语言搜索最匹配的维基百科的文章,并要求提问者在文章中查找并高亮显示答案。虽然我们预料到当提问者没有找到答案时,问题和答案之间会有一些有趣的分歧,但结合世界语言中惊人的广泛语言现象,我们发现情况甚至更为复杂。


例如,在芬兰语中,有一些有趣的例子,在问题和回答中,day 和 week 这两个词的表达方式就非常不同。要成功从整个维基百科文章中选择这个答案句子,系统需要能够识别出芬兰语词汇 viikonpäivät、seitsenpäiväinen 和 viikko 之间的关系。


作为研究社区共同取得进展

我们希望,这个数据集能够推动研究社区进行创新,为世界各地的用户创建更有用的问答系统。为了跟踪社区的进展,我们建立了一个排行榜,参与者可以在其上评估他们的机器学习系统的质量,我们还开源了一个使用该数据集的问答系统。要查看排行榜并了解更多信息,请访问挑战网站。


作者介绍:


Jonathan Clark,Google Research 研究科学家。


2020-02-10 14:372010
用户头像
陈思 InfoQ编辑

发布了 576 篇内容, 共 275.5 次阅读, 收获喜欢 1301 次。

关注

评论

发布
暂无评论
发现更多内容

医院智慧运营管理转型,到底应该如何推动?

用友BIP

大模型训练中的学习率设定与warm up策略

百度开发者中心

深度学习 大模型

神秘的SQL AST抽象语法树

张磊

sql AST 语法树

我终于学会的前端技能——代码调试、打断点

小白Coding日志

Vue 前端 vscode JavaScrip debugger

电脑网站支付报错“验签出错,建议检查签名字符串或私钥与应用公钥是否匹配”问题解决记录

盐焗代码虾

Java 支付宝报错 排查思路

从“用数据说话”到“让数据说话”,全面数据服务焕发酒店生意新生

用友BIP

数据资产

【云栖2023】姜伟华:Hologres Serverless之路——揭秘弹性计算组

阿里云大数据AI技术

大数据

大模型训练:量化策略与优质数据集的重要性

百度开发者中心

人工智能 大模型

「智造」第7期:浅谈工业生产设备采集方式

用友BIP

智能制造

大模型在数据分析场景下的能力评测|进阶篇

Kyligence

数据分析 指标平台

用友力量!三峡、中粮、云投等众多央国企成功上线数智化领先实践项目

用友BIP

企业数智化

Infuse for Mac(音视频播放器) 7.6.3永久激活版

mac

苹果mac Windows软件 Infuse 多媒体播放器

图像和文档透明显示软件 Overlay激活版最新

胖墩儿不胖y

Mac软件

冰点还原精灵Deep Freeze for mac

展初云

Mac 系统恢复 冰点还原精灵

阿里云宕机带来的稳定性思考

老张

混沌工程 全链路压测 稳定性保障

数据查询慢?别着急,读个执行计划定位优化下

NebulaGraph

性能优化 图数据库 NebulaGraph

IPQ9574 IPQ9554 /QCN9274 / QCN6274  limitless- speed, endless possibility, new WiFi 7

wifi6-yiyi

WiFi7 ipq9574

云服务器一年低至81元!2023双十一云服务器降价大盘点

学IT的小树叶

服务器 云服务器 阿里云服务器 海外云服务器

文心生物计算大模型重磅升级,构象预测准确度全面提升!

飞桨PaddlePaddle

大模型 文心 文心生物计算大模型

语言与图像预训练的强大模型

百度开发者中心

人工智能 深度学习 nlp

添添闺蜜机销量超12000台,市场领先优势进一步凸显

新消费日报

油猴Safari浏览器插件 Tampermonkey最新中文版

mac大玩家j

Mac软件 油猴插件

Microsoft 365 for Mac(原Office 365) v16.79正式版

展初云

Mac Office Microsoft 365 办公软件

从 MLOps 到 LMOps 的关键技术嬗变

Baidu AICLOUD

大模型 LLMOps 千帆大模型平台 LMops

TechTool Pro 18 for mac硬件监测和系统诊断工具

展初云

Mac 系统维护软件

基于 Amazon EKS 搭建开源向量数据库 Milvus

亚马逊云科技 (Amazon Web Services)

向量数据库 大语言模型

五大场景,助力煤炭行业设备资产数智化管理

用友BIP

资产管理

【专家观点】社会化架构支撑产业链服务

用友BIP

产业链

光纤接入网的方式有哪几种?

小魏写代码

谷歌发布TyDi QA语料库,涵盖11种不同类型语言_AI&大模型_Jonathan Clark_InfoQ精选文章