QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

机器学习翻译和谷歌翻译算法

  • 2017-08-20
  • 本文字数:2483 字

    阅读完需:约 8 分钟

机器翻译引擎的基本原理

谷歌机器翻译

Zero-shot:零次

Training:训练

Google Neural Machine Translation:谷歌神经机器翻译

我们每天都在使用不同的技术,但却不知道它们的工作原理。事实上,了解机器学习引擎并不容易。 Statsbot 团队希望通过本博客中的数据故事使机器学习更加清晰易懂。今天,我们来探讨一下机器翻译并解释谷歌翻译算法如何工作。

几年前,翻译未知语言文本是非常耗时的。使用简单的词汇逐词逐字翻译之所以困难,是由于以下两个原因:1)读者必须知道语法规则,2)在翻译整个句子时,需要记住所有语言版本。

现在,我们不需要太多的努力就可以将短语、句子、甚至是大段文本放在谷歌翻译中来翻译。但大多数人并不在意机器学习翻译的引擎如何工作。这篇文章专为那些在意的人而写。

深度学习翻译的问题

如果谷歌翻译引擎将短句的译文保留,则它将会由于可能出现的各种变数而无法工作。最好的方法是教会计算机语法规则,并让它根据这些规则来翻译句子。这听起来很简单。

如果你曾经学过外语,你就知道规则总是有很多例外的。当尝试捕获程序中的所有这些规则、例外和例外中的例外时,翻译的质量就会下降。

现代机器翻译系统采用了不同的方法:它们通过分析大量的 __ 文档 __ 来分配文本中的规则。

创建一个属于你自己的简单的机器翻译器可以作为任何数据科学家应聘简历中的一个重大项目

让我们来研究一下被称之为“黑盒”的机器翻译器中隐藏的东西。深层神经网络可以在非常复杂的任务(语音或视觉对象识别)中取得优异的效果,但尽管十分灵活,它们只能用于输入维数和目标维数固定的任务。

循环 **** 神经网络

而这正是长短期记忆网络(LSTM)派上用场的地方,LSTM 能帮助我们处理不能被先验知道的序列。

LSTM 是一种特殊的循环神经网络(RNN),它能够学习长期性的依赖关系。所有 RNN 看起来都像一连串的重复模块。

一个展开的循环神经网络

因此,LSTM 将数据从一个模块传输到另一个模块,另外,为了生成Ht,我们不仅使用Xt,还使用所有之前的输入值X。要了解有关LSTM 的结构和数学模型的更多信息,请阅读这篇非常棒的文章“了解LSTM 网络”。

双向RNN

我们的下一步是双向RNN(BRNN)。BRNN 将常规RNN 的神经元分成两个方向。一个方向是正向的时间或向前的状态。另一个方向是负向的时间或向后的状态。但这两个状态的输出并不与相反方向状态的输入进行连接。

双向循环神经网络

为什么BRNN 比相对简单的RNN 更好?请想象有一个9 个字的句子,而我们要预测第五个字。我们可以知道前4 个字,或前4 个字和最后4 个字。当然,第二种情况预测的质量会更好。

序列到序列

现在我们可以认识序列到序列模型(也称为seq2seq)了。一个基本的seq2seq 模型由两个RNN 组成即:处理输入的编码器网络和产生输出的解码器网络。

序列到序列模型

最后,我们便可以制作出自己的第一个机器翻译器了!

但是,让我们先思考这一点。谷歌翻译目前支持103 种语言,所以我们应该为每种语言提供103x102 个不同的模型。当然,这些模型质量的好坏会因为语言的普及程度和训练这个网络所需的文件数量而有所不同。我们可以达到的最佳情况是使一个NN(神经网络)能将任何语言作为输入并将其翻译成任何其他语言。

谷歌翻译

该想法谷歌工程师在2016 年底就实现了。NN 的架构基于谷歌已研究的seq2seq 模型之上。

但唯一的不同是编码器和解码器之间有8 层LSTM-RNN,且层与层之间仍有残留的连接,并有一些精度和速度上的调整。如果你想更深入地了解它们,请参考谷歌的神经机器翻译系统

该方法的主要特点在于,现在谷歌翻译算法对于每对语言只使用一个系统,而不是一个庞大的集合。

该系统在输入句子的开头需要一个“令牌”以指定你要将短语翻译成的语言。

这一改变提高了翻译质量,甚至可以在系统从未见过的两种语言之间进行翻译,这种方法被称为“零次(Zero-Shot)翻译”。

什么是更好的翻译?

当谈到谷歌翻译算法的改进和更好的结果时,如何才能正确地评估第一个翻译备选比第二个更好?

这不是一个无关紧要的问题,因为对于一些常用的句子,虽然我们有专业翻译器的参考翻译,但这些翻译仍然有一些差异。

很多方法能部分解决这一问题,但最流行和最有效的指标是 BLEU (双语评估替补)。想象一下,有两个来自机器翻译器的备选:

备选 1:Statsbot makes it easy for companies to closely monitor data from various analytical platforms via natural language. (Statsbot 通过自然语言使企业能轻松地密切监控来自各种分析平台的数据。)

备选 2:Statsbot uses natural language to accurately analyze businesses’ metrics from different analytical platforms.(Statsbot 使用自然语言准确地分析企业来自不同分析平台的指标。)

虽然它们有相同的含义,但质量和结构都不同。

我们再看看来自两个人的翻译:

参考 1:Statsbot helps companies closely monitor their data from different analytical platforms via natural language. (Statsbot 通过自然语言帮助公司密切监测来自不同分析平台的数据。)

参考 2:Statsbot allows companies to carefully monitor data from various analytics platforms by using natural language. (Statsbot 通过使用自然语言使企业能够密切监控来自各种分析平台的数据。)

显然,备选 1 更好,与备选 2 相比,备选 1 包括更多共同的单词和短语。这就是 BLEU 方法的一个关键思想。我们可以将备选的 n-gram (N 元语法)与参考翻译的 n-gram 进行比较,并计算它们的匹配数(匹配数与它们的位置无关)。我们只使用 n-gram 精度,因为在多个参考时计算查全率很难,而且结果是 n-gram 分数的几何平均值。

现在你可以开始评估复杂的机器学习翻译引擎了。下次当你使用谷歌翻译翻译某些内容时,可以想像一下:在给你最好的翻译版本之前,其实谷歌翻译已经分析了数百万份文档。

查看英文原文 https://blog.statsbot.co/machine-learning-translation-96f0ed8f19e4


感谢蔡芳芳对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们。

2017-08-20 19:004723

评论

发布
暂无评论
发现更多内容

苹果电脑软件开发工具:Xcode 15全新发布

Rose

编程开发 Xcode Mac版 Xcode 15

低代码无法取代程序员,但为什么很多程序员却反感低代码?

天津汇柏科技有限公司

程序员 低代码 数字化转型

cURL 命令全面解析:提高工作效率

Apifox

程序员 前端 后端 API curl

【干货】需求驱动的配货

第七在线

详细教程:如何制作产品介绍二维码(二)

草料二维码

二维码 草料二维码 干货分享

容器架构下的性能测试实践方法

老张

性能测试 容器化

keyshot2023怎么保存低版本(keyshot2023下载安装教程)

Rose

KeyShot2023pro安装包 keyshot2023下载

霍格沃兹测试开发学社,全方位的测试解决方案提供商

霍格沃兹测试开发学社

SnailSVN Mac版:从 Finder 的上下文菜单中快速访问各种最常用的 SVN 功能

Rose

Mac软件 SVN客户端 SnailSVN Pro下载 Subversion(SVN)客户端

抢先一步,获取最全测试开发岗求职攻略

霍格沃兹测试开发学社

如何使用 NFTScan NFT API 在 Blast 网络上开发 Web3 应用

NFT Research

API NFT\ NFTScan

一文了解TiDB的数据对比工具sync-diff-inspector

TiDB 社区干货传送门

实践案例

Puppeteer实践:复杂的问题简单化

南城FE

JavaScript 前端 nodejs puppeteer

Hype 4 Pro:打造惊艳HTML5动画与交互设计的全能之选

Rose

html5 网页制作 交互设计工具 Hype 4 Pro破解版 Hype 4 Pro下载

Yummy FTP Pro for mac中文直装版 最可靠的ftp文件传输工具

Rose

Mac软件 文件传输工具 ftp传输 Yummy FTP Pro 破解版 Yummy FTP Pro 下载

DApp 链上合约质押挖矿系统开发丨技术搭建

l8l259l3365

TIDB 分区表使用实践

TiDB 社区干货传送门

6.x 实践

人工智能如何让测试更智能更高效?

霍格沃兹测试开发学社

在 GraalVM 静态编译下无侵入实现可观测探索

阿里巴巴云原生

Java 阿里云 云原生

MES系统跟车间设备怎么连接?设备管理后的好处有哪些?

万界星空科技

数据采集 mes 设备管理 万界星空科技 智能设备管理

章文嵩等技术大咖共同探讨企业数据治理和降本增效策略运用!

AutoMQ

#云原生 KubeBlocks #Kafka #OceanBase #AutoMQ

Puppet 2024年度报告:平台工程发掘 DevOps 无限潜质

SEAL安全

DevOps 平台工程 puppet

金三银四 | 软件测试开发岗求职攻略来袭,快来抢先一步!

测试人

软件测试

数据本地性如何助力企业在云上实现高效机器学习

Alluxio

机器学习 gpu 模型训练 云存储 Alluxio

开源分布式数据库 TiDB 架构以及HTAP 的实现

TiDB 社区干货传送门

TiDB 底层架构

实时计算Flink集成开源连接器-TiDB CDC Connector案例实践

TiDB 社区干货传送门

实践案例 应用适配 数据库连接

AI力量:如何让测试更智能更高效

测试人

软件测试

教你用python爬取『京东』商品数据,原来这么简单!

技术冰糖葫芦

API 接口

机器学习翻译和谷歌翻译算法_语言 & 开发_Daniil Korbut_InfoQ精选文章