大规模预训练模型在阿里机器翻译中的应用-InfoQ



 写点什么

导读：大规模预训练的提出对整个自然语言处理领域产生了较大的震动，几乎推动了所有子领域 state-of-the-art 的性能，均上升了一个档次，较多榜单已被刷榜。为什么在这些场景中没有机器翻译 ( MT ) / 自然语言生成 ( NLG ) 任务？训练神经网络过程中，通常是通过 t-1 时刻的 ground truth 来预测 t 时刻的输出，会涉及到暴露偏置 ( Exposure Bias ) 问题。在训练时有 ground truth，但在实际推断 Inference 时没有 ground truth。如何平衡训练和 Inference 两者差异性？需要提出更好的训练框架。

本次分享题目为大规模预训练模型在阿里机器翻译中的应用，主要从以下 3 个方面介绍：

预训练模型介绍及机器翻译的挑战
提出创新的 Framework，很好的融合机器翻译和预训练的模型：APT Framework
专门为机器翻译设计了一种创新的捕捉全局信息的网络结构：GRET

2 个工作均被 AAAI2020 接收。

01 背景介绍

1. 简介

大规模预训练的提出对整个自然语言处理领域产生了较大的震动，几乎推动了所有子领域 state-of-the-art 的性能，均上升了一个档次，较多榜单已被刷榜。通过从大规模无标注语料中学习知识，并用复杂网络进行建模，然后对下游任务微调来适应，这种方式已成为近期研究热点。较著名的模型有 ELMo、GPT、BERT、ERNIG 等，有趣的是它们都是美国著名儿童节目《芝麻街》里的卡通人物，ELMo 作者将模型起了一个容易被记住的卡通人物名字献给 3 岁的儿子，后续模型作者为了致敬前人故沿用了这种命名体系。

2. 代表性的预训练模型

ELMo：最早提出，通过 lstm 网络对语言模型任务建模，即通过前文来预测下一个词或前一个词。因为采用双向 lstm 建模，故每个词有两个 hidden states，把两个隐藏状态拼接之后就得到 language embedding，对于同一个词上下文不同它的 embedding 也不同。

OpenAI GPT：基本原理和 ELMo 相似，区别在于使用 Transformer 建模。

BERT：由谷歌提出，采用双向 Transformer 建模，可以同时看到左边和右边的词，并且提出 mask language model，next sentence prediction 等新方法，来将整个水平提高到新档次，为目前较主流模型。

其他：另外有一些 follow up 的工作，如微软 Big Bird，百度和清华的 ERNIE 等。

3. 模型应用领域

sentence classification：句子类目预测、QA 场景、命名实体识别和链接等。

最新阅读理解 SQuAD 评测榜单，还是 BERT 变种优势较大，且最高分已显著超越人类。

问题：为什么在这些场景中没有机器翻译 ( MT ) / 自然语言生成 ( NLG ) 任务？

02 在机器翻译上使用预训练模型的挑战

在机器翻译上使用预训练模型面临的挑战有：

小白：机器翻译模型最早应用 Transformer 的任务，已经非常成熟。而 BERT 也是基于 Transformer，所以在机器翻译中没有太多性能增益。
虽然较片面，但我们要思考，预训练模型解决了机器翻译的什么核心问题？
初级：预训练模型只在单语的领域，而在机器翻译双语领域不适用。
提出要求：如何从单语扩展到双语？
较成熟：从训练目标角度，预训练模型大多以语言模型为优化目标，但机器翻译有自己的优化目标，故两者差距较大。
如何融合不同任务？对预训练提出更高的要求。
本质：训练神经网络过程中，通常是通过 t-1 时刻的 ground truth 来预测 t 时刻的输出，会涉及到暴露偏置 ( Exposure Bias ) 问题。在训练时有 ground truth，但在实际推断 Inference 时没有 ground truth。
如何平衡训练和 Inference 两者差异性？需要提出更好的训练框架。

03 2 个工作

今天主要分享我们在机器翻译上的 2 个工作，2 个工作均被 AAAI2020 接收：

提出创新的 Framework，很好的融合机器翻译和预训练的模型；
专门为机器翻译设计了一种创新的捕捉全局信息的网络结构。

04 APT Framework

1. 动机

前面提到预训练模型在 NLP 很多领域均取得成功，说明：

从预训练模型提取的上下文信息对语言理解有益。
预训练模型由大规模单语料学习的，而这些语料通常在机器翻译领域被忽略，因为机器翻译主要利用平行双语料来训练，因此它俩在知识结构中是很好的补充，motivation 正确。

但是，在机器翻译领域中对预训练的增益还是有很多质疑，简单的融合效果并不好。

2. APT Framework

为此，我们提出 APT framework，一种新型的融合方式。主要的思路：

Encoder 端：可以一直完整的得到单句的输入，所以可以直接使用预训练模型来计算 Embedding。要注意的是，预训练的 Embedding 和机器翻译的目标不同，故需要将其转换成相关的 Embedding；机器翻译也产生 Embedding，需要在这两种 Embedding 间控制它们信息融合的比例。

Decoder 端：神经机器翻译是自左向右生成翻译的，故目标端没有完整的 ground truth 供预训练模型计算 Embedding，为了解决暴露偏置问题，需要使用知识蒸馏和多任务学习来解决。好处是能直接从预训练模型隐藏学习知识，同时可以让机器翻译的概率分布去拟合预训练的概率分布。

3. 方法

具体来说，提出两种机制：

① 动态融合机制

a. 目的是将预训练模型转换成任务强相关表示，如图所示，我们设置一组和任务相关参数，会跟随整个任务进行微调，使预训练 Embedding 更加适应特殊的任务。

b. 控制机器翻译 Embedding 和预训练 Embedding 融合的比例：

提出层级 Attention 机制。机器翻译 Embedding 和预训练 Embedding 是多层结构，底层基于词级别，高层是语义信息。故通过层级 Attention 对预训练 Embedding 进行整合，整合之后再输入都 Transformer 对应的层当中，通过此方式区别层与层之间的语义关系。