在刚刚过去的情人节这天，OpenAI曝光了两个重磅消息：一是提出了一种全新的代表当前最高水平的语言模型；二是终结了其与开源社区的爱情。

在被称为“自然语言处理的Imagenet时代”，研究人员一直在训练越来越庞大的语言模型，并用它们“迁移学习”其他任务，如问答和情感分析。例如fast.ai的ULMFit，OpenAI的GPT，AI2的ELMO，谷歌的BERT，以及现在的GPT-2，它是原始的Generative Pre-Training Transformer（GPT）的增强版本。

（Reddit上的经典讽刺）

OpenAI发布新研究并取得令人瞩目的成果，这一点都不令人惊讶。这个公告的特别之处在于OpenAI故意决定不完全开源他们的工作，理由是担心他们的技术会被滥用于垃圾邮件或虚假新闻等“恶意应用程序”。这在Twitter和Reddit等在线论坛上引发了一场争论，以及关于人工智能研究如何变得“太危险而不能发布”的媒体报道。

虽然OpenAI关注可能的滥用行为是正确的，但我不同意他们决定不开源GPT-2。理由有两点：首先，只有某些特定类型的危险技术才应该被通过限制访问得以控制；其次，在此分析的基础上，我认为不予公开完整的GPT-2模型不仅在安全方面是不必要的，而且也不利于AI技术的未来发展。

欺骗性和破坏性技术

我一般性地将有可能被滥用的现代技术归类为具有破坏性的技术或具有欺骗性的技术两类。破坏性技术主要运作在物理领域，例如化学武器、实验室设计的超级病毒、致命的自动化武器和原子弹等。

（世界毁灭者）

另一方面，欺骗性技术主要在我们的思想领域中运作，并且可能被大规模地滥用以操纵和控制人们，例如，Deepfakes、Photoshop，或回顾历史，互联网或印刷机都是这样的技术。除了自动化武器之外，对人工智能技术被滥用的担忧往往属于这一类。

（Deepfakes允许演员将面部表情叠加到其他人的脸上）

对于足够危险的破坏性技术，保护社会的唯一方法是严格限制使用（例如铀核武器）及相关知识（例如制造抗生素抗性细菌的说明）。如果没有其他控制机制，仅仅拒绝公布有关危险技术的细节是不够的：除非研究被某些外力强行阻止，否则技术进步的快速步伐会导致任何新的发现都将在几年甚至几个月内被独立复现。以这种方式限制技术是非常苛刻的，并且远非万无一失。恐怖分子总是有机会搜罗到足够的放射性物质制造出粗糙的炸弹，如果原子弹可以通过零件和易于在线获得的指令组装而成，地球将会成为坟场，而我们目前对此别无选择。

然而，对于欺骗性技术，还是有更有效的替代选择的。这就是将其强大的知识尽可能公开，而不是压制。虽然违反直觉，但这种控制方法依赖于我们认识到如果公众广泛意识到其操纵的可能性，那么欺骗性技术将丧失其大部分威力。虽然对核武器的了解不会使我免于后果，但对语音合成最近进展的认识将使我更加怀疑奥巴马会说中文。子弹不会歧视一个人的信仰，但是我对现代照片编辑的了解让我很难相信服普京能够骑熊。

（你可以在网上找到普京骑熊的照片）

举一个具体的例子，Photoshop，尽管它有可能导致混乱，但谢天谢地它并没有摧毁现代社会。

Photoshop：案例研究

当相机在19世纪被发明时，它被誉为记录历史的一种崭新且公正的方式。人们可以直接瞥见过去的公正记录，而不是依靠不可靠的二手信息来为自己重温这一时刻。

（斯大林从历史照片中删除了他的政治敌人）

在摄影的早期，人们并不知道照片可以被编辑。臭名昭着的独裁者约瑟夫斯大林利用这种无知，从根本上改写了历史。私人政敌被处决，接着从重要历史事件的照片中将其删除，期望最好没有人知道。政治宣传被贴在抗议者手中的标志上，制造了对政治意识形态的支持。这种技术使斯大林能够在不失去权力的情况下监禁并处死了数百万公民。

（重写的标语支持布尔什维克革命，其中包括“与君主制共处”这样的短语）

Photoshop于1988年发布后，人们自然会担心开放照片编辑技术会产生严重的滥用行为。三十年后，社会依然几乎毫发无损，尽管Photoshop很容易使用，并且因其无处不在而使其演变成一个动词。为什么呢？正因为每个人都知道Photoshop。对于深知其强大的人群来说，Photoshop仅适用于恶作剧，让缺席的朋友感觉被包括在团体郊游中，以及偶尔短暂的宣传噱头。相反，对于那些像一百年前那样认为照片是现实的不可改变的快照的人群来说，照片编辑是可以做出差异信息的最终宣传。

（你会相信上面的照片是ps出来而不是真实的吗? ）

尽管语音、文本和图像生成的最新进展可能会让一些人担心大灾难即将到来，但我相信这些技术将遵循与Photoshop类似的趋势：社会将学会变得更加有怀疑精神。

GPT-2的分析

具体来分析文本生成技术，OpenAI通过选择了一些模型生成的故事来证明GPT-2可能带来的危险。为方便起见，我在下面引用了他们给出的关于独角兽的示例故事中的两个片段。

提示：在一个令人震惊的发现中，科学家在安第斯山脉发现了一群生活在偏远的从未被探索过的山谷中的独角兽。更令研究人员惊讶的是，独角兽会讲完美的英语。

模型：这位科学家按照它们独特的头角给种群命名为奥维德独角兽。这些有银白色四角的独角兽以前不为科学所知。经过近两个世纪，现在这种奇怪现象的神秘面纱终于被揭开了。

请注意，这是多次运行模型并手动挑选的最佳样本，除此之外，提示本身也是挑选的。特别地，提示说英语的独角兽很容易掩盖更深层次的问题：生成通常被认为是无意义的句子更可能“拟合”无意义的提示。

即使考虑到上述情况，这个简短示例仍然存在严重的一致性缺陷。第一段话暗示独角兽只有一个角，而第二段则暗示它们有四个角。此外，尽管提示中指出独角兽的发现是最近的新闻，但生成的文本中第三句话暗示了独角兽是在两个世纪前被发现的。

这可能听起来像是在挑刺，但我认为这正是许多深度学习模型都会面临更深层问题的证据：GPT-2没有真正“理解”它正在生成的文本。生成一眼看上去合理的句子非常容易。例如，后现代主义的论文生成器和Mathgen可以使用上下文无关文法来生成“语法正确”却没有任何语义的句子。毕竟，对于不熟悉数学的人来说，下面的两个方程式看起来都像是胡言乱语。

生成有效的句子很容易，但生成一致性的句子却很难。

进一步检查非“樱桃采摘”式的原始输出揭示了类似的问题。为了公平对待OpenAI，GPT-2生成的结果比我见过的任何其他生成式语言模型都要好，但距离人类水平的一致性还有很长的路要走。至关重要的是，OpenAI展示的例子都没有达到被恶意机构直接滥用的水平。

此外，GPT-2并没有明显优于已开源的其他姐妹语言模型。 BERT证明了其双向编码器提供的性能比像GPT这样的单向语言模型要好，且与模型的大小无关。而OpenAI尚未发布类似的GPT-2与其他现有的模型的性能对比结果。由于他们也没有对模型进行微调，因此我们无法直接比较像自动摘要或翻译这样的下游任务的性能。

为什么开源完整模型很重要

有些人可能认为开源完整的模型是不必要的，仅仅披露研究结果就足够了。这种想法在某些方面是错误的。

人工智能研究的爆发部分归功于开源，因为研究人员可以在眨眼之间在现有研究的基础上持续迭代，而不需要从头开始重建先前的工作。作为人工智能研究中最具影响力的组织之一，OpenAI强大的开源历史无疑激励其他人也这样做。如果OpenAI的新政策扭转了这一趋势，其他研究人员可能会效仿，威胁到为我们的领域带来如此多利益的开源文化。

此外，开源鼓励向公众传播信息。通过开源，thispersondoesnotexist.com使其成为ProductHunt的顶级产品。通过开源，艺术家们制作了第一部由人工智能技术生成的作品，并在一次大型艺术品拍卖会上卖出了。虽然OpenAI的研究博客只有热心的机器学习从业者阅读，但基于开源的工作可以覆盖更广泛的受众，而这些受众不太可能看到原始的研究公告。

（这款GAN产生的肖像去年售出近五十万美元）

开源也确保了研究的合法性。在一个充斥着破碎希望的领域，研究人员可以通过检查开源代码来复制非凡的主张，这是至关重要的。 OpenAI的声誉确保了没有人会质疑这个特定的结果，无论它是否会开源，但这种声誉是建立在先前优秀的开源工作的基础之上的。请记住你不撒谎不能代表其他人也不会，并且没有办法验证，研究人员或公众都无法透过烟雾和镜子看到真相。

这并不是说一切都应该开源而不需要其他考虑，极其危险的破坏性技术永远都不应该轻易被获得。甚至对于特别危险的欺骗性技术，最好在论文发表和代码发布之间留足够的时间，以防止快速反应的恶意行为者在公众有时间全面处理新结果之前进行突然反应。如果OpenAI认为GPT-2会导致这样的结果，我会建议他们在不久的将来开源他们的模型。

最后的想法

人工智能研究从开源文化中获益匪浅。虽然大多数其他学科把最先进的研究成果锁在昂贵的付费墙背后，但任何拥有互联网连接的人都可以像斯坦福大学的教授一样进行同样的前沿AI研究，并且运行实验就像克隆开源代码库和租用只需几美分一小时的云端GPU一样简单。我们致力于通过公开发布学习材料、新的研究成果以及最重要的是我们项目的源代码来实现人工智能的民主化，这也是人工智能成为一个发展如此迅速的领域的原因。

我赞扬OpenAI推出了极为出色的新研究，推动了语言模型和文本生成的极限。我也感谢他们刻意思考并愿意参与急需的研究伦理讨论，尽管人工智能领域至关重要，但人们并不经常讨论这个问题。 OpenAI提出有关滥用AI的问题是正确的，但不正确地将其用作不开源研究的理由。

我真诚地希望2019年不会成为机器学习从一个开放系统转变为一个封闭系统的转折点，这样的封闭系统既不安全也不利于推动领域进步。 OpenAI，为了我们的未来，请开源您的语言模型。

原文链接：https://thegradient.pub/openai-please-open-source-your-language-model/

创作场景

向 OpenAI 喊话：语言模型啥时候开源？