OpenAI 又搞新动作！新型神经网络模型 MuseNet 让所有人都能玩转音乐

今日，OpenAI——由诸多硅谷大亨联合建立的非营利性人工智能研究组织——对外发布了一款新型深度神经网络模型 MuseNet，该模型不但可调用 10 种不同乐器生成时长约 4 分钟的音乐作品，而且能够融合从乡村到莫扎特再到披头士等各种音乐风格。

据悉，MuseNet 并非基于我们对音乐的理解进行编曲，而是通过学习预测数十万 MIDI 文件中下一个音符，来找到和声、节奏和曲风的模式。与 GPT-2 相似，MuseNet 同样采用多功能无监督技术。GPT-2 是一种大规模 transformer 模型，经过训练即可预测音频以及文本序列中的下一个音符。

邀你试玩 MuseNet

打开 MuseNet，进入简单模式（显示为默认值），你将听到该模型预先随机生成的音乐样例。然后自行选定一个作曲家或风格，从一段名曲里选择一个起始位置，即可开始生成音乐，它允许用户探索该模型可以创建的各种音乐风格。进入高级模式，用户则可以与模型直接进行交互，当然这样一来，一首乐曲会耗费更多的创作时间，但最终却可以生成一部全新的作品。

MuseNet 所掌握的曲风众多，因此能让音乐玩家用新颖的方式将几代音乐人融合在一起。比如，我们在模型中选取肖邦夜曲的前 6 个音符，并输入命令，要求生成一个由钢琴、鼓、贝斯和吉他演奏出的流行音乐作品，MuseNet 最终就能将两种曲风完美交融，并让乐队在 30 秒左右插入。

OpenAI 方面介绍说，在现阶段，初版的 MuseNet 曲库只收录了部分作曲家，非常欢迎音乐家和普通玩家在 5 月 12 日之前进行免费体验，也期待看到大家如何用 MuseNet 玩转音乐，随后，OpenAI 将根据玩家的反馈对模型进行优化。

作曲家和器乐曲谱写 token 为音乐玩家赋能

为给用户赋能，让用户能够更加灵活地控制 MuseNet 生成的样例，研发团队还创建了作曲家与器乐曲谱写 token。在训练期间，这些作曲家与器乐曲谱写 token 会被预先添加到每个示例中，因此模型将学会使用这些信息来预测音符。在乐曲生成时，通过诸如“拉赫玛尼诺夫钢琴开头”这样的提示符，就可以开始训练模型根据所选风格来创建样例了。然后，可通过将 MuseNet 嵌套可视化，来深入了解该模式已经学会了什么。

初版 MuseNet 尚存两点局限性

但 OpenAI 也坦诚，目前这款音乐生成工具只是初具雏形，MuseNet 的局限性包括：

首先，用户需要明确一点，对 MuseNet 而言，他们在模型中所选择的乐器仅仅是建议，而非是一定被满足的要求。这是因为 MuseNet 生成的每一个音符都是通过对所有音符和乐器的组合概率进行计算方才确定。虽然该模型会尽力调整，以便使用户所做的乐器选择成为可能，但这并不能保证它不会做出别的选择。

另外，当用户选择的曲风和乐器组合起来比较古怪时，比如，选择贝斯和鼓来演绎肖邦，这可就给 MuseNet 出了难题。所以，选择与作曲家或乐队原始风格最接近的乐器，模型最后生成的作品才会更加自然。

历数 OpenAI 的那些研发成果

OpenAI 是一家非营利性人工智能研究组织，正式成立于 2015 年 12 月，总部位于旧金山。区别于以盈利为目的的传统企业，OpenAI 致力于将其研究的内容进行开源分享，立足于最大限度造福全人类的目的来发展人工智能。

回顾这些年，OpenAI 也确实言出必行，研发成果源源不断。

• 2019 年 4 月，开发出一种深层神经网络 Sparse Transformer，能够预测序列中接下来将要出现的内容——包括文本、图像以及声音等。其利用 attention 机制的改进算法，能够在相当于以往最大周期的 30 倍的长序列当中提取模式。

• 2019 年 3 月，发布大型强化深度学习模拟器 Neural MMO，一款”大型多角色”虚拟训练场景游戏，把 AI 代理放进一个类似于 RPG（角色扮演游戏）的模拟场景中，AI 们会互相竞争，通过战争来抢夺有限的资源，从而得到优化。

• 2019 年 2 月，创建文本生成器 GPT-2，该自然语言模型经过 40 千兆字节互联网文本样本的训练，可预测下一个单词。

• 2018 年 3 月，发布一种元学习算法 Reptile。该算法通过对任务进行重复采样并执行随机梯度下降，将初始参数更新为在该任务上学习到的最终参数。OpenAI 官博表示这种方法与 MAML（一种广泛适用的元学习算法 ）一样好用，但执行起来更简单，计算效率更高。

• 2016 年 5 月，发布开源人工智能研究工具集 OpenAI Gym 的公开测试版本，该工具集用于开发和对比强化学习（RL）算法，这是现代机器学习研究的基础。

但随着 OpenAI 于上个月在官方博客宣布进入重组状态，成为一家“有限利润（capped-profit）”的公司，不少业内人士均表示担心，此举是否会造成 OpenAI 在未来不再继续 Open ？也许，只有保持研究成果的持续开源，才能逐步打消人们心中的顾虑。

而本文这款新型深度神经网络模型 MuseNet 的发布，以及邀请大众自由参与、免费体验的开放态度，无疑是继重组架构风波后，OpenAI“自证清白”的有力一步。

参考链接：

https://openai.com/blog/musenet/