IBM 提出 8 位深度网络训练法，提速 4 倍同时保持高精度

AI 前线导读： 计算效率是人工智能的代表。在训练速度、准确性和能耗之间保持平衡并非易事，但最近硬件的进步让这个目标比以前更容易实现。举个例子：IBM 本周将在 NeurIPS 上展示一些新的人工智能训练方法，性能超过此前的最优表现。

这家位于纽约州阿蒙克的公司取得的第一个突破是加速数字技术，能够以 8 位实现全精度。第二个突破是用于模拟芯片的 8 位精密技术——这是 IBM 公司同类产品中实现的精度最高的技术，精确度提高了约一倍。

周二在蒙特利尔举行的 NeurIPS 2018 上，IBM 对这一技术作了详细介绍。

更多干货内容请关注微信公众号“AI 前线”（ID：ai-front）

“下一代 AI 应用程序需要更快的响应时间、更大的 AI 工作负载以及来自众多流的多模式数据。为了释放人工智能的全部潜力，我们正在重新以 AI 的思维设计硬件：从加速器到用于 AI 工作负载的专用硬件，如我们的新芯片，以及最终用于 AI 的量子计算，“IBM 阿尔马登研究所副总裁兼实验室总监 Jeffrey Wesler 在博客文章中写道。“利用新的硬件解决方案扩展 AI 是 IBM 研究所工作的一部分，从狭义的人工智能（通常用于解决特定的，定义明确的任务）转向通用人工智能，跨越各个学科，帮助人类解决我们最紧迫的问题。 ”

从相对高精度（16 位）浮点运算到低精度（8 位）FP 可能听起来违反直觉，但语音识别和语言翻译等任务并不一定非常严格。使用近似值可以显著提高电源效率和性能；正如 Wesler 解释的那样，使用 16 位精度引擎的“计算构建块”平均比具有 32 位精度的同类块小四倍。

在一篇名为《用 8 位浮点数训练深度神经网络》（Training Deep Neural Networks with 8-bit Floating Point Numbers）的论文中，IBM 研究人员描述了他们如何在将加法算术精度从 32 位降到 16 位的同时，在 ResNet50、AlexNet 和 BN50_DNN，以及一系列图像、语音和文本数据集模型中保持 8 位精度。他们声称，该技术可以将 16 位系统的深度神经网络的训练时间加速两到四倍。

第二篇论文 《带有投射式相变存储器的 8 位精度存储器内乘法》（8-bit Precision In-Memory Multiplication with Projected Phase-Change Memory）提供了一种补偿模拟 AI 芯片低固有精度的方法，使它们能够在标量乘法运算中达到 8 位精度，获得大致两倍的精度，同时比同类数字 AI 系统耗能少 33 倍。

该论文的作者提出内存计算作为传统内存的替代方案，担负起传统内存执行存储数据和处理数据的双重角色。架构调整本身就可以将能耗降低 90％或更多，且相变存储器（PCM）可以获得额外的性能提升，后者具有可以通过电脉冲修改的电导。这个属性使其能够执行计算，投射式 PCM（Proj-PCM）使 PCM 在很大程度上不受电导变化的影响，从而实现比以前更高的精度。

“研究团队取得的高精度表明，内存计算可能可以在低功耗环境中实现高性能的深度学习，例如物联网和边缘应用，”Wesler 写道。“与我们的数字加速器一样，我们的模拟芯片可以扩展到视觉、语音和文本数据集的 AI 训练和推理，以及新兴的广泛的 AI 应用中。”

原文链接：

https://venturebeat.com/2018/12/02/ibms-8-bit-ai-training-technique-is-two-to-four-times-faster-while-retaining-accuracy/

链接：http://t.cn/E28YBT9