写点什么

微软开源 ONNX Runtime 模型以加速 Google BERT

  • 2020-01-22
  • 本文字数:979 字

    阅读完需:约 3 分钟

微软开源ONNX Runtime模型以加速Google BERT

微软人工智能研究院 1 月 21 日称计划开源 BERT 自然语言模型优化版本,该模型可以与 ONNX Runtime 推理引擎配合使用。在为 Bing 搜索引擎提供语言表达功能时,Microsoft 使用相同的模型来降低 BERT 的延迟。该模型“为 Bing 用户带来了最佳搜索体验” ,去年秋天发表的一篇论文中对该模型进行了详细介绍。



论文地址:https://azure.microsoft.com/en-us/blog/bing-delivers-its-largest-improvement-in-search-experience-using-azure-gpus/


公司发言人表示,这意味着开发人员可以使用 ONNX Runtime 和 Nvidia V100 GPU 大规模部署 BERT,而延迟只有 1.7 毫秒,这样的性能表现过去只能在大型科技公司中实现。


2017 年,微软与 Facebook 合作创建了 ONNX,以推动跨 AI 硬件(如半导体)和软件(如机器学习框架)之间的互操作性。BERT 优化工具增加了许多 ONNX Runtime 加速器,例如 Nvidia TensorRT 和英特尔 OpenVINO。使用 ONNX 标准意味着优化后的模型可以与 PyTorch,TensorFlow 和其他流行的机器学习模型一起运行,这种改善是得益于 Azure AI 与微软 AI 研究院的合作。


“由于 BERT 模型主要由堆叠 Transformer 单元组成,因此我们通过将多个基本运算符的关键子图融合到 CPU 和 GPU 的单个内核(包括自注意力层、LayerNormalization 和 Gelu 层)中来优化每个单元。微软高级项目经理 Emma Ning 在博客中称:“这大大减少了许多基本计算之间的内存复制。”



对于微软来说,这是其在自然语言领域取得的最新突破,但这并不是业界第一次尝试优化 BERT。大约一年前,Microsoft AI 研究人员还发布了 MT-DNN,一款基于 Transformer 提升 GLUE 语言模型性能基准的模型。


一位业内人士称,通过使用像 BERT 和 MT-DNN 等基于 Transformer 的模型,使自然语言模型在文本生成等任务中表现更优越,是 2019 年 AI 取得的最大成就之一。



微软在其他自然语言开发上也取得了一定进展。在 2019 年温哥华 NeurIPS 上,微软和浙江大学联合发布了语音合成系统 FastSpeech,与自回归的 Transformer TTS 相比,FastSpeech 将梅尔谱的生成速度提高了近 270 倍,将端到端语音合成速度提高了 38 倍,单 GPU 上的语音合成速度达到了实时语音速度的 30 倍。 在 2019 年夏季,微软还推出了会话 AI 助手工具包 Icecaps。


原文链接:


https://venturebeat.com/2020/01/21/microsoft-open-sources-onnx-runtime-model-to-speed-up-googles-bert/


2020-01-22 13:355223

评论

发布
暂无评论
发现更多内容

户外LED防水箱体:技术发展与市场趋势

Dylan

技术 性能 LED显示屏 户外LED显示屏

悦数图数据库推出 AI 知识图谱构建器及图语言生成助手

悦数图数据库

图数据库

【教程】混淆代码保护与优化

雪奈椰子

.NET Framework 服务实现监控可观测性最佳实践

观测云

.net

【论文速读】| 潜在越狱:用于评估大语言模型文本安全性和输出鲁棒性的基准测试

云起无垠

云效 AppStack + 阿里云 MSE 实现应用服务全链路灰度

阿里云云效

阿里云 微服务 云原生 云效

【教程】APP加固的那些小事情

雪奈椰子

FreeRTOS教程9 软件定时器

不在线第一只蜗牛

定时器 FreeRTOS

一站式测试解决方案,从人才到工具,我们全程护航!

测吧(北京)科技有限公司

测试

基于火山引擎 VCI 实现资源装箱率提升,助力企业云成本优化

Geek_2d6073

云效 AppStack + 阿里云 MSE 实现应用服务全链路灰度

阿里巴巴云原生

阿里云 微服务 云原生 云效

程序员必须了解的 10个免费 Devops 工具

EquatorCoco

DevOps 运维 开发

【教程】混淆代码保护与优化

✅到底有没有必要分库分表,如何考量的

派大星

MySQL 数据库 Java 面试

提升Java编程安全性-代码加密混淆工具的重要性和应用

雪奈椰子

软件全套资料:开发、实施、运维、安全、交付、立项、过程、结项、投标方案、资质评审等

金陵老街

详细设计 软件文档 规格说明

GPU云服务器的优势和应用

Ogcloud

gpu 服务器 云服务器 GPU实例 GPU云服务器

RocketMQ 流存储解析:面向流场景的关键特性与典型案例

阿里巴巴云原生

阿里云 RocketMQ 云原生

探讨Java代码混淆加固工具

雪奈椰子

【教程】为什么要为 App 应用加固 ?如何为 App 应用加固 ?

雪奈椰子

【教程】苹果iOS证书制作教程

雪奈椰子

终于有人讲清楚了!如何成为高价值的程序员

互联网工科生

【教程】uni-app iOS打包解决profile文件与私钥证书不匹配问题

雪奈椰子

海外舆情监控的重要性以及云手机的推荐

Ogcloud

云手机 海外云手机 云手机海外版 舆情监控

自己动手做一个批量doc转换为docx文件的小工具

快乐非自愿限量之名

C# doc docx

【教程】APP加固的那些小事情

雪奈椰子

易快报与国贸SAP秒同步,数据同步不再是难题!

聚道云软件连接器

案例分享

智能工厂核心功能系统-MES生产管理系统

万界星空科技

制造业 智能工厂 智能制造 mes 万界星空科技

ERPNext移动平均计价

麦兜

智能商品计划系统:鞋服品牌的未来价值引擎

第七在线

【教程】oc代码混淆_OC代码混淆工具

雪奈椰子

微软开源ONNX Runtime模型以加速Google BERT_文化 & 方法_KHARI JOHNSON_InfoQ精选文章