写点什么

Hugging Face 大语言模型优化技术

  • 2023-10-07
    北京
  • 本文字数:1303 字

    阅读完需:约 4 分钟

大小:684.82K时长:03:53
Hugging Face 大语言模型优化技术

大语言模型的生产部署存在两个主要的挑战,一个是需要大量的参数,一个是需要处理非常长的用于表示上下文信息的输入序列。Hugging Face 基于他们提供大模型服务的经验分享了一些克服这些障碍的技术


Patrick von Platen 在文中介绍的 Hugging Face 研究的三种技术是降低数值精度、使用一种叫作 Flash Attention 的注意力算法,以及使用专门的推理架构


大语言模型需要大量的 VRAM 来加载,从几十(bigcode/starcoder)到数百 GB (Llama、Bloom、GPT3)。第一个优化手段是从float32切换到bfloat16精度:


现在几乎所有的模型都是基于 bfloat16 训练的,如果你的 GPU 支持 bfloat16,就没有理由基于全 float32 精度运行模型。float32 不会给出比训练模型所使用的精度更好的推理结果。


这可以使总体内存消耗减少一半,但可惜的是,在许多情况下仍然需要很大的内存。一种更激进的方法是将模型权重量化为 8 位或 4 位,这已经被证明不会导致显著的性能下降


量化对于文本生成来说特别有效,因为我们所关心的是选择最有可能的下一个标记集合,而不是下一个标记 Logit 分布的确切值。


这将进一步减少所需的内存,使得在只有 16GB VRAM 的 GPU 上运行较小的模型成为可能,尽管代价是推理时间稍长。


von Platen 写道,使用Flash Attention是另一相关键的优化,它是大语言模型用来理解输入标记上下文关系的自注意力层的一种算法,有可能打破输入标记数量的二次增长。


因为该算法太过复杂,无法在这里描述,但可以这么说,它利用了 softmax 规范化统计数据和一些数学手段,在只需要随输入标记线性增长的内存的情况下提供相同的输出。推理性能也得益于算法使用了更快的 SRAM 而不是更慢的 GPU VRAM。


在实践中,目前绝对没有理由不使用 Flash Attention。该算法在数学层面给出了相同的输出,并且速度更快,内存效率更高。


Here recent research can help to make the right choice with two components that quickly become bottlenecks, says von Platen, _positional embeddings_ and the _key-value cache_.


在生产环境中部署大语言模型的第三项优化措施是选择正确的架构,让它们能够有效地处理长文本输入。von Platen 写道,最近的研究有助于我们如何对两个很快成为瓶颈的组件做出选择——一个是_位置嵌入(positional embeddings)_,一个是_键值缓存_。


位置嵌入通过将每个标记的位置编码为数字表示来帮助语言大模型理解序列顺序。对于需要处理大型文本输入任务的大语言模型,应该使用RoPEALiBi等相对位置嵌入技术进行训练。


RoPE 和 ALiBi 位置编码都可以外推到训练期间未遇到过的输入长度,而事实证明,与 RoPE 相比,外推对于开箱即用的 ALiBi 的效果要好得多。


目前的许多大语言模型中已经在使用这两种算法。


键值缓存可以作为对对话上下文进行编码的一种方法。键值缓存在发生每个新交互时增加一个元素,这比为每个请求编码/解码上下文的方法要有效得多。von Platen 详细介绍了两类键值缓存,即Multi-Query-Attention (MQA)Grouped-Query-Attention(GQA)


von Platen 的文章所涵盖的内容不只有本文所概述的这些,他的文章中还提供了实际的例子来证明他的观点,所以请不要错过他的文章。


原文链接

https://www.infoq.com/news/2023/09/hugging-face-optimizing-llms/

2023-10-07 10:223857

评论

发布
暂无评论
发现更多内容

商汤“万象”:AI的“超级工具箱”,开发者的新宠儿!

商汤万象开发者

AI

片段式代码VS完整工程生成:飞算JavaAI如何让开发者告别碎片化开发?

飞算JavaAI开发助手

一天成为Java开发高手:用飞算JavaAI实现十倍提效

飞算JavaAI开发助手

域名服务器有哪些不同类型?

伤感汤姆布利柏

【签约快讯|天润融通签约味全】

天润融通

YashanDB环境变量

YashanDB

数据库 yashandb

YashanDB用户操作

YashanDB

数据库 yashandb

天润融通推出DeepSeek私有化部署方案,助力企业提升服务体验

天润融通

AIBrix: 专为 vLLM 打造的可扩展、高性价比控制面

字节跳动开源

云原生技术 大模型推理优化 开源AI基础设施 分布式系统架构 企业级AI工程化

修改DNS解析记录多久生效?

国科云

远程办公网络访问优化指南

Ogcloud

SD-WAN 企业组网 企业网络 异地组网 远程办公网络

融云数据监控平台「北极星」教程,聊天室洪峰、连接异常、消息未达正确解法

融云 RongCloud

YashanDB客户端安装

YashanDB

数据库 yashandb

明晚见:快速上手 IoTDB 树表双模型,功能/场景直播详解!

Apache IoTDB

AI生成表单│告别重复劳动,用AI对话生成你的专属业务表单

引迈信息

RocketMQ 可观测性最佳实践

观测云

RocketMQ

YashanDB实例启停

YashanDB

数据库 yashandb

飞算JavaAI代码生成实战:如何用AI技术减少70%重复编码

飞算JavaAI开发助手

YashanDB服务端安装

YashanDB

数据库 yashandb

低延迟、高适配!天翼云 ECX 与 DeepSeek 共筑智能新生态!

科技热闻

文献解读-Integrative Genomic Analysis of Drug Resistance in MET Exon 14 Skipping Lung Cancer Using Patient-Derived Xenograft Models

INSVAST

基因测序 肿瘤测序 Sentieon GATK 生物信息分析服务

低代码平台:数字化时代的开发加速器与业务创新引擎

万界星空科技

低代码 低代码开发 低代码平台 mes 万界星空科技低代码平台

Hugging Face 大语言模型优化技术_生成式 AI_Sergio De Simone_InfoQ精选文章