AICon上海|与字节、阿里、腾讯等企业共同探索Agent 时代的落地应用 了解详情
写点什么

Hugging Face 大语言模型优化技术

  • 2023-10-07
    北京
  • 本文字数:1303 字

    阅读完需:约 4 分钟

大小:684.82K时长:03:53
Hugging Face 大语言模型优化技术

大语言模型的生产部署存在两个主要的挑战,一个是需要大量的参数,一个是需要处理非常长的用于表示上下文信息的输入序列。Hugging Face 基于他们提供大模型服务的经验分享了一些克服这些障碍的技术


Patrick von Platen 在文中介绍的 Hugging Face 研究的三种技术是降低数值精度、使用一种叫作 Flash Attention 的注意力算法,以及使用专门的推理架构


大语言模型需要大量的 VRAM 来加载,从几十(bigcode/starcoder)到数百 GB (Llama、Bloom、GPT3)。第一个优化手段是从float32切换到bfloat16精度:


现在几乎所有的模型都是基于 bfloat16 训练的,如果你的 GPU 支持 bfloat16,就没有理由基于全 float32 精度运行模型。float32 不会给出比训练模型所使用的精度更好的推理结果。


这可以使总体内存消耗减少一半,但可惜的是,在许多情况下仍然需要很大的内存。一种更激进的方法是将模型权重量化为 8 位或 4 位,这已经被证明不会导致显著的性能下降


量化对于文本生成来说特别有效,因为我们所关心的是选择最有可能的下一个标记集合,而不是下一个标记 Logit 分布的确切值。


这将进一步减少所需的内存,使得在只有 16GB VRAM 的 GPU 上运行较小的模型成为可能,尽管代价是推理时间稍长。


von Platen 写道,使用Flash Attention是另一相关键的优化,它是大语言模型用来理解输入标记上下文关系的自注意力层的一种算法,有可能打破输入标记数量的二次增长。


因为该算法太过复杂,无法在这里描述,但可以这么说,它利用了 softmax 规范化统计数据和一些数学手段,在只需要随输入标记线性增长的内存的情况下提供相同的输出。推理性能也得益于算法使用了更快的 SRAM 而不是更慢的 GPU VRAM。


在实践中,目前绝对没有理由不使用 Flash Attention。该算法在数学层面给出了相同的输出,并且速度更快,内存效率更高。


Here recent research can help to make the right choice with two components that quickly become bottlenecks, says von Platen, _positional embeddings_ and the _key-value cache_.


在生产环境中部署大语言模型的第三项优化措施是选择正确的架构,让它们能够有效地处理长文本输入。von Platen 写道,最近的研究有助于我们如何对两个很快成为瓶颈的组件做出选择——一个是_位置嵌入(positional embeddings)_,一个是_键值缓存_。


位置嵌入通过将每个标记的位置编码为数字表示来帮助语言大模型理解序列顺序。对于需要处理大型文本输入任务的大语言模型,应该使用RoPEALiBi等相对位置嵌入技术进行训练。


RoPE 和 ALiBi 位置编码都可以外推到训练期间未遇到过的输入长度,而事实证明,与 RoPE 相比,外推对于开箱即用的 ALiBi 的效果要好得多。


目前的许多大语言模型中已经在使用这两种算法。


键值缓存可以作为对对话上下文进行编码的一种方法。键值缓存在发生每个新交互时增加一个元素,这比为每个请求编码/解码上下文的方法要有效得多。von Platen 详细介绍了两类键值缓存,即Multi-Query-Attention (MQA)Grouped-Query-Attention(GQA)


von Platen 的文章所涵盖的内容不只有本文所概述的这些,他的文章中还提供了实际的例子来证明他的观点,所以请不要错过他的文章。


原文链接

https://www.infoq.com/news/2023/09/hugging-face-optimizing-llms/

2023-10-07 10:223873

评论

发布
暂无评论
发现更多内容

云上办公,还得是华为云桌面的一站式云上工作站

科技之光

华为云会议——安全得多,高效得很

秃头也爱科技

华为云桌面远程办公,真香!

爱科技的水月

华为云桌面,开启云上高效办公之旅!

清欢科技

数字化办公?选云桌面就对了!

科技之光

云办公成趋势,华为云桌面全方位保障企业安全

科技之光

我在编码过程使用Jenkins自动化的姿势

大东(AIP内容运营专员)

头部效应明显,中小厂商「闷赚」的 Dating 赛道

融云 RongCloud

社交 虚拟

华为云会议,让会议更智能

秃头也爱科技

华为云桌面,为企业发展打造优质云办公环境

爱科技的水月

华为云会议,助力企业移动办公效率提升

i生活i科技

华为云桌面之下的“冰山”:技术底座x繁荣生态加速模式进化

IT科技苏辞

华为云会议,更专业“会”更好

秃头也爱科技

【Spring专题】「开发指南」夯实实战基础功底之解读logback-spring.xml文件的详解实现

码界西柚

spring logback 12月日更 12 月 PK 榜

Verilog模块例化

芯动大师

Verilog语法 Verilog例化模块 Verilog教程

华为云桌面,一站式云上数字化创作深度解读

IT科技苏辞

【JWT】jwt令牌研究

No8g攻城狮

JWT\ JWT

阿里云香港节点全面故障给我们的启示

laofo

DevOps 研发效能 DevOps工具

mysql数据库运维常用的shell脚本

@下一站

12月日更 12月月更

华为云桌面Workspace,如何为用户开启全新办公模式?

爱科技的水月

云上办公,且看华为云桌面如何加速企业数字化发展之路?

科技之光

2022-12-21:uifd/ui-for-docker是docker的web可视化工具。请问部署在k3s中,yaml文件如何写?

福大大架构师每日一题

Docker 云原生 k8s k3s 福大大

HTTP的状态码

穿过生命散发芬芳

HTTP 12月月更

自动化测试技术笔记(三):如何编写技术方案

老张

自动化测试 技术方案

对比PyTorch、TensorFlow、JAX、Theano,我发现都在关注两大问题

OneFlow

人工智能 深度学习 函数转换

网络安全实战之植入后门程序

网络安全学海

网络安全 信息安全 渗透测试 WEB安全 漏洞挖掘

华为云桌面为企业数字化发展赋能强劲动力

爱科技的水月

华为云桌面协同办公,助力建筑行业数字化转型

爱科技的水月

随时随地一键开会,华为云会议大幅提升用户开会体验

i生活i科技

数字云办公连续7年领跑,华为云桌面优势突显!

科技之光

华为云会议,助力企业高效办公

秃头也爱科技

Hugging Face 大语言模型优化技术_生成式 AI_Sergio De Simone_InfoQ精选文章