写点什么

超越 Transformer 与 Mamba,Meta 联合斯坦福等高校推出最强架构 TTT

  • 2024-07-12
    北京
  • 本文字数:819 字

    阅读完需:约 3 分钟

超越 Transformer 与 Mamba,Meta 联合斯坦福等高校推出最强架构 TTT

近日,斯坦福、UCSD、UC 伯克利和 Meta 的研究人员提出了一种全新架构,用机器学习模型取代 RNN 的隐藏状态。



这个模型通过对输入 token 进行梯度下降来压缩上下文,这种方法被称为「测试时间训练层(Test-Time-Training layers,TTT)」。该研究作者之一 Karan Dalal 表示,他相信这将根本性地改变语言模型方法。


自注意力机制在处理长上下文时表现良好,但其复杂度是二次的。现有的 RNN 层具有线性复杂度,但其在长上下文中的表现受限于其隐藏状态的表达能力。随着上下文长度的增加,成本也会越来越高。


作者提出了一种具有线性复杂度和表达能力强的隐藏状态的新型序列建模层。关键思路是让隐藏状态本身成为一个机器学习模型,并将更新规则设为自监督学习的一步。



论文中提出了两种实例:TTT-Linear 和 TTT-MLP,它们的隐藏状态分别是线性模型和两层 MLP。团队在 125M 到 1.3B 参数规模上评估了实例,并与强大的 Transformer 和现代 RNN Mamba 进行了比较。结果显示,与 Mamba 相比,TTT-Linear 的困惑度更低,FLOP 更少(左),对长上下文的利用更好(右):



这个结果代表了现有 RNN 的尴尬现实。一方面,RNN(与 Transformer 相比)的主要优点是其线性(与二次型)复杂性。这种渐近优势只有在长上下文的实践中才能实现,根据下图,这个长度是 8k。另一方面,一旦上下文足够长,现有的 RNN(如 Mamba)就很难真正利用所依赖的额外信息。



并且,大量的实验结果表明:TTT-Linear 和 TTT-MLP 都匹配或超过基线。与 Transformer 类似,它们可以通过限制更多的代币来不断减少困惑,而 Mamba 在 16k 上下文后则不能。经过初步的系统优化,TTT Linear 在 8k 环境下已经比 Transformer 更快,并且在 wall-clock 时间上与 Mamba 相匹配。


TTT 层在理论上和实验评估中表现出色,尤其是在长上下文处理和硬件效率方面。如果在实际应用中能够解决一些潜在的工程挑战,如大规模部署和集成问题,工业界对 TTT 层的接受度也将逐步提升。


论文链接:https://arxiv.org/pdf/2407.04620v1


2024-07-12 09:189154

评论

发布
暂无评论
发现更多内容

极客时间—架构实战营—第九期—模块三作业

阿梁

GitHub简介

Andy

Maven之简要学习

Andy

jdk11之Idea使用问题

Andy

“程”风破浪的开发者|微信小程序生成海报图片导出相册

江拥羡橙

微信小程序 学习方法 canvas “程”风破浪的开发者

软件配置管理概述

Andy

“程”风破浪的开发者|云数据库时代,DBA要掌握哪些技能?

乌龟哥哥

学习方法 10月月更 “程”风破浪的开发者

java之扩展概念

Andy

Git之分支管理

Andy

golang中的锁竞争问题

六月的

golang

Maven简介

Andy

Sonar使用的初次思考

Andy

2022-10-27:设计一个数据结构,有效地找到给定子数组的 多数元素 。 子数组的 多数元素 是在子数组中出现 threshold 次数或次数以上的元素。 实现 MajorityChecker 类

福大大架构师每日一题

算法 rust 福大大

使用Supervisor守护Nginx进程

乌龟哥哥

10月月更

SVN简介

Andy

Docker常用命令

Geek_633117

Docker

BoardMix:免费在线PPT制作工具,堪称办公神器!

彭宏豪95

职场 工具 PPT 在线白板

Git简介

Andy

“程”风破浪的开发者|思考?——小问题大道理

江拥羡橙

微信小程序 学习方法 HTML5, CSS3 “程”风破浪的开发者

“程”风破浪的开发者|OpenHarmony的dcts分布式兼容性测试套件学习

鸿蒙之旅

OpenHarmony 10月月更 “程”风破浪的开发者

Es6中的this指向

乌龟哥哥

10月月更

重塑影响力

光毅

开发者如何构建技术影响力

线程池浅析

Andy

测试架构需要具备哪些能力

老张

软件工程 软件测试 系统架构

Git之标签管理

Andy

管理思考

Andy

【web 开发基础】PHP 循环结构之while循环 -PHP 快速入门 (17)

迷彩

while循环 10月月更 PHP基础 循环结构

【web 开发基础】PHP 循环结构之do...while 循环 -PHP 快速入门 (18)

迷彩

10月月更 PHP基础 循环结构 do...while

zTree

Andy

java之理论问题集合

Andy

超越 Transformer 与 Mamba,Meta 联合斯坦福等高校推出最强架构 TTT_AI&大模型_赵明华_InfoQ精选文章