微软和清华大学为 LLM 提出了 DIFF Transformer 架构

微软 AI 和清华大学的研究人员提出了一种名为差分 Transformer（DIFF Transformer）的新架构，旨在提高大语言模型的性能。该模型改进了模型处理上下文，并尽可能减少了无关信息的干扰，从而增强注意力机制。

DIFF Transformer 的关键特性是其差分注意力机制。它通过对比两张独立的注意力图来计算注意力，这样模型就能更有效地关注输入的相关部分。这一改动提高了模型的准确性，特别是在问答和文本摘要等任务中的准确度。

该架构还提高了可扩展性，以更少的训练资源实现了与大型模型类似的性能。这种效率有利于处理较长的数据序列，使其很适合需要一次处理大量信息的任务。

实验表明，DIFF Transformer 在语言建模和信息检索等任务中都超越了传统 Transformer，在大型语言模型中提供了更高的性能和效率。它的设计增强了长上下文建模、关键信息检索、幻觉缓解和上下文学习等实际应用，同时还减少了激活异常值。这些改进提高了跨不同数据集的准确性，并提高了对输入顺序变化的鲁棒性，使 DIFF Transformer 更适合低资源环境。

下表将 DIFF Transformer 的零样本性能与几个经过良好训练的 Transformer 模型做了对比，对比模型包括 OpenLLaMA-v2-3B、StableLM-base-alpha-3B-v2 和 StableLM-3B-4E1T，最后 DIFF Transformer 显示出了更好或相当的结果。

爱好者和专业人士对其现实世界的应用表现出了兴趣，特别是在一些有理由通过更多计算资源来获得更高预测准确度的场景中。

数据科学家 Kuldeep Singh 在 X 上分享：

虽然谷歌的 Transformer 可能已经提到了“注意力就是你所需要的一切”，但微软和清华大学却带着 DIFF Transformer 来了，说“稀疏注意力就是你所需要的一切”。

AI 研究员 Manu Otel 写道：

但是，diff Transformer 有一个小小的权衡，它有两倍的 key heads。

围绕 DIFF Transformer 的讨论强调了计算成本和预测准确性之间的权衡。该模型需要执行两次注意力操作，这可能会减慢训练和推理的速度，但有人猜测这是否可以以更少的训练迭代或更少的数据带来更好的结果。

原文链接：

Microsoft and Tsinghua University Present DIFF Transformer for LLMs