写点什么

仅 4 个多月 RAG 就又进化到“一个新时代”了:成本降低到 GraphRAG 的 0.1%

  • 2024-12-03
    北京
  • 本文字数:2300 字

    阅读完需:约 8 分钟

大小:1.08M时长:06:18
仅4个多月RAG就又进化到“一个新时代”了:成本降低到GraphRAG的0.1%

在质量和成本方面,将 VectorRAG 与 GraphRAG 相结合的新方案将为行业带来革命性的变革。

 

近日微软推出了一种“不同于以往的方法”,名为 LazyGraphRAG,追求的是以高效、低成本的方式实现图形 RAG 功能。

 

微软方面的研究人员声称,这种新型 RAG 方案“在成本和质量方面实现了天然可扩展性”,能够“在理想的成本和质量范围之内表现出强大性能”。此外,它还降低了整个数据集的全局搜索成本,并使得本地搜索更加高效。

 

有些朋友可能不太熟悉,GraphRAG 是“Graph”图形与 RAG(检索增强生成)的混合词。这项技术通过单一端到端系统利用文本提取、网络分析以及大模型提示/摘要的方式,深入理解基于单词的数据集内容。

 

今年 7 月,微软首次开源了 GraphRAG,仅 4 个多月的时间在 Github 已有 19.7k 颗星,成为目前最火的 RAG 框架之一。

 


在人工智能领域,RAG 系统对于文档摘要、知识提取和探索性数据分析任务至关重要。但现有系统的主要问题之一在于成本与质量之间的权衡。

 

传统方法(如基于向量的 RAG)在处理局部化任务时表现良好,例如从特定文本片段中检索直接答案。然而,当涉及需要全面理解数据集的全局性查询时,这些方法往往难以胜任。相比之下,图支持的 RAG 系统通过利用数据结构中的关系,可以更好地解决此类更广泛的问题。然而,与图 RAG 系统相关的高索引成本,使其难以被成本敏感的场景所接受。因此,在可扩展性、经济性和质量之间实现平衡,仍然是现有技术的关键瓶颈。

 

这次微软推出的 LazyGraphRAG 是一种全新系统,不仅克服了现有工具的局限性,还融合了它们的优势。LazyGraphRAG 通过消除对高成本初始数据摘要的需求,将索引成本降至接近向量 RAG 的水平。

 

后续,微软也会很快发布 LazyGraphRAG 开源版本并加入到 GraphRAG 库中。

 

开源地址:https://github.com/microsoft/graphrag

 

成本降低至 1/1000

 

LazyGraphRAG 代表了检索增强生成领域的突破性进步,微软称它是“适用于所有场景的低成本解决方案”。

 

为了评估 LazyGraphRAG 的性能,微软设计了三种不同的预算场景,观察其在多种条件下的表现。

 

  • 最低预算(100 次相关性测试,使用低成本 LLM,与 SS_8K 成本相同),LazyGraphRAG 在本地和全局查询中显著优于所有条件,仅在全局查询时略逊于 GraphRAG 的全局搜索条件。

  • 中等预算(500 次相关性测试,使用更高级的 LLM,查询成本为 C2 的 4%),LazyGraphRAG 在本地和全局查询上全面超越所有对比条件。

  • 高预算(1,500 次相关性测试),LazyGraphRAG 的胜率进一步提升,展现出其在成本与质量平衡方面的优异扩展性。

 


也就是说,LazyGraphRAG 将 VectorRAG 与 GraphRAG 相结合,“同时克服了二者的各自局限性”。微软方面写道,“LazyGraphRAG 表明,单一、灵活的查询机制有望在本地全局查询范围之内大大超越各类专用查询机制,而且消除了大语言模型的前期数据汇总成本。”

 

 “其极快且几乎免费的索引功能,使得 LazyGraphRAG 成为致病性查询、探索性分析以及流式数据用例的理想选择。与此同时,它还能够随着相关性测试预算的增加而平衡提高答案质量,这使其成为对其他 RAG 方法进行基准测试的重要工具。”

 

Vector RAG 也被称为语义搜索,根据微软方面的解释,这是一种“最佳优先搜索形式,使用与查询的相似性来选择最佳匹配的源文本块。”“然而,语义搜索仍有一大短板,即无法满足全局查询所需要考虑的数据集广度。”

 

研究人员写道,“GraphRAG 全局搜索则是一种广度优先搜索,它使用源文本实体的社区结构以确保查询结果中能充分考虑到数据集广度。但问题在于,它无法识别本地查询所需要的最佳社区。”

 

在回答关于整个数据集内容的全局查询请求时,后一项技术往往比传统向量 RAG 效果更好,其适合的问题包括“核心主题是什么?”或者“这些信息体现了 X 的什么特征?”等等。总之,GraphRAG 更擅长提供重视广度的问题。

 

在另一方面,Vector RAG 则更适合本地查询场景下,答案跟问题结构相似的情况。例如涉及“谁、什么、何时、何地”之类的问题,微软强调这也是所谓“最佳优先”这种算法形式的由来。

 


GraphRAG 与 LazyGraphRAG 之间的区别。

 

LazyGraphRAG 以迭代深化的方式将最佳优先与广度优先两种搜索动态结合起来——首先在有限的深度上进行搜索,之后再通过迭代深入数据集内部。

 

微软公司表示,LazyGraphRAG 的数据索引成本与向量 RAG 相同,而仅为完整 GraphRAG 成本的 0.1%。

 

 “在同等配置下,LazyGraphRAG 也表现出与 GraphRAG 全局搜索相当的答案质量,但全局查询的成本却降低至 1/700 以下。只需要相当于 GraphRAG 全局搜索查询成本的 4%,LazyGraphRAG 就能在本地和全局两方面表现出明显优于所有竞争方法的查询效果。”

 

微软是这样回答这个问题的:“与完整的 CraphRAG 全局搜索机制相比,这种方法在某种程度上确实更「懒」,因为它会推迟对大模型的使用,从而大大提高答案生成效率。其整体性能可以通过一条主要参数(相关性测试预算)进行扩展,该参考则以一致的方式把控成本与质量之间的权衡。”

 

因此,这种勤奋的 RAG 方法确有“懒”的一面,因为它只在绝对必要时才会应用大语言模型(LLM),由此优化了对大语言模型的使用。它不会预先处理整个数据集,而是先进行初始相关性测试,分析较小的数据子集以识别出潜在的相关性信息。

 

在完成这些测试之后,系统才会使用资源密集型的大语言模型开展更加深入的分析。

虽然跟如今他的个人风格不尽相同,但这还是让我们想起比尔·盖茨当初执掌微软时说过的一句话: “我宁愿选个懒人去做困难的工作,因为懒人会找到一种更简单的办法来完成任务。”

 

参考链接:

https://www.thestack.technology/microsoft-lazygraphrag/

https://www.microsoft.com/en-us/research/blog/lazygraphrag-setting-a-new-standard-for-quality-and-cost/

2024-12-03 11:415893

评论

发布
暂无评论
发现更多内容

登录微软账号的Windows电脑如何远程?

BigYoung

微软 Windows 10 远程登录

2020出行之变(二):新能源汽车的拥挤牌桌

脑极体

四个策略,三个“坑”,读《架构师也不写代码》有感

李忠良

28天写作

重学JS | 通过无限循环动画案例理解CSS3动画与JS动画

梁龙先森

面试 大前端 编程语言 28天写作

认识产品经理-产品JD作业

Weiyung

[JetPack] androidx.lifecycle库中ViewModel的新旧版本API差异

Changing Lin

android JetPack

Java开发不会Redis?Java开发掌握好Redis在面试中是个大加分项。

Java架构之路

Java 程序员 架构 面试 编程语言

html容器以及CSS概述

程序员的时光

程序员 七日更 28天写作

宝马等支持为车辆创建“出生证明” 利用区块链技术跟踪车辆历史

CECBC

宝马

金融 真的需要区块链技术提升效率吗?

CECBC

金融

区块链技术解决监管痛点 首批6家券商加入“中证链”节点

CECBC

区块链

架构师训练营第九周课后作业

万有引力

产品经理训练营笔记-产品思维和产品意识(上)

.nil?

产品经理训练营

Elasticsearch Document 的 _version 元数据

escray

elastic 七日更 28天写作 死磕Elasticsearch 60天通过Elastic认证考试

第九周学习心得

cc

Java 程序经验小结:编程更好的使用泛型以替代原生态类型

后台技术汇

28天写作

【并发编程的艺术】详解指令重排序与数据依赖

程序员架构进阶

架构 并发 Java内存模型 28天写作

GNUCash

lidaobing

GNUCash 28天写作 四柱结算法 复式记账

项目管理系列(9)- 从 0 到 1 搭建 PMO(二)

Ian哥

28天写作

第九周 性能优化(三) 作业 「架构师训练营 3 期」

胡云飞

备战金三银四,Java程序员看完这十本Java进阶必备书籍,薪资能涨20K

Java架构之路

Java 程序员 架构 面试 编程语言

解密阿里线上问题诊断工具Arthas和jvm-sandbox

比伯

Java 编程 架构 面试 计算机

小喜量化炒币机器人系统开发|小喜量化炒币机器人APP软件开发

系统开发

学设计模式前先了解下设计模式分类

爱笑的小雨

设计模式

如果公司要招一个人代替你

哈撒啦岛

产品经理训练营

张小龙:视频号是什么?| 视频号 28 天 (16)

赵新龙

28天写作

2021最新总结一个90后 双非本末 5面蚂蚁 如何拿到年薪60W+?

比伯

Java 编程 程序员 架构 面试

一篇让你彻底了解http请求报文和响应报文的结构

Java架构师迁哥

牛掰!阿里人用7部分讲明白百亿级高并发系统(全彩版小册开源)

996小迁

Java 架构 面试 并发’

第九周命题作业

cc

核酸检测:让我明白AQS原理

叫练

AQS 共享锁 独占锁 可中断 条件队列

仅4个多月RAG就又进化到“一个新时代”了:成本降低到GraphRAG的0.1%_生成式 AI_Tina_InfoQ精选文章