写点什么

零一万物重磅推出“笛卡尔”向量数据库!强势包揽权威榜单评测六项第一

  • 2024-03-11
    北京
  • 本文字数:1690 字

    阅读完需:约 6 分钟

大小:864.57K时长:04:55
零一万物重磅推出“笛卡尔”向量数据库!强势包揽权威榜单评测六项第一

3 月 11 日,零一万物宣布,其基于全导航图技术打造的新型向量数据库“笛卡尔(Descartes)”已成功研发,并包揽权威榜单 ANN-Benchmarks 的 6 项数据集评测第一名。


零一万物表示,笛卡尔向量数据库将应用于公司即将正式发布的 AI 产品中,未来还将结合工具提供给广大开发者。


笛卡尔霸榜,包揽权威榜单评测六项第一


ANN-Benchmarks 是当下业界最权威的向量数据库性能测试工具,它可以展示不同算法在不同真实数据集下的表现。零一万物笛卡尔向量数据库在 ANN-Benchmarks 六项数据集测试均位居第一。(具体结果可见下图)





   



在上述六份评测结果图中,横坐标代表召回、纵坐标代表 QPS(每秒内处理的请求数),曲线位置越偏右上角意味着算法性能越好。可以观察到,代表笛卡尔的红线在六张图中都处于最高位。



在原榜单 TOP1 基础上,零一万物笛卡尔向量数据库实现了显著性能提升,部分数据集上的性能提升超过 2 倍以上,在 gist-960-euclidean 数据集维度更大幅领先榜单原 TOP1 286%。


解决检索难题的“杀手锏”


向量数据库,又被称为 AI 时代的信息检索技术,是检索增强生成(Retrieval-Augmented Generation, RAG)内核技术之一。向量数据库专门用于存储、索引和查询由非结构化数据(如文本、图像或音频)生成的嵌入向量。这些嵌入向量是通过将非结构化数据转换为高维向量来创建的,以便于快速查找和检索类似对象。与传统的关系数据库不同,向量数据库主要面向非结构化数据,并采用相似度索引来返回查询结果,而不是基于关键字的查找。


向量数据库的核心能力包括低成本存储和高性能计算,具体功能包括用于搜索和检索的向量索引、单级过滤、数据分片、复制、混合存储以及 API 等。随着非结构化数据应用的增加,向量数据库在处理分析这类数据方面的需求也在增长。其主要应用领域包括人脸识别、推荐系统、图片搜索、视频指纹、语音处理、自然语言处理、文件搜索等。


对大模型应用开发者来说,向量数据库是非常重要的基础设施,能够影响大模型的性能表现。大模型虽然强大,但存在实时信息更新慢、隐私保护问题、推理失真以及推理效率低等缺陷。向量数据库通过其轻量化更新机制、隐私保护特性、丰富知识参照以及作为缓存机制的功能,能够精准地解决大模型的这些痛点。


零一万物表示,笛卡尔向量数据库在处理复杂查询、提高检索效率以及优化数据存储方面相比业界拥有显著的比较优势,它主要能用于解决两大类问题。


通过建立某种索引结构,减少检索考察的候选集


目前业内现状主要通过哈希、KD-Tree、VP-Tree 等方式,导航效果不够精确,裁剪力度不够,零一万物研发的全局多层缩略图导航技术,图上坐标系导航,既能保证精度,又能裁剪大量无关向量。


零一万物还首创了自适应邻居选择策略,填补业界空白。零一万物自研的自适应邻居选择策略,突破了以往仅依赖真实 topk 或固定边选择策略的局限,新策略使每个节点可以根据自身及邻居的分布特征动态地选取最佳邻居边,更快收敛接近目标向量,从而让 RAG 向量检索性能提高 15%-30%。


降低单个向量计算的复杂度


零一万物采用了两级量化方案增强 RAG。零一万物用两级量化降低计算复杂度,同时列式存储充分利用 SIMD 的并发能力,进一步发挥硬件能力,相比传统 PQ 查表,性能得到大幅提升到 2-3 倍。


除此之外,零一万物还有索引结构优化、连通性保障等全栈向量技术方案提高笛卡尔向量数据库的性能。

零一万物笛卡尔向量数据库目前聚焦于高性能向量数据库,通常指向量数据集规模在千万级及以下(如 2000 万 128 维浮点型向量),在实际应用场景中,具有超高精度、超高性能等核心优势。


高性能向量数据库可以轻松应对 80% 以上的日常场景,如构建私域知识库、智能客服系统,加速自动驾驶模型训练……以医疗影像诊断为例,随着医学影像技术的不断发展,大量的医疗影像数据需要被存储、检索和分析。这些影像数据可以通过特征提取转化为向量表示,进而利用高性能向量数据库进行高效检索和匹配。医生在诊断过程中,可以利用向量数据库快速检索与当前病例相似的历史病例和影像资料,从而辅助医生做出更准确的诊断。


零一万物表示,笛卡尔向量数据库是团队基于 RAG 的初步尝试,将在近期发布的 AI 生产力产品中得到有效应用。

2024-03-11 15:494786

评论

发布
暂无评论
发现更多内容

欧伟杰:乘“20+8”政策之东风,促进深圳空间数据向好发展

YashanDB

数据库

对线面试官-线程池(一)

派大星

面试

独立游戏开发:掌握成功的五大关键技巧

龙智—DevSecOps解决方案

游戏开发 独立游戏 独立游戏开发

MaxCompute 物化视图智能推荐最佳实践

阿里云大数据AI技术

大数据 算力加速 智能推荐 企业号 5 月 PK 榜

全球化财务如何通过全球核算助力跨国业务的稳定增长和持续发展?

用友BIP

中企出海 全球化财务

神笔马良看了都鼓掌

百度Geek说

人工智能 AIGC 企业号 5 月 PK 榜

2023上海国际嵌入式展 | 如何通过生命周期管理工具创建完整、可追溯的嵌入式开发

龙智—DevSecOps解决方案

嵌入式系统 嵌入式开发 上海国际嵌入式展

合合信息商业大数据技术为农商行打造数字化转型专项方案

合合技术团队

数据挖掘 大数据 金融

APP出海的现状与挑战​

MobTech袤博科技

OIDC & OAuth2.0 认证协议最佳实践系列 02 - 授权码模式(Authorization Code)接入 Authing

Authing

低代码 OAuth 2.0 OIDC Authing

玩转服务器之网站篇:新手使用WordPress搭建博客和静态网站部署

京东科技开发者

Wordpress 部署 服务器 WordPress 企业号 5 月 PK 榜 静态网站部署

低代码+MOM:释放制造业数字化魅力

力软低代码开发平台

Server版支持即将到期,Jira和Confluence如何迁移?(2)

龙智—DevSecOps解决方案

云原生 迁移 云 原生云 CTO 迁移上云 迁移计划

人脸识别图像技术的原理及其应用

来自四九城儿

理论+实操|一文掌握 RFM 模型在客户数据洞察平台内的落地实战

袋鼠云数栈

大数据 RFM模型 标签体系 RFM

全面预算管理可以从科技发展中得到什么?

智达方通

全面预算管理 信息孤岛

探索 Web 管理之路,OpenYurt 社区 UI/CLI SIG 正式启动

阿里巴巴云原生

阿里云 开源 云原生 openyurt

靠AI自动生成视频撸自媒体收益,月入5000+

派大星

ChatGPT4

财务共享经验分享!权威教授解读企业走向财务数智化的关键路径

用友BIP

财务共享

数据可视化:地图类可视化图表大全

2D3D前端可视化开发

大数据 数据分析 数字化转型 数据可视化 数据可视化工具

软件测试/测试开发丨学习笔记之App自动化用例录制、结构分析

测试人

程序员 软件测试 自动化测试 测试开发 appium

当 Serverless 遇上 AI,锁定年度最佳 CP,这场论坛满足你的好奇心

阿里巴巴云原生

阿里云 Serverless 云原生

财务共享案例分享!大型企业财务先锋交流财务数智化转型的关键举措

用友BIP

财务共享

生态共建丨YashanDB与金蝶软件完成兼容互认证

YashanDB

数据库

崖山数据库系统YCA认证,首发期限时免费!

YashanDB

数据库

是 CI 也是阿拉伯飞毯——腾讯云 CODING CI 3.0 云原生构建

CODING DevOps

云原生 持续集成 CODING DevOps

生态共建丨崖山数据库系统与杉岩分布式存储系统完成兼容互认证

YashanDB

数据库

企业号 6 月 PK 榜,火热开启!

InfoQ写作社区官方

热门活动 企业号 6 月 PK 榜

自动驾驶研发解决方案,百度智能云市场份额第一!

Baidu AICLOUD

自动驾驶 AI 大底座

极氪汽车 APP 系统云原生架构转型实践

阿里巴巴云原生

阿里云 云原生 合作

为什么数字化转型就应该选择低代码?一文详解

加入高科技仿生人

低代码 数字化转型

零一万物重磅推出“笛卡尔”向量数据库!强势包揽权威榜单评测六项第一_AI&大模型_傅宇琪_InfoQ精选文章