AICon上海|与字节、阿里、腾讯等企业共同探索Agent 时代的落地应用 了解详情
写点什么

OpenAI 联合 SWE 发布 AI 软件工程能力测试集,Gru.ai 荣登榜首

作者:GruAI

  • 2024-09-09
    北京
  • 本文字数:692 字

    阅读完需:约 2 分钟

大小:357.16K时长:02:01
OpenAI 联合 SWE 发布 AI 软件工程能力测试集,Gru.ai 荣登榜首

在 9 月 3 日,Gru.ai 在 SWE-Bench-Verified 评估最新发布的数据中以 45.2% 的高分排名第一。SWE-Bench-Verified 是 OpenAI 联合 SWE 发布测试集,旨在更可靠的评估 AI 解决实际软件问题的能力。该测试集经由人工验证打标,被认为是评估 AI 软件工程能力的最权威标准。



本次参评登顶的 Coding Agent 是来自 Gru.ai 的 Bug Fix Gru。根据 Gru 团队的博客,他们提供给 Bug Fix Gru 完整的运行环境及丰富的开发工具,这是获取高分的基础,而工作流程,多模态支持,Rag 能力的添加都有效提高了得分。值得关注的是,Gru 团队着重提到了他们有一个评估流程来评估任何改动带来的影响。


Gru.ai 是一家提供软件工程 Agent(智能体)的公司,提供四种 Agent:

  • Assistant Gru:帮助用户解决独立的技术问题,该产品可直接在网站注册使用。

  • Test Gru:基于用户代码补全单测的 Agent,目前该产品仅面相企业开放。

  • Bug Fix Gru:基于 Github Issue,直接提交 Patch,目前该产品仅面向企业开放。

  • Babel Gru:基于技术文档生成软件,目前该产品仍处于实验室阶段。


Gru 在今年一月披露了一笔 550 万美金的融资,投资方为云九资本和峰瑞资本。在 2023 年到 2024 年两年间,国际上大量的资金涌入代码 Agent 领域,如 Devin、Cosine.sh、Factory、Codium.ai 等,但国内针对软件工程领域 AI 的投资仍然较少。Gru 团队拥有丰富的软件工程和 AI 实践经验,CEO 张海龙曾是开源中国及 Coding.net 创始人。


随着资金和大公司的视线逐步从大模型转向上层应用,AI 行业的主要进步方向已经开始转向处理复杂精密的任务,而非简单的生成文本内容。而 Gru.ai 的成功登顶,标志着国人团队在 Agent 领域的工程技术能力处于第一梯队。

2024-09-09 14:595758

评论

发布
暂无评论
发现更多内容

基于扁平化BOM的全业务应用领先实践,提升离散制造行业运营效率

用友BIP

智能制造

玩转数据世界:跨工作空间的安全授权与高效查询

观测云

数据可视化 数据授权

开启安全功能 ES 集群就安全了吗?

极限实验室

console 集群

逻辑回归算法是什么呢?

小齐写代码

用友ICT行业供应链数智化解决方案

用友BIP

供应链 ICT 行业

软件测试训练营|从原理到实战,四天带你轻松进阶Python

霍格沃兹测试开发学社

CloudQuery的过去、现在和未来

BinTools图尔兹

CloudQuery

报名启动|OpenHarmony源码转换器—多线程特性转换赛题

OpenHarmony开发者

OpenHarmony

干货|EasyMR 基于 Kubernetes 应用的监控实践

袋鼠云数栈

大数据 Kubernetes 云原生 可观测性 Promtheus

【原理篇】Supabase应用开发为什么要配置RLS

张文平

权限 PgSQL Supabase 访问权限 Postgrest

DAPP算力挖矿系统开发丨详情开发

l8l259l3365

软件测试/测试开发丨Python 列表

测试人

软件测试 测试开发

Databend 开源周报第 126 期

Databend

Data

自主研发国产堡垒机,助力企业信息安全可控

行云管家

网络安全 信息安全 堡垒机

京东店铺所有商品数据接口(JD.item_search_shop)丨京东API接口

tbapi

京东API接口 京东商品数据接口 京东店铺所有商品数据接口 京东店铺数据接口

多功能矢量图编辑器:Boxy SVG最新激活版

胖墩儿不胖y

Mac软件 矢量图编辑器 矢量图编辑

实时数仓投放主备链路Diff测试工具落地实践

得物技术

AI 数据

用友BIP全球司库助力陕西建工控股集团打造世界一流司库体系

用友BIP

全球司库

【介绍篇】Supabase与Firebase的关系和区别

张文平

数据库 云服务 Baas Supabase firebase

京东商品列表数据接口(JD.item_search)丨京东API接口

tbapi

京东API接口 京东商品数据接口 京东商品列表数据接口 关键词搜索京东商品接口 京东商品API接口

大数据平台Bug Bash大扫除最佳实践

京东科技开发者

开源协助平台工程灵活应对多云时代的挑战

SEAL安全

开源 运维 平台工程

【鸿蒙千帆起】《开心消消乐》完成鸿蒙原生应用开发,创新多端联动用户体验

HarmonyOS开发者

HarmonyOS

面向Java应用网络流的非侵入可观测指标采集联合方案 – Sermant & Gopher

华为云开源

微服务 Java、 sermant

软件测试/测试开发|一文带你了解Python列表操作

霍格沃兹测试开发学社

【原理篇】Supabase关联查询:内联、外联及外键约束

张文平

外键 Function 关联查询 Supabase Postgrest

OpenAI 联合 SWE 发布 AI 软件工程能力测试集,Gru.ai 荣登榜首_AI 工程化_InfoQ精选文章