写点什么

智源研究院 FlagEval 大模型评测平台更新 8 月榜单:新增通义千问、Llama2 等多个模型评测,评测基座模型代码生成能力

  • 2023-08-16
    北京
  • 本文字数:1277 字

    阅读完需:约 4 分钟

智源研究院FlagEval大模型评测平台更新8月榜单:新增通义千问、Llama2等多个模型评测,评测基座模型代码生成能力

为推动大模型在产业落地和技术创新,今年 6 月智源研究院发布了“开源商用许可语言大模型系列+开放评测平台” 两大重磅成果,打造“大模型进化流水线”。

 

FlagEval(天秤)是北京智源人工智能研究院推出的大模型评测体系及开放平台,旨在建立科学、公正、开放的评测基准、方法、工具集,协助研究人员全方位评估基础模型及训练算法的性能。

 

FlagEval 大语言模型评测体系当前包含 6 大评测任务,20+评测数据集,80k+评测题目。除了知名的公开数据集 HellaSwag、MMLU、C-Eval 等,FlagEval 还集成了包括智源自建的主观评测数据集 Chinese Linguistics & Cognition Challenge (CLCC) ,北京大学等单位共建的词汇级别语义关系判断、句子级别语义关系判断、多义词理解、修辞手法判断评测数据集,更多维度的评测数据集也在陆续集成中。

 

自 6 月 9 日上线以来,FlagEval 在短短一个月内就已收到 200+模型评测申请,并更新了首期 SFT 模型排行榜和大模型 2023 高考排行榜。在 FlagEval 8 月榜单最新榜单中,新增了通义千问、Llama2 等多个模型评测,也新增了基座模型代码生成能力评测。

 

新增多个明星开源模型评测:Llama2 / Qwen / InternLM / MPT / Falcon

 

基座模型(Base Model)榜单:

 

Qwen-7B、InternLM-7B 超越 Llama2,分列第一、第二名。

 


有监督微调模型(SFT Model)榜单:

 

InternLM-chat-7B 夺魁,刷新中英客观评测记录,悟道·天鹰 AquilaChat 排名第二;

 

Qwen-chat-7B 中英文客观评测结果欠佳,远低于其基座模型的客观评测表现;但在中文主观评测上,Qwen-chat-7B 以 75.4% 准确率排名第一,与第二名 ChatGLM2-6B(62.1%)拉开较大差距。

 

备受关注的 Llama2 基座模型 7B、13B 综合评测结果相比于第一代提升了 10%、25%;Llama2-Chat 7B、13B 英文能力突出,中文存在明显短板,中文主观评测准确率仅为 18.3%、22%,在 SFT 模型榜单上排名第三,仅次于 InternLM 和悟道·天鹰 Aquila。

 

新增针对基座模型 HumanEval 代码生成能力评测

 

近期,“代码生成能力”新晋成为大语言模型领域的热门话题,开源基座模型如 Llama2 的技术报告特别强调了“代码生成能力”作为其关键特性。 

 

基座模型强大的代码生成能力为后续的代码语料微调提供了坚实基础。因此,本期榜单引入了针对基座模型的 HumanEval 评测:

 

Pass@1 的评测结果显示,国产大模型 Qwen、InternLM 超越 Llama2-13B,分列第一、第二名。

 

Pass@100 结果显示,悟道·天鹰 Aquila-7B 的表现接近 Llama-13B,但与第二代 Llama2-13B 相比仍有一定差距。

 

HumanEval 是由 OpenAI 编写发布的代码生成评测数据集,包含 164 道人工编写的 Python 编程问题,模型针对每个单元测试问题生成 k(k=1,10,100)个代码样本,如果有任何样本通过单元测试,则认为问题已解决,并报告问题解决的总比例,即 Pass@k 得分。

 


Falcon-7b HumanEval 评测结果出自 Meta Llama2 官方论文 :

 

https://ai.meta.com/research/publications/llama-2-open-foundation-and-fine-tuned-chat-models/

 

评测说明:

在评测时,FlagEval 根据数据集的不同规模进行了自动化采样。

更多评测结果请登录官网查看:https://flageval.baai.ac.cn/

2023-08-16 18:375444
用户头像
李冬梅 加V:busulishang4668

发布了 1061 篇内容, 共 677.8 次阅读, 收获喜欢 1223 次。

关注

评论

发布
暂无评论
发现更多内容

Java并发编程基础(上)

FunTester

开工大吉!秀一下我们假期の战绩

王中阳Go

Java Go 程序人生 面试题 Go 面试题 面经 后端 大厂

solana生态市值机器人

区块链技术

vben-admin 配置代理转发

麦兜

使用 Coze 搭建 TiDB 助手

PingCAP

数据库 TiDB

作业帮 x TiDB丨多元化海量数据业务的支撑

PingCAP

数据库 TiDB

龙年新目标!龙蜥安全联盟第三次月会圆满结束

OpenAnolis小助手

操作系统 密码 龙蜥社区 安全联盟

VMware Workstation 17安装教程:轻松构建虚拟机

小魏写代码

MVP实战:再造一个“支付宝”

agnostic

软件架构 MVP 架构设计实战

activiti工作流代码整合流程详解及源码示例-低代码平台

金陵老街

从API到界面:如何将淘宝/天猫商品详情返回值转化为用户友好的展示

Noah

Java Spi是如何找到你的实现的? ——Java SPI原理与实践

骑牛上青山

Java jdk spi

教你用Rust实现Smpp协议

华为云开发者联盟

rust 开发 华为云 华为云开发者联盟 华为云短信服务

快速部署MES源码/万界星空科技开源MES

万界星空科技

开源 mes 开源mes 万界星空科技

教育创新:全国高校软件测试峰会聚焦技术前沿

测吧(北京)科技有限公司

测试

Spring事务实现原理

京东科技开发者

你的新春照小红书包了!速来定制新春头像,技术让年味更浓

小红书技术REDtech

AI AIGC AI写真

听 GPT 讲 client-go 源代码 (5)

fliter

听 GPT 讲 client-go 源代码 (6)

fliter

一文搞懂设计模式—观察者模式

Java随想录

Java 设计模式

选择轻量级低代码+定制,轻松打造小程序平台

天津汇柏科技有限公司

低代码开发 小程序开发

糟糕,被SimpleDateFormat坑到啦!| 京东云技术团队

京东科技开发者

0-overlay和underlay,这两种容器网络你分得清吗

华为云开发者联盟

容器 开发 华为云 华为云开发者联盟 云容器网络

掌上新闻随心播控,HarmonyOS SDK助力新浪新闻打造精致易用的资讯服务新体验

HarmonyOS SDK

HarmonyOS

开放签电子签章2024年第一季度目标

开放签开源电子签章

智源研究院FlagEval大模型评测平台更新8月榜单:新增通义千问、Llama2等多个模型评测,评测基座模型代码生成能力_AI 工程化_李冬梅_InfoQ精选文章