QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

国产开源大模型阵营又添新成员!商汤科技发布新一代大语言模型书生·浦语 2.0,支持 200K 超长上下文

  • 2024-01-18
    北京
  • 本文字数:1019 字

    阅读完需:约 3 分钟

大小:356.42K时长:02:01
国产开源大模型阵营又添新成员!商汤科技发布新一代大语言模型书生·浦语2.0,支持200K超长上下文

1 月 17 日,商汤科技与上海 AI 实验室联合香港中文大学和复旦大学正式发布新一代大语言模型书生·浦语 2.0(InternLM2)。

 

InternLM2 是在 2.6 万亿 token 的高质量语料上训练得到的。沿袭第一代书生·浦语(InternLM)设定,InternLM2 包含 7B 及 20B 两种参数规格及基座、对话等版本,满足不同复杂应用场景需求,

 

沿袭第一代书生·浦语(InternLM)的设定,InternLM2 包含 7B 及 20B 两种参数规格及基座、对话等版本,满足不同复杂应用场景需求,分别是:

 

  • Internlm2-base: 高质量和具有很强可塑性的模型基座,是模型进行深度领域适配的高质量起点;

  • Internlm2: 在 internlm2-base 基础上,在多个能力方向进行了强化,在评测中成绩优异,同时保持了很好的通用语言能力;

  • Internlm2-sft:在 Base 基础上,进行有监督的人类对齐训练;

  • Internlm2-chat:在 internlm2-sft 基础上,经过 RLHF,面向对话交互进行了优化,具有很好的指令遵循、共情聊天和调用工具等的能力。


InternLM2 的基础模型具备以下的技术特点:

 

  • 有效支持 20 万 tokens 的超长上下文:能够一次性接受并处理约 30 万汉字(约五六百页的文档)的输入内容。

  • 综合性能全面提升:各能力维度相比上一代模型全面进步,在推理、数学、代码等方面的能力提升显著。

 

值得一提的是,书生·浦语 2.0 版本将继续开源,提供免费商用授权。

 

Github 地址:

https://github.com/InternLM/InternLM

 

模型相关链接:

目前,书⽣·浦语 2.0(InternLM2)系列模型现已在魔搭 ModelScope 社区开源,包括:

 

书生·浦语 2-7B:https://www.modelscope.cn/models/Shanghai_AI_Laboratory/internlm2-7b/summary

书生·浦语 2-对话-7B:https://www.modelscope.cn/models/Shanghai_AI_Laboratory/internlm2-chat-7b/summary

书生·浦语 2-基座-7B:https://www.modelscope.cn/models/Shanghai_AI_Laboratory/internlm2-base-7b/summary

书生·浦语 2-对话-7B-SFT:https://www.modelscope.cn/models/Shanghai_AI_Laboratory/internlm2-chat-7b-sft/summary

书生·浦语 2-基座-20B:https://www.modelscope.cn/models/Shanghai_AI_Laboratory/internlm2-base-20b/summary

书生·浦语 2-20B:https://www.modelscope.cn/models/Shanghai_AI_Laboratory/internlm2-20b/summary

书生·浦语 2-对话-20B:https://www.modelscope.cn/models/Shanghai_AI_Laboratory/internlm2-chat-20b/summary

书生·浦语 2-对话-20B-SFT:https://www.modelscope.cn/models/Shanghai_AI_Laboratory/internlm2-chat-20b-sft/summary

2024-01-18 17:587414
用户头像
李冬梅 加V:busulishang4668

发布了 1044 篇内容, 共 658.0 次阅读, 收获喜欢 1209 次。

关注

评论

发布
暂无评论
发现更多内容

苹果手机怎么恢复备份?iOS备份恢复教程

茶色酒

苹果手机备份

Go 语言入门很简单:正则表达式

宇宙之一粟

正则表达式 Go 语言 4月月更

想学习算法交易的工程师们,机会来啦~

非凸科技

rust 招聘 基金 量化交易 算法交易

别再用老版云效Projex项目协作了,该升级了

阿里云云效

阿里云 项目管理 研发团队 项目协作 项目协作工具

ThinkPHP6+swoole+easywechat使用教程

CRMEB

18 张图,一文了解 8 种常见的数据结构

爱好编程进阶

Java 程序员 后端开发

2021最新Java学习路线,自学者的福利

爱好编程进阶

Java 程序员 后端开发

imazing是什么软件?

茶色酒

imazing

Docker下,极速体验pinpoint1.6.3

程序员欣宸

Java 分布式 4月月更

大数据培训Spark SQL底层执行流程

@零度

Sparksql 大数据开发

聊聊Kotlin中的lambda

北洋

kotlin Andriod 4月月更

13W字!2021最新发布互联网大厂高频面试技术点!

爱好编程进阶

Java 程序员 后端开发

微服务与领域驱动设计,架构实践总结

架构 微服务 领域驱动设计 软件架构

C语言总结_数组全方位练习

DS小龙哥

4月月更

2021最新分享Java面试题库万字精华 github上标星80

爱好编程进阶

Java 程序员 后端开发

自己动手写 Docker 系列 -- 6.5 启动时给容器配置网络

Go Docker 4月月更

20 数据存储服务器集群的伸缩性设计

爱好编程进阶

Java 程序员 后端开发

2021最新一次Java面试,快手三面一轮游,如今已拿意向书

爱好编程进阶

Java 程序员 后端开发

华为云大咖带你玩转云原生基础设施之K8s

坚果

4月月更

imazingAPP软件怎么安装到苹果手机电脑上面?

茶色酒

imazing

Spark SQL 字段血缘在 vivo 互联网的实践

vivo互联网技术

大数据 spark Sparksql 数据处理

微信小程序开发系列 (四) :微信小程序的页面跳转路由设计

汪子熙

微信小程序 微信 前端开发 微信开发 4月月更

小平邦彦:树懒style的世界一流数学家

图灵教育

数学 数学史 数学家

字节跳动构建Data Catalog数据目录系统的实践

字节跳动数据平台

数据库 字节跳动 数据治理 数据目录

云原生训练营学习总结

arctec

一种很爽的学习方法,被我Get到了!

博文视点Broadview

企业文档协作如何进行?

小炮

文档协同

《Mybatis 手撸专栏》第6章:数据源池化技术实现

小傅哥

Java 面试 小傅哥 mybatis 源码学习

基于语义感知SBST的API场景测试智能生成

华为云开发者联盟

测试 语义感知 SBST 动态修正 ODG图

国产开源大模型阵营又添新成员!商汤科技发布新一代大语言模型书生·浦语2.0,支持200K超长上下文_生成式 AI_李冬梅_InfoQ精选文章