QCon 演讲火热征集中,快来分享技术实践与洞见! 了解详情
写点什么

国产开源大模型阵营又添新成员!商汤科技发布新一代大语言模型书生·浦语 2.0,支持 200K 超长上下文

  • 2024-01-18
    北京
  • 本文字数:1019 字

    阅读完需:约 3 分钟

大小:356.42K时长:02:01
国产开源大模型阵营又添新成员!商汤科技发布新一代大语言模型书生·浦语2.0,支持200K超长上下文

1 月 17 日,商汤科技与上海 AI 实验室联合香港中文大学和复旦大学正式发布新一代大语言模型书生·浦语 2.0(InternLM2)。

 

InternLM2 是在 2.6 万亿 token 的高质量语料上训练得到的。沿袭第一代书生·浦语(InternLM)设定,InternLM2 包含 7B 及 20B 两种参数规格及基座、对话等版本,满足不同复杂应用场景需求,

 

沿袭第一代书生·浦语(InternLM)的设定,InternLM2 包含 7B 及 20B 两种参数规格及基座、对话等版本,满足不同复杂应用场景需求,分别是:

 

  • Internlm2-base: 高质量和具有很强可塑性的模型基座,是模型进行深度领域适配的高质量起点;

  • Internlm2: 在 internlm2-base 基础上,在多个能力方向进行了强化,在评测中成绩优异,同时保持了很好的通用语言能力;

  • Internlm2-sft:在 Base 基础上,进行有监督的人类对齐训练;

  • Internlm2-chat:在 internlm2-sft 基础上,经过 RLHF,面向对话交互进行了优化,具有很好的指令遵循、共情聊天和调用工具等的能力。


InternLM2 的基础模型具备以下的技术特点:

 

  • 有效支持 20 万 tokens 的超长上下文:能够一次性接受并处理约 30 万汉字(约五六百页的文档)的输入内容。

  • 综合性能全面提升:各能力维度相比上一代模型全面进步,在推理、数学、代码等方面的能力提升显著。

 

值得一提的是,书生·浦语 2.0 版本将继续开源,提供免费商用授权。

 

Github 地址:

https://github.com/InternLM/InternLM

 

模型相关链接:

目前,书⽣·浦语 2.0(InternLM2)系列模型现已在魔搭 ModelScope 社区开源,包括:

 

书生·浦语 2-7B:https://www.modelscope.cn/models/Shanghai_AI_Laboratory/internlm2-7b/summary

书生·浦语 2-对话-7B:https://www.modelscope.cn/models/Shanghai_AI_Laboratory/internlm2-chat-7b/summary

书生·浦语 2-基座-7B:https://www.modelscope.cn/models/Shanghai_AI_Laboratory/internlm2-base-7b/summary

书生·浦语 2-对话-7B-SFT:https://www.modelscope.cn/models/Shanghai_AI_Laboratory/internlm2-chat-7b-sft/summary

书生·浦语 2-基座-20B:https://www.modelscope.cn/models/Shanghai_AI_Laboratory/internlm2-base-20b/summary

书生·浦语 2-20B:https://www.modelscope.cn/models/Shanghai_AI_Laboratory/internlm2-20b/summary

书生·浦语 2-对话-20B:https://www.modelscope.cn/models/Shanghai_AI_Laboratory/internlm2-chat-20b/summary

书生·浦语 2-对话-20B-SFT:https://www.modelscope.cn/models/Shanghai_AI_Laboratory/internlm2-chat-20b-sft/summary

2024-01-18 17:587358
用户头像
李冬梅 加V:busulishang4668

发布了 981 篇内容, 共 585.9 次阅读, 收获喜欢 1139 次。

关注

评论

发布
暂无评论
发现更多内容

Wallys//IPQ6010/IPQ6018/IPQ6000/industrial wifi6 router/DFS/M.2/ 2x2 2.4GHz/5GHz

wallysSK

IPQ6010 ipq6018 IPQ6000

cdr2023最新试用版下载CorelRAW2023

茶色酒

CorelRAW2023

我服了,阿里挖过来的leader连垃圾回收都说不清楚

钟奕礼

Java java程序员 java面试 java编程

聊聊mybatis的反射之Reflector类

急需上岸的小谢

11月月更

小令观点 | 急需身份证扫描件?【A4证照扫描王】来帮你

令牌云数字身份

软件推荐 入职 打印 证照扫描

Python3.10的开发环境的搭建

千锋IT教育

【Go】力扣 - 剑指 Offer 第五天 - 二维数组中的查找

陈明勇

Go 数据结构与算法 力扣 11月月更

首份关基安全国标刚发布,客户把我叫到了办公室......

青藤云安全

网络安全 青藤云安全

三个经典的MySQL问题

千锋IT教育

PCB焊接出问题了,是PCB工程师的锅吗?

华秋PCB

PCB PCB设计 焊接

聊聊索引

急需上岸的小谢

11月月更

防止会议被入侵,华为云会议更专业

IT科技苏辞

索引数据结构千千万 , 为什么B+Tree独领风骚

程序知音

行业首个测试开发技术大赛开始报名啦~ 10万现金奖励等你来挑战

测吧(北京)科技有限公司

软件测试

Serverless 的前世今生

阿里巴巴云原生

阿里云 Serverless 云原生

一个 3 年 Java 程序员 5 家大厂的面试总结(已拿Offer)

钟奕礼

Java java程序员 java面试 java编程

被性能优化撂倒无数次后的顿悟!465页调优笔记助力大厂面试之旅

程序知音

Java JVM 性能调优 java架构 后端技术

HDC.Cloud Day | 全国首场上海站告捷,聚开发者力量造梦、探梦、筑梦

华为云开发者联盟

云计算 华为云

Docker搭建私有registry镜像仓库

蜗牛也是牛

1000道最新高频Java面试题,覆盖25个技术栈(多线程、JVM、高并发、spring、微服务、kafka,redis、分布式)从底层原理到架构!

程序知音

Java Java 面试 大厂面试 java架构 后端技术

聊聊mybatis的架构模块

急需上岸的小谢

11月月更

简述SpringAOP的实现原理

千锋IT教育

开源|ftlog升级啦!功能更强,性能更高,细节更极致

非凸科技

阿里P8大佬神创“Netty突击笔记”,堪称全网最全最牛逼的核心原理手册

程序知音

Java Netty JAVA开发 java架构 后端技术

进大厂必刷的Java面试题

钟奕礼

Java java程序员 java面试 java编程

一个关于X证券20000台服务器的血泪故事

青藤云安全

网络安全 青藤云安全

基于云原生网关的可观测性最佳实践

阿里巴巴云原生

阿里云 微服务 云原生 可观测

数据库索引相关和EFCore的索引映射

C++后台开发

数据库 后端开发 Linux服务器开发 C++开发 数据库索引

微服务平滑迁移上云最佳实践

阿里巴巴云原生

阿里云 微服务 云原生

PG SQL 语法汇总

蜗牛也是牛

聊一聊华为云弹性公网IP的那些事儿

爱尚科技

国产开源大模型阵营又添新成员!商汤科技发布新一代大语言模型书生·浦语2.0,支持200K超长上下文_生成式 AI_李冬梅_InfoQ精选文章