写点什么

200 亿参数大模型书生·浦语在阿里云魔搭开源首发,免费可商用

  • 2023-09-20
    北京
  • 本文字数:1167 字

    阅读完需:约 4 分钟

大小:592.50K时长:03:22
200亿参数大模型书生·浦语在阿里云魔搭开源首发,免费可商用

9 月 20 日,上海人工智能实验室等机构发布书生·浦语大模型(InternLM)200 亿参数版本 InternLM-20B,并在阿里云魔搭社区(ModelScope)开源首发、免费商用。书生·浦语大模型体系与魔搭社区建立重磅生态合作,以开源开放促进中国大模型生态繁荣。

 


书生·浦语(InternLM)大语言模型由上海人工智能实验室联合多家机构共同推出。今年 6 月,InternLM 千亿参数(104B)语言大模型首次发布,现已经历多轮升级;7 月,上海人工智能实验室开源书生·浦语 70 亿参数的轻量级版本 InternLM-7B,且在业内率先开源贯穿数据、预训练、微调、部署和评测的全链条工具体系。InternLM-7B 也已上线魔搭社区。

 

本次发布的 InternLM-20B 是一款中量级大模型,性能先进且应用便捷,模型基于 2.3T Tokens 预训练语料从头训练,相较于 InternLM-7B,其理解能力、推理能力、数学能力、编程能力等都有显著提升。

 

相比于此前国内陆续开源的 7B 和 13B 规格模型,20B 量级模型具备更强大的综合能力,复杂推理和反思能力尤为突出,能为实际应用场景提供更有力的性能支持;同时,20B 量级模型可在单卡上进行推理,经过低比特量化后,可运行在单块消费级 GPU 上,因而在实际应用中更为便捷。

 

具体而言,InternLM-20B 拥有几大优势:


  1. 优异的综合性能。不仅全面领先相近量级的开源模型,且以不足 1/3 的参数量,测评成绩达到了 Llama2-70B 的水平。

  2. 强大的工具调用能力。支持数十类插件,上万个 API 功能,还具备代码解释和反思修正能力,为智能体(Agent)的构建提供了良好的技术基础。

  3. 更长的语境。实现了对长文理解、长文生成和超长对话的有效支持,同时支持 16K 语境长度。

  4. 更安全的价值对齐。在研发训练的过程中,研究团队进行了基于 SFT 和 RLHF 两阶段价值对齐,并通过专家红队的对抗训练大幅提高其安全性。

 

目前,书生·浦语开源工具链也已全新升级,形成更完善的体系,包括预训练框架 InternLM-Train、低成本微调框架 XTuner、部署推理框架 LMDeploy、评测框架 OpenCompass 以及面向场景应用的智能体框架 Lagent。书生·浦语工具链将和开源数据平台 OpenDataLab 构成强大的开源工具及数据体系,为业界提供全链条研发与应用支持。

 

魔搭社区开设了书生·浦语“模型品牌馆”专页,聚合书生·浦语系列所有模型及体验接口,便于开发者一站式查询、下载、使用书生模型;魔搭公众号则推出了最佳实践教程,提前跑通模型的部署、推理和微调流程,供开发者参考。

 

相关链接:

书生·浦语-20B:

https://modelscope.cn/models/Shanghai_AI_Laboratory/internlm-20b

书生·浦语-对话-20B:

https://modelscope.cn/models/Shanghai_AI_Laboratory/internlm-20b-chat

魔搭社区最佳实践:

https://mp.weixin.qq.com/s?__biz=MzkxNTM5NTg2OA==&mid=2247486560&idx=1&sn=28517fb276b9d87b7f75d432a8a3dc2f&chksm=c15e8813f62901053216926c3d9b18d63ee825ea9e28fbeeec2a9e92360b1d3286263a6ae574#rd

2023-09-20 17:578178

评论 1 条评论

发布
用户头像
hhh
2023-09-20 21:54 · 北京
回复
没有更多了
发现更多内容

docker面试题汇总,尚学堂尚硅谷java,已拿offer入职

Java 程序员 后端

在线手机号码VCF批量导入工具

入门小站

工具

Javaweb面试问题,java教程马士兵全集,设计思想解读开源框架

Java 程序员 后端

60分钟快速掌握RabbitMQ,Java基础全套视频教程

Java 程序员 后端

95%Java开发者已收藏的十大开源库,手把手教你写Java项目文档

Java 程序员 后端

996页阿里Java面试真题解析火爆全网,Java工程师笔试题目

Java 程序员 后端

ELK性能优化实战总结,黑马java笔记与作业,Java面试基础知识点

Java 程序员 后端

Github爆火的《高并发秒杀顶级教程》,尚学堂java资料,Java基础面试题

Java 程序员 后端

Javaweb框架面试题,尚学堂java全套资料百度云,附高频面试题合集

Java 程序员 后端

Java400道面试题通关宝典助你进大厂,Java后端工程师需要掌握的知识

Java 程序员 后端

Java中级笔试题百度文库,java架构师直通车百度云,使用指南

Java 程序员 后端

让区块链技术在经济社会发展中发挥更大作用

CECBC

BTAJ大厂最新面试题汇集,中级Java开发人员要掌握的技术

Java 程序员 后端

GitHub标星8k!黑马springboot笔记,阿里Java校招面试题

Java 程序员 后端

60分钟快速掌握RabbitMQ,Java常用数据结构面试题

Java 程序员 后端

74道高级Java面试合集:nginx入门到精百度云,Java校招笔试面试题目

Java 程序员 后端

80后程序员月薪30K+感慨中年危机,Java开发面试准备

Java 程序员 后端

Dubbo高频面试题+解析,宅家36天咸鱼翻身入职腾讯

Java 程序员 后端

flutter中文网,达内java教程视频,HTTP规范中的那些容易掉进去的坑

Java 程序员 后端

Java-SSM框架相关面试题整理,2021Java面试题知识点总结

Java 程序员 后端

985研究生入职电网6个月,牛客网面经下载,血与泪的总结

Java 程序员 后端

BIO和NIO有啥区别,Redis灵魂14问

Java 程序员 后端

BIO和NIO有啥区别,绝对干货分享

Java 程序员 后端

分布式存储和区块链结合能碰撞出怎样的火花?

CECBC

Alibaba高并发业务实战文档,java自学百度网盘,Java架构师知识体系

Java 程序员 后端

997页字节跳动Java面试真题解析火爆全网,腾讯T3大佬亲自教你

Java 程序员 后端

HTTPS面试常问全解析,黑马学习java,Java中高级工程师面试题及答案

Java 程序员 后端

hash、set、zset的底层数据结构原理,字节Java面试必问

Java 程序员 后端

阿里云容器服务多项重磅发布:高效智能、安全无界的新一代平台

阿里巴巴云原生

阿里云 容器 云原生 云栖大会

7天拿到阿里Java岗位offer,2021腾讯Java面试题精选

Java 程序员 后端

Github爆火的《高并发秒杀顶级教程》,2021最新Java框架体系架构面试题

Java 程序员 后端

200亿参数大模型书生·浦语在阿里云魔搭开源首发,免费可商用_阿里巴巴_凌敏_InfoQ精选文章