报名参加CloudWeGo黑客松,奖金直推双丰收! 了解详情
写点什么

阿里云已支持 Llama2 全系列训练部署,助力企业快速打造专属大模型

  • 2023-07-25
    北京
  • 本文字数:1042 字

    阅读完需:约 3 分钟

阿里云已支持 Llama2 全系列训练部署,助力企业快速打造专属大模型

近日, Llama2 大语言模型宣布开源,覆盖 70 亿、 130 亿及 700 亿参数版本。 Llama2 可免费用于研究场景和月活 7 亿用户以下的商业场景,为企业和开发者提供了大模型研究的新工具。然而,对 Llama2 的再训练和部署仍存在较高门槛,尤其是针对效果更胜一筹的大尺寸版本。

 

为方便开发者群体,阿里云机器学习平台 PAI 在国内率先对 Llama2 系列模型进行深度适配,推出了轻量级微调、全参数微调、推理服务等场景的最佳实践方案,助力开发者快速基于 Llama2 进行再训练,搭建自己的专属大模型。



阿里云牵头发起的 AI 模型社区魔搭 ModelScope ,第一时间上架了 Llama2 系列模型。开发者可在魔搭社区 Llama2 模型页面点击“ Notebook 快速开发”,一键拉起阿里云机器学习平台 PAI ,对模型进行云上开发和部署;在其他平台下载的 Llama2 模型,也可使用阿里云 PAI 进行开发。



针对特殊的场景需求,开发者往往需使用微调训练的方法对模型进行“调整”,以获得特定领域的专业能力和知识。此时, PAI 支持开发者在云上进行轻量级 Lora 微调或更深度的全参数微调。完成模型微调后, PAI 支持开发者通过 Web UI 及 API 的方式部署 Llama2 ,使模型可以通过网页或嵌入应用与使用者交互。

 


相比本地单机训练 Llama2 ,在阿里云上可完成对超大尺寸模型的深度开发,且预置环境免运维,操作简单便捷,同时开发者可获得丰富的 AI 计算资源和极致弹性。本地单卡 GPU 只能完成 Llama2 70 亿 参数版本的轻量级 Lora 微调和推理,更大尺寸版本及更深度训练均很难支撑。在阿里云上,通过 PAI 灵骏智算服务提供的分布式计算能力,可对 Llama2 全尺寸版本进行轻量级和全参数微调,并进行高效部署和推理。


作为全球前三、亚洲第一的云厂商,阿里云是中国 AI 浪潮重要的引领者和服务者,已构建完备的 IaaS+PaaS+MaaS 一体化 AI 服务。在基础设施层,阿里云拥有国内最强的智能算力储备,灵骏智算集群具备最大十万卡 GPU 规模扩展性,可承载多个万亿参数大模型同时在线训练;在 AI 平台层,阿里云机器学习平台 PAI 提供 AI 开发全流程的工程能力, PAI 灵骏智算服务支撑了通义千问等超大模型的训练和应用,可将大模型训练性能提高近 10 倍,推理效率提升 37 %;在模型服务层,阿里云构建了国内最活跃的 AI 模型社区魔搭,并支持企业基于通义千问或三方大模型进行再训练。



今年 7 月初,阿里云宣布,将把促进中国大模型生态的繁荣作为首要目标,向大模型创业公司提供包括模型训练、推理、部署、精调、测评、产品化落地等在内的全方位服务,并在资金和商业化探索方面提供充分支持。

2023-07-25 17:236219
用户头像
赵钰莹 极客邦科技 总编辑

发布了 892 篇内容, 共 664.8 次阅读, 收获喜欢 2689 次。

关注

评论

发布
暂无评论
发现更多内容

network_factory.go源码分析

长安链

CVE-2022-22947 分析

科技怪咖

OpenSergo & CloudWeGo 共同保障微服务运行时流量稳定性

阿里巴巴云原生

阿里云 开源 微服务 云原生

企业经营管理系统哪家好?功能十分全面的阿米巴经营管理系统

优秀

项目管理工具 企业经营管理

数据湖架构及概念简介

阿里云大数据AI技术

大数据 阿里云 技术交流

TDesign 品牌价值观|视觉新基础

TDesign

腾讯 设计 开源项目

Windows下python组件hyperscan的编译与安装

科技怪咖

FIXP vs SSL/TLS,谁更安全?

LAXCUS分布式操作系统

网络安全 分布式系统

性能提升1倍,成本直降50%!基于龙蜥指令加速的下一代云原生网关

OpenAnolis小助手

操作系统 网关 龙蜥技术 cpu加速

LeaRun.Java工作流引擎 快速开发业务流程

力软低代码开发平台

华为云VSS漏洞扫描服务为你排除Apache log4j2隐患

科技怪咖

二进制SCA指纹提取黑科技: go语言逆向技术

科技怪咖

长安链 p2p-Liquid 架构设计学习笔记

长安链

基于 Serverless+OSS 分分钟实现图片秒变素描

阿里巴巴云原生

阿里云 Serverless 云原生 OSS

面向大规模数据的云端管理,百度沧海存储产品解析

Baidu AICLOUD

云存储 混合云

图解一致性模型

Databend

分布式 协议

设计模式的艺术 第二十六章访问者模式练习(开发一套高校奖励审批系统,该系统可以实现教师奖励和学生审批。如果教师发表的论文数超过10篇或学生发表论文数超过2篇可以评选科研奖,如果教师教学反馈分大于等于90分或学生平均成绩大于等于90分可以评选成绩优秀奖。)

代廉洁

设计模式的艺术

CWE 4.7中的新视图 -- 工业控制系统的安全漏洞类别

科技怪咖

数字藏品是什么?NFT系统开发。

开源直播系统源码

数字藏品 数字藏品开发 数字藏品系统 数字藏品软件

树莓派3b+ python3.5+opencv3.4.1下载安装及配置详解

Five

树莓派 OpenCV Python. 8月月更

极狐GitLab 15.3 | issues 中建任务、许可证合规分析,超 30 项更新全面来袭!

极狐GitLab

DevOps gitlab 运维 API gitops

Network源码接口分析

长安链

开源一夏 | 一文读懂Shiro登录认证全流程

六月的雨在InfoQ

开源 shiro realm 8月月更 Subject

出海有道,融云携手生态伙伴打造「出海百宝箱」

融云 RongCloud

即时通讯 产品升级

如何用VSS一键自动化扫描软件包/固件,快速排查安全风险

科技怪咖

CVE-2021-3129 分析

科技怪咖

A tour of gRPC:09 - gRPC Interceptor 拦截器

BUG侦探

gRPC RPC protocolBuffer

移动办公平台迎来定制潮,WorkPlus如何在钉钉和企微光环下 “出圈”?

BeeWorks

React useReducer 终极使用教程

蒋川

JavaScript react.js 低代码 Hooks useReducer

流日志轻松应对“10亿级别IP对”复杂场景,实现超大规模混合云网络流量可视化

Baidu AICLOUD

流日志 网络问题诊断 专线网络

安卓应用及鸿蒙应用安全检测指南

科技怪咖

阿里云已支持 Llama2 全系列训练部署,助力企业快速打造专属大模型_AI&大模型_赵钰莹_InfoQ精选文章