写点什么

百川智能与鹏城实验室开展合作,突破国产算力大模型长窗口技术

  • 2023-11-17
    北京
  • 本文字数:1410 字

    阅读完需:约 5 分钟

大小:729.25K时长:04:08
百川智能与鹏城实验室开展合作,突破国产算力大模型长窗口技术

11 月 16 日,百川智能鹏城实验室宣布携手探索大模型训练和应用,合作研发基于国产算力的 128K 长窗口大模型“鹏城-百川·脑海 33B”。这是国产算力大模型创新与落地的一次实践,对国产算力大模型发展具有积极示范作用。



百川智能携手鹏城实验室助力国产算力大模型创新

 

众所周知,训练大模型需要海量的算力,并且大模型参数数量的增长与算力的平方成正比。大模型性能的竞争,一定程度上是算力的比拼。在复杂多变的国际环境下,国内算力供给与需求之间的“鸿沟”持续扩大,国产化算力已经成为国内大模型企业的必要选择。

 

虽然国内诸多企业在通用 AI 芯片方面早有布局,在芯片量产、生态构建、应用拓展领域也取得了不错进展,但基于国产算力训练大模型,仍面临着生态建设、成本控制、能效比优化等阻碍。因此算力完全自主,仍需要芯片厂商、大模型企业、学术科研机构等多方共同努力。

 

鹏城实验室表示,鹏城实验室秉持“国产算力+自主大模型”的创新理念,依托“鹏城·脑海”开源联合体,广泛联合企业、高校和科研院所,致力于通过开源群智的合作模式共享资源,为千行百业插上人工智能的“翅膀”。百川智能是国内领先的大模型企业,自成立以来一直在推动大模型研发和开源生态建设,其开源和闭源模型在同等量级权威评测中都取得了优异成绩。双方在合作过程中能够充分发挥各自优势形成合力,更好地满足我国不断增长的智能化转型需求,助力中国人工智能产业快速崛起。

 

百川智能表示,百川智能希望通过开源、与合作伙伴共创等方式助力中国大模型创新,繁荣本土大模型生态。鹏城实验室作为国家战略科技力量的重要组成部分,在国产算力大模型研发和应用等方面一直处于国内领先位置。本次百川智能与鹏城实验室合作研发“鹏城-百川·脑海 33B”长窗口大模型,是国产算力大模型技术创新和落地的一次突破。未来,百川智能将在技术、算力等诸多维度不断深化与鹏城实验室的合作,持续助力本土大模型创新发展。

 

国产算力最长上下文窗口,“鹏城-百川·脑海 33B”率先实现国产算力技术突破

 

论坛上,百川智能和鹏城实验室展示了双方共同研发的“鹏城-百川·脑海 33B”大模型。“鹏城-百川·脑海 33B”的 128K 长上下文窗口基于“鹏城云脑”国产算力平台训练,未来可升级至 192K,是基于国产算力训练的最长上下文窗口。

 

上下文窗口长度对模型理解和生成与特定上下文相关的文本至关重要,是大模型的核心技术之一。通常而言,更长的上下文窗口可以提供更丰富的语义信息、消除歧义,能够让模型生成的内容更准确、更流畅。

 

为了更好地提升“鹏城-百川·脑海 33B”上下文窗口长度和模型整体性能,百川智能和鹏城实验室对模型进行了全流程优化。在数据集构建方面,采用精细的数据构造,实现了段落、句子粒度的自动化数据过滤、选择、配比,良好的提升了数据质量;在训练架构上,通过 NormHead、max-Z-Loss、dynamic-LR 等自研或业界领先的模型训练优化技术,对 Transformer 模块进行深度优化,确保模型收敛稳定的同时,全面提升了模型优化效率和最终效果;此外,还在全生命周期的模型工具集中,通过与北京大学王亦洲、杨耀东老师团队的合作,首创了带安全约束的 RLHF 对齐技术,有效提升了模型内容生成质量和安全性。

 

未来,双方将在国产算力大模型技术创新和模型落地等方面继续加强合作,并与相关领域的优势单位如北京大学、清华大学等开展协同创新,助力本土大模型在模型性能、技术创新方面持续突破,推动本土大模型进一步开源开放,为更多行业智能化转型提供帮助和支持。

2023-11-17 14:261735

评论

发布
暂无评论
发现更多内容

Boris FX Silhouette 2024 (影视跟踪抠像合成软件) v2024.5.6 直装版

Rose

axure rp 9怎么转换为中文版?axurerp9中文版安装包 附授权码

Rose

openEuler 全栈式 AI 推理方案 使能 AI 普惠千行百业,推动企业实现数智化转型

极客天地

城市综合治理系统(源码+文档+讲解+演示)

深圳亥时科技

PHP集成开发环境JetBrains PhpStorm 2024 最新中文密钥分享

Rose

请查收官方通知!这5场课程,助您成为数智财务高端人才!

用友智能财务

AI 财务 会计

反向海淘代购系统平台总被骂"二次收费"?搭建者必看的5大自检清单与解决方案

代码忍者

来看看现在go开发岗10k的面试强度

王中阳Go

Go 面试 后端 中小厂

鸿蒙特效教程03-水波纹动画效果实现教程

苏杰豪

鸿蒙 HarmonyOS HarmonyOS NEXT

达芬奇DaVinci Fusion Studio 19.1.4中文激活版

Rose

graphpad prism 10中文版 含注册机 | 数据分析绘图软件

Rose

鸿蒙特效教程10-卡片展开/收起效果

苏杰豪

鸿蒙 HarmonyOS ArkTS HarmonyOS NEXT

鸿蒙特效教程05-鸿蒙很开门

苏杰豪

鸿蒙 HarmonyOS ArkTS HarmonyOS NEXT

鸿蒙特效教程06-可拖拽网格实现教程

苏杰豪

鸿蒙 HarmonyOS ArkTS HarmonyOS NEXT

鸿蒙特效教程09-深入学习animateTo动画

苏杰豪

鸿蒙 HarmonyOS ArkTS HarmonyOS NEXT

免费好用的HEU KMS Activator(Win/Office全自动激活工具)

Rose

适用于Mac/win的数据库管理工具TablePlus v6.4.1

Rose

KeyShot 2025新功能详细介绍(附keyshot2025安装教程)

Rose

哪里有cad2024详细激活教程?Autodesk AutoCAD 2024安装教程分享

Rose

借助淘宝拍立淘API,打造超便捷商品识别引擎

tbapi

淘宝API接口 淘宝图片搜索接口 淘宝拍立淘接口

图解「模型上下文协议(MCP)」:从与传统 API 的比较入手

Baihai IDP

AI agent LLM MCP 模型上下文协议

鸿蒙特效教程01-哔哩哔哩点赞与一键三连

苏杰豪

鸿蒙 交互设计 HarmonyOS ArkTS HarmonyOS NEXT

鸿蒙特效教程04-直播点赞动画效果实现教程

苏杰豪

鸿蒙 HarmonyOS ArkTS HarmonyOS NEXT

HarmonyOS 之 @Require 装饰器自学指南

李游Leo

HarmonyOS NEXT

精准审查,规避风险:中烟创新智能合同审查系统为企业保驾护航

中烟创新

Web3的成功离不开什么?

PowerVerse

区块链 web3 dapps

鸿蒙特效教程07-九宫格幸运抽奖

苏杰豪

鸿蒙 HarmonyOS ArkTS HarmonyOS NEXT

鸿蒙特效教程02-微信语音录制动画效果实现教程

苏杰豪

鸿蒙 HarmonyOS ArkTS HarmonyOS NEXT

鸿蒙特效教程08-幸运大转盘抽奖

苏杰豪

鸿蒙 HarmonyOS ArkTS HarmonyOS NEXT

Photoshop 2025系统要求 ps2025中文版激活补丁分享

Rose

PowerVerse QA:打造面向全球的AI+DePIN+Metaverse+Web3.0 DeCloud生态服务

PowerVerse

云算力 云算力挖矿 去中心化云算力 算力生态

百川智能与鹏城实验室开展合作,突破国产算力大模型长窗口技术_生成式 AI_百川智能_InfoQ精选文章