写点什么

OPPO 推出自主训练大模型 AndesGPT,初衷是智能助手的技术升级

  • 2023-11-16
    北京
  • 本文字数:928 字

    阅读完需:约 3 分钟

大小:474.34K时长:02:41
OPPO推出自主训练大模型AndesGPT,初衷是智能助手的技术升级

11 月 16 日,在2023 OPPO开发者大会上,OPPO 正式推出了自主训练的大模型 AndesGPT。


据介绍,AndesGPT 拥有对话增强、个性专属和端云协同三大技术特征,对于大模型带来的变革,OPPO 认为体现在四个方面:知识、 记忆、工具和创作


  • 在知识能力方面,AndesGPT 融合了知识图谱及通用搜索能力,为用户提供更专业的问答。通过知识增强技术,将外部知识与模型融合生成结果,降低幻觉。

  • 在记忆能力方面,AndesGPT 实现长期记忆机制,以支持无限长度的上下文和有状态服务。而长期记忆带来首字推理延迟这个技术挑战。为了解决该难题,OPPO 研发了一种注意力算 法命名为 SwappedAttention。SwappedAttention 能够在多轮长上下文对话中,有效降低每个 query 的首字推理时长。其核心技术原理是,通过外部存储和 KV 压缩的方式实现会话级 KV 缓存。结合 PagedAttention 算法一起使用,能够带来 50%的首字延迟降低,以及 30%的推理吞吐提升。

  • 工具使用也是 AndesGPT 一项核心能力,更好的理解设备控制与服务 API,端到端生成可执行指令。 目前 AndesGPT 已支持使用系统设置、一方应用、三方服务、代码解释器等各类工具。

  • 在创作方面,AndesGPT 已全面支持文生图与图生图场景。



AndesGPT 主要训练三种参数规格的模型——AndesGPT-Tiny、AndesGPT-Turbo 和 AndesGPT-Titan,可根据不同场景灵活选择。AndesGPT 使用行业主流的网络结构,主要做了两个组合优化:

  1. RoPE 位置编码探索了 base 的最优值,结合 log-scale 和 attention 加 bias,扩展外推能力;

  2. GQA 结合复杂移动窗口(Dilated Attention)加速了训练和推理,实现了 O(Nd)的线性复杂度。


OPPO 数智工程事业部总裁刘海锋在接受 InfoQ 采访时表示,OPPO 做大模型的一个最基本的初衷就是升级智能助手产品,让小布助手变得更有用更智能。“对于手机厂商或者智能终端厂商、本来就有智能助手的团队来说,这个事儿是非常自然且水到渠成的,因为我们有现实的用户的需求,有数据的积累,也有一些 knowhow 积累,那么我们肯定要做技术升级。”


除了落地应用,OPPO 还在推进产学研联合促进前沿技术研究。去年 OPPO 联合中国科学技术大学成立的智能计算联合实验室,已将大模型技术作为核心研究方向。此外,OPPO 还和国内外超过 45 所重点院校建立了 AI 相关的合作。未来,AndesGPT 还将面向开发者开放核心的智能体开发平台。

2023-11-16 16:337281

评论

发布
暂无评论
发现更多内容

人工智能、机器学习和数据工程 InfoQ 趋势报告 - 2021 年 8 月

Regan Yue

人工智能 9月日更 数据工程 趋势报告

写给“后浪”们的职业生涯规划建议

轻口味

android 生涯规划 音视频 9月日更

从浏览器地址栏输入url到显示页面的步骤

Augus

浏览器 9月日更

使用Tapdata一步搞定关系型数据库到MongoDB的战略迁移

tapdata

腾讯云TDSQL助力金融核心系统数字化转型

腾讯云数据库

数据库 tdsql

成为一名月薪2万的web安全工程师需要掌握哪些技能??

网络安全学海

黑客 网络安全 信息安全 渗透测试 WEB安全

双碳目标带来的机遇与挑战

石云升

新能源革命 碳中和 碳达峰 9月日更

读懂Redis源码,我总结了这7点心得

Java redis 架构 面试 后端

陌陌和它的解药,聊聊出海社交产品的思路

拍乐云Pano

社交APP出海 社交APP 泛娱乐出海

云计算科普:Pets(宠物)和Cattle(牲口)傻傻分不清楚?

刘华Kenneth

云计算 架构 云技术

地铁3D可视化,让一切尽在掌握

ThingJS数字孪生引擎

可视化

考试试卷redis存储详细设计

小智

架构训练营

浪潮云说丨浪潮云行·物联边缘云产品,让物联感知无微不至

云计算,

腾讯云TDSQL-C云原生数据库技术

腾讯云数据库

数据库 tdsql

TDSQL数据同步和备份

腾讯云数据库

数据库 tdsql

设计千万级学生管理系统的考试试卷存储方案

缘分呐

架构设计实战

“碳中和”的未来蓝图中,区块链所占据的重要位置

CECBC

智能网联汽车安全架构系列1:ECU安全机制介绍

SOA开发者

华为云正式推出区块链服务!区块链技术将在数字经济时代大放异彩

CECBC

直击灵魂!美团大牛手撸并发原理笔记,由浅入深剖析JDK源码

Java 编程 架构 面试 程序人生

拥抱云原生,华为云GaussDB全新助力金融行业数字化转型

华为云数据库小助手

GaussDB GaussDB(for openGauss) 华为云数据库

力扣前400题解答笔记,全被字节大神整理到了这份文档里

Java 编程 架构 面试 程序人生

第4章-《Linux一学就会》- vim编辑器和恢复ext4下误删文件-Xmanager工具

学神来啦

vim Linux 运维 VI

斯图飞腾Stratifyd亮相Smart Retail,AI赋能零售新增长

MyBatis Plus 批量数据插入功能,yyds!

王磊

mybatis springboot

金九银十已经过半还没拿到offer?阿里大牛熬夜整理的Java面试总结,网友已被震惊到说不出话!

Java 编程 面试 程序人生 金九银十

北京建全球领先区块链算力平台,可满足未来各类场景需求

CECBC

To B的软件产品死结怎么解?

刘华Kenneth

tob产品 客户服务

谈谈汽车芯片安全(下篇)

SOA开发者

2021中国规模化敏捷大会(早鸟票倒计时)

AmyGuo

DevOps 敏捷开发 Scrum精髓 硬件敏捷 规模化敏捷

硬件Scrum指南

AmyGuo

Scrum 敏捷开发 硬件架构 硬件开发‘ 硬件敏捷

OPPO推出自主训练大模型AndesGPT,初衷是智能助手的技术升级_生成式 AI_罗燕珊_InfoQ精选文章