QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

科大讯飞做大模型:功能不需样样顶尖,先打造业务需要的能力

AI前线

  • 2024-08-23
    北京
  • 本文字数:3629 字

    阅读完需:约 12 分钟

科大讯飞做大模型:功能不需样样顶尖,先打造业务需要的能力

“讯飞研究院并非一个纯粹闭门造车的技术研究院。”科大讯飞副总裁、研究院院长刘聪说道。从 2005 成立至今,讯飞研究院为科大讯飞的产品提供了有力的技术支持,这次大模型浪潮中也不例外。


正如刘聪所说,“研究院的大部分技术都对应着具体的业务需求。”讯飞研究院一边迭代自己的基座模型,一边深入业务需求进行相关研发。


2022 年 12 月,讯飞启动了“1+N 人工智能大模型技术及应用”专项攻关,其中“1”代表通用人工智能大模型底座,“N”代表将人工智能大模型技术应用在教育、医疗、汽车、办公、智能硬件等多个行业领域。如今,讯飞对“1”和“N”的理解发生了哪些变化?


开发,今年的节奏已经不同


从去年 5 月星火大模型首个版本发布至今,一年多的时间里,讯飞研究院已经将该模型迭代到了 4.0 版本,模型也从最初的对标 GPT-3.5,更新至迭代最新的 GPT-4 Turbo。


纵观整个去年,讯飞很多产品是集中发布的,基本上 2、3 个月就有一次产品发布。这个节奏与之前几乎一年一次发布的讯飞相比要快很多。


刘聪介绍,这个时候的讯飞,更多扮演的是“追赶者”的角色:摸索整个大模型训练过程中的各种经验,比如如何处理数据、scaling law 是否符合预期等,对标国际领先模型,同时关注一些落地场景。另外,国产化也是讯飞要重点推进的工作。


对于去年的整体节奏,刘聪认为讯飞做得是比较好的,这源于讯飞会提前做好发布计划,“我们更多的是计划做得比较好,让大家感受到了每个大版本之间的变化。”


但是,今年的节奏导向已经与去年有所不同。


“今年年初,我们就对大模型这件事情已经摸索得比较清楚了。”刘聪说道,“我们现在既关注通用底座大模型,同时探索也在如何提升小模型的能力和效果。”


当前,大模型与小模型并行发展已经是行业趋势。对于选择大模型还是小模型,刘聪表示主要看场景需要什么样的模型。“如果只泛泛地说‘使用小模型与大模型差距不大’,这纯粹是胡说。”


刘聪解释道,在撰写文案、代码编写等方面,一个中小规模的模型即可搞定,讯飞将这类应用定义为一般任务;中等任务涉及行业内的很多知识库和行业深度内容,还有一些高难度任务,例如复杂推理、数学推理等,目前大模型都无法解决,更不用提小模型。


“我们一直强调大、小模型时代,并不意味着不再关注大模型了。核心技术原理是先找到大模型的天花板,再优化小模型。小模型的不断进步依赖于大模型的发展。”刘聪说道。


另外,讯飞研究院更重要的一项任务是围绕“N”中的刚需场景,把大模型应用做透彻,因此深入解决系统化问题变得非常关键。


不过在众多的基础能力上,讯飞也是有选择地进行研发。比如在通用任务中,讯飞最关注的能力之一是数学,因为在刘聪看来,数学能力与推理结合是大模型聪明的表现。


但是,不同于有的公司有专门的文生图产品,讯飞的文生图是在星火统一入口里面使用。刘聪明确称,“在文生图方面,我的优先级较低,甚至不专门制作文生视频。虽然我们与视频关系不大,但是我们会制作虚拟人、加强语音能力,我们必须做好语音交互。”


在刘聪看来,大模型底座是向多模态拓展的,对讯飞而言多模态的能力逐步提高最重要,但没有必要在一些业务关联度低、资源投入过大的方面做太多投入。在多模态中,刘聪会将重点放到 OCR(Optical Character Recognition,光学字符识别)上,“确保 OCR 做到最好,这与我的实际工作紧密相关。”


基于此,讯飞今年的重点虽然还是大模型通用能力的打造,但讯飞不会选择样样争第一,而是在自己认为的最重要的方向发力,比如交互能力等。


应用,选择更加熟悉的方向


讯飞研究院的研发工作与业务紧密相连,在研发之前,研究院要与业务部门达成深度共识,比如某个功能达到什么程度、完成客观技术指标后能为用户带来什么价值等。


达成共识之后,从研究院内部的算法研发部门、工程引擎部门、服务平台部门和资源部门,再到产品研发部门,整个过程需要一起对齐。无论发布产品、然后不断迭代,还是创新性研发一个产品,都是这样的过程。


讯飞被外界认为是较少能真正将技术实现产品落地的企业,刘聪认为这背后的核心原因是讯飞更加深入场景。


“我们找 PMF 之所以准确,是因为过去对行业场景和技术的积累。坚持阶梯原则,我们了解大模型在哪个节点可以适配、哪个场景可以发挥价值。”刘聪说道。“此外,讯飞也有深厚的场景资源和用户基础。”


以学习机为例,讯飞过去十几年从事学校工作,每天在学校里与老师打磨,持续了解中国教育政策以及未来发展趋势。老师的教学环境如何、不同年龄段的孩子是否有时间额外学习等,如果仅凭想象和拍脑袋是很难定义出来的。教育行业讲究因材施教,而非图文等技术。


落地中,选择在已积累的行业优势基础上进行大模型探索,是大多数相对成熟公司会选择的风险相对较低的策略。“自我造血非常重要,所以我们更加关注相对熟悉的方向,例如教育、医疗、办公、汽车和金融。”刘聪说道。


而什么时候完成应用则与大模型发展阶段有关系。围绕刚需场景,什么技术可以支撑、支撑度如何等都需要考虑。比如技术阅卷,之前是判断填空、选择题,后来扩展到了解答题并全学科阅卷,这都对技术要求越来越高。有了大模型后,直观的表现之一就是作文批改比之前做得更好。


讯飞业务中,硬件是不可忽略的一部分,比如有面向教育的学习机、批阅机等。讯飞业务的特点之一就是每个行业都有软硬件的差异。比如学习机不断将软件功能加到硬件上,以此提升硬件附加值。同时,硬件模式又能助力软件,例如翻译机和办公本都有一些大模型应用来升级体验,这不仅仅是单纯利用大模型的 API 连接,而是形成了适合硬件场景的独特功能。


而对外服务中,刘聪观察到,大模型的应用范围已经逐渐变大,比如金融这样的代表性场景已经往央国企拓展。“对应用大模型的企业来说,产品价值最重要的是能否降本增效。”刘聪说道。


讯飞在对 B 端业务服务过程中,发现算力统一难和整个数据管理难等问题。另外,在对外服务过程中,由于很多企业是私有化部署,因此讯飞在底座模型应用和场景开发中,对用户的场景并不清楚。为此,讯飞通过智能体平台这样的服务来解决。


“N 的逻辑必须落地。现在的阶段与去年不同,去年我们的 1+N 有些冗余,需要继续梳理。今年我们将主要的 N 梳理清楚后,一和 N 的协同变得更加系统。”刘聪说道。


根据实践观察,刘聪总结了两点经验:


第一,不必专门针对“N”,可以将其合入“1”的能力中。一个场景下的常用能力可以满足,或者在 1 基础上做某个智能体就能满足,合入“1”里就可以,这是减少重复开发的逻辑。


第二点,统一模型接口和数据接口。这里的 N 可能是业务线主导,有的是研究院主导,但一个公司内部的每个业务数据标注体系如果都不同,那将它们合并汇总到主模型就会相当困难。完成模型接口后,需要标注数据、SFT 数据和强化学习数据,形成一个技术体系。在此框架下,用户可以自行寻找专家进行标注,这样既能优化流程,又能将这些 N 的数据回流到数据库中。


结束语


对于今年讯飞的“1”和“N”而言,刘聪表示,“虽然是动态发展的,但是不能放弃。如果不演进,三个月就不行了。”


不过,随着模型规模的增大,研发周期会逐渐拉长,因此刘聪认为大模型技术后续可能不一定还那么卷。“GPT-5 底座大模型投入巨大,升级周期会变长,局部亮点可能会不断出现,但可能很难有 GPT-3.5 到 4 那么大的提升。”


在大模型争夺战中,讯飞给自己的定位是“综合能力是头部,在自己擅长的地方保持耐心和耐力”,因为一个很现实的问题就是大模型的企业同质化严重,但其实想要在每个领域都做到最好很难,OpenAI 和谷歌都做不到。


“我们还要给用户习惯的时间,通过产品培养用户和客户的耐心。”刘聪说道。


内容推荐


在这个智能时代,AI 技术如潮水般涌入千行百业,深度重塑生产与生活方式。大模型技术引领创新,精准提升行业效率,从教育个性化教学到零售精准营销,从通信稳定高效到金融智能风控,AI 无处不在。它不仅是技术革新的先锋,更是社会经济发展的强大驱动力。在 AI 的赋能下,我们正迈向一个更加智能、便捷、高效的新未来,体验前所未有的生活变革与行业飞跃。关注「AI 前线」公众号,回复「千行百业」获取免费案例资料。



会议推荐


InfoQ 将于 10 月 18-19 日在上海举办 QCon 全球软件开发大会 ,覆盖前后端 / 算法工程师、技术管理者、创业者、投资人等泛开发者群体,内容涵盖当下热点(AI Agent、AI Infra、RAG 等)和传统经典(架构、稳定性、云原生等),侧重实操性和可借鉴性。现在大会已开始正式报名,可以享受 8 折优惠,单张门票立省 960 元(原价 4800 元),详情可联系票务经理  17310043226 咨询。



今日荐文


“创业一年,人间三年”,李沐亲述 LLM 创业第一年的进展、纠结和反思


刚刚,OpenAI又双叒叕鸽了!没等来“草莓”发布,只敷衍发了评测集,网友:拿这来抢谷歌发布会风头?


三年亏损51亿元,去年卖出22台车!文远知行被爆赴美IPO,估值超360亿元


一年前还看好,现在却急刹车?国内资本动辄数十亿投资,华尔街却不敢给了


京东发行稳定币;AI服务器大厂豪气分红115.2亿;小米二期工厂附近挖出古墓?王化:假的|AI周报



2024-08-23 09:428531

评论

发布
暂无评论
发现更多内容

代码注释是程序员必备的技能吗?

小魏写代码

实战讲解|Trino 在袋鼠云数栈的探索与实践

袋鼠云数栈

大数据 前端 计算引擎 trino

Hex-Rays IDA Pro(交互式反汇编工具) v7.7汉化版

南屿

IDA Pro 静态反编译工具

Solidity案例详解(一)存钱罐合约

BSN研习社

区块链 Solidity

全国高校计算机类课程能力提升高级研修班(2024年第一期)来了!

华为云PaaS服务小智

云计算 软件开发 华为云

电影特效合成软件:NUKE 14.1v1 for Mac安装教程

南屿

NUKE 14 电影特效合成软件 NUKE下载

低代码为何这么“香”

华为云开发者联盟

低代码 开发 华为云 华为云开发者联盟 华为云Astro

软件测试/测试管理训练营马上开营! 快来免费领取试听课吧~

测吧(北京)科技有限公司

测试

测试管理训练营马上开营! 快来免费领取试听课吧~

测试人

软件测试 测试 自动化测试 测试开发

低功耗DC-DC电源模块的精细化PCB设计

华秋电子

一文教会你!如何利用火焰图快速定位内存泄漏?b

Greptime 格睿科技

数据库 rust 内存泄漏

源2.0大模型适配LLaMA-Factory框架 微调训练快捷高效

财见

Flink Kubernetes Operator 介绍

数新网络官方账号

flink

ICDM'23 BICE论文解读:基于双向LSTM和集成学习的模型框架

华为云开发者联盟

数据库 后端 华为云 华为云开发者联盟 论文解读

macOS Catalina for mac (macos 10.15系统)v10.15.7正式版

南屿

mac系统 苹果系统下载 macos 10.15系统

React Native性能优化指南

第一个程序:HelloWorld——IDEA 使用

小魏写代码

软件测试 | 拒绝上市公司的 Offer,选择自己喜爱的行业,这么从容不迫他凭什么?

测吧(北京)科技有限公司

测试

交互式产品原型设计工具 Axure RP 9汉化授权版 【Mac/win】

南屿

Axure RP 9汉化 Axure RP 9授权码 Axure RP 9破解版 原型设计工具

音乐编辑软件Studio One 6 Pro新功能介绍 含Studio One 6破解注册机

南屿

音乐制作 Studio One 许可证 Studio One 破解 Studio One 6下载

illustrator 2024中文破解版 含AI2024激活补丁【Mac/win】

南屿

AI2024破解版 矢量图形设计工具 Illustrator 2024下载 Illustrator 2024中文版

探究低代码平台

互联网工科生

低代码 JNPF

FastAPI 并发请求:打造更快的Web应用

Liam

程序员 性能优化 并发编程 后端 FastApi

[杂谈]字符串操作-两个数组之间的重排序

alexgaoyh

重排序 数组 字符串 数组之间

推动SiCMOSFET国产化,华秋获“芯塔电子”优秀媒体合作伙伴奖

华秋电子

云行| 国云筑基 焕新启航,天翼云中国行·东莞站圆满举行!

天翼云开发者社区

云计算 数字化 云电脑

面试官:SpringBoot如何实现缓存预热?

王磊

Java 面试

Ngnix常用配置及和基本功能讲解

京东科技开发者

MacOS远程管理软件哪款好?Royal TSX for Mac v6.0.2激活版

南屿

Royal TSX 教程 MacOS远程管理 Royal TSX mac破解版

科大讯飞做大模型:功能不需样样顶尖,先打造业务需要的能力_AI&大模型_InfoQ精选文章