写点什么

科大讯飞做大模型:功能不需样样顶尖,先打造业务需要的能力

AI前线

  • 2024-08-23
    北京
  • 本文字数:3629 字

    阅读完需:约 12 分钟

科大讯飞做大模型:功能不需样样顶尖,先打造业务需要的能力

“讯飞研究院并非一个纯粹闭门造车的技术研究院。”科大讯飞副总裁、研究院院长刘聪说道。从 2005 成立至今,讯飞研究院为科大讯飞的产品提供了有力的技术支持,这次大模型浪潮中也不例外。


正如刘聪所说,“研究院的大部分技术都对应着具体的业务需求。”讯飞研究院一边迭代自己的基座模型,一边深入业务需求进行相关研发。


2022 年 12 月,讯飞启动了“1+N 人工智能大模型技术及应用”专项攻关,其中“1”代表通用人工智能大模型底座,“N”代表将人工智能大模型技术应用在教育、医疗、汽车、办公、智能硬件等多个行业领域。如今,讯飞对“1”和“N”的理解发生了哪些变化?


开发,今年的节奏已经不同


从去年 5 月星火大模型首个版本发布至今,一年多的时间里,讯飞研究院已经将该模型迭代到了 4.0 版本,模型也从最初的对标 GPT-3.5,更新至迭代最新的 GPT-4 Turbo。


纵观整个去年,讯飞很多产品是集中发布的,基本上 2、3 个月就有一次产品发布。这个节奏与之前几乎一年一次发布的讯飞相比要快很多。


刘聪介绍,这个时候的讯飞,更多扮演的是“追赶者”的角色:摸索整个大模型训练过程中的各种经验,比如如何处理数据、scaling law 是否符合预期等,对标国际领先模型,同时关注一些落地场景。另外,国产化也是讯飞要重点推进的工作。


对于去年的整体节奏,刘聪认为讯飞做得是比较好的,这源于讯飞会提前做好发布计划,“我们更多的是计划做得比较好,让大家感受到了每个大版本之间的变化。”


但是,今年的节奏导向已经与去年有所不同。


“今年年初,我们就对大模型这件事情已经摸索得比较清楚了。”刘聪说道,“我们现在既关注通用底座大模型,同时探索也在如何提升小模型的能力和效果。”


当前,大模型与小模型并行发展已经是行业趋势。对于选择大模型还是小模型,刘聪表示主要看场景需要什么样的模型。“如果只泛泛地说‘使用小模型与大模型差距不大’,这纯粹是胡说。”


刘聪解释道,在撰写文案、代码编写等方面,一个中小规模的模型即可搞定,讯飞将这类应用定义为一般任务;中等任务涉及行业内的很多知识库和行业深度内容,还有一些高难度任务,例如复杂推理、数学推理等,目前大模型都无法解决,更不用提小模型。


“我们一直强调大、小模型时代,并不意味着不再关注大模型了。核心技术原理是先找到大模型的天花板,再优化小模型。小模型的不断进步依赖于大模型的发展。”刘聪说道。


另外,讯飞研究院更重要的一项任务是围绕“N”中的刚需场景,把大模型应用做透彻,因此深入解决系统化问题变得非常关键。


不过在众多的基础能力上,讯飞也是有选择地进行研发。比如在通用任务中,讯飞最关注的能力之一是数学,因为在刘聪看来,数学能力与推理结合是大模型聪明的表现。


但是,不同于有的公司有专门的文生图产品,讯飞的文生图是在星火统一入口里面使用。刘聪明确称,“在文生图方面,我的优先级较低,甚至不专门制作文生视频。虽然我们与视频关系不大,但是我们会制作虚拟人、加强语音能力,我们必须做好语音交互。”


在刘聪看来,大模型底座是向多模态拓展的,对讯飞而言多模态的能力逐步提高最重要,但没有必要在一些业务关联度低、资源投入过大的方面做太多投入。在多模态中,刘聪会将重点放到 OCR(Optical Character Recognition,光学字符识别)上,“确保 OCR 做到最好,这与我的实际工作紧密相关。”


基于此,讯飞今年的重点虽然还是大模型通用能力的打造,但讯飞不会选择样样争第一,而是在自己认为的最重要的方向发力,比如交互能力等。


应用,选择更加熟悉的方向


讯飞研究院的研发工作与业务紧密相连,在研发之前,研究院要与业务部门达成深度共识,比如某个功能达到什么程度、完成客观技术指标后能为用户带来什么价值等。


达成共识之后,从研究院内部的算法研发部门、工程引擎部门、服务平台部门和资源部门,再到产品研发部门,整个过程需要一起对齐。无论发布产品、然后不断迭代,还是创新性研发一个产品,都是这样的过程。


讯飞被外界认为是较少能真正将技术实现产品落地的企业,刘聪认为这背后的核心原因是讯飞更加深入场景。


“我们找 PMF 之所以准确,是因为过去对行业场景和技术的积累。坚持阶梯原则,我们了解大模型在哪个节点可以适配、哪个场景可以发挥价值。”刘聪说道。“此外,讯飞也有深厚的场景资源和用户基础。”


以学习机为例,讯飞过去十几年从事学校工作,每天在学校里与老师打磨,持续了解中国教育政策以及未来发展趋势。老师的教学环境如何、不同年龄段的孩子是否有时间额外学习等,如果仅凭想象和拍脑袋是很难定义出来的。教育行业讲究因材施教,而非图文等技术。


落地中,选择在已积累的行业优势基础上进行大模型探索,是大多数相对成熟公司会选择的风险相对较低的策略。“自我造血非常重要,所以我们更加关注相对熟悉的方向,例如教育、医疗、办公、汽车和金融。”刘聪说道。


而什么时候完成应用则与大模型发展阶段有关系。围绕刚需场景,什么技术可以支撑、支撑度如何等都需要考虑。比如技术阅卷,之前是判断填空、选择题,后来扩展到了解答题并全学科阅卷,这都对技术要求越来越高。有了大模型后,直观的表现之一就是作文批改比之前做得更好。


讯飞业务中,硬件是不可忽略的一部分,比如有面向教育的学习机、批阅机等。讯飞业务的特点之一就是每个行业都有软硬件的差异。比如学习机不断将软件功能加到硬件上,以此提升硬件附加值。同时,硬件模式又能助力软件,例如翻译机和办公本都有一些大模型应用来升级体验,这不仅仅是单纯利用大模型的 API 连接,而是形成了适合硬件场景的独特功能。


而对外服务中,刘聪观察到,大模型的应用范围已经逐渐变大,比如金融这样的代表性场景已经往央国企拓展。“对应用大模型的企业来说,产品价值最重要的是能否降本增效。”刘聪说道。


讯飞在对 B 端业务服务过程中,发现算力统一难和整个数据管理难等问题。另外,在对外服务过程中,由于很多企业是私有化部署,因此讯飞在底座模型应用和场景开发中,对用户的场景并不清楚。为此,讯飞通过智能体平台这样的服务来解决。


“N 的逻辑必须落地。现在的阶段与去年不同,去年我们的 1+N 有些冗余,需要继续梳理。今年我们将主要的 N 梳理清楚后,一和 N 的协同变得更加系统。”刘聪说道。


根据实践观察,刘聪总结了两点经验:


第一,不必专门针对“N”,可以将其合入“1”的能力中。一个场景下的常用能力可以满足,或者在 1 基础上做某个智能体就能满足,合入“1”里就可以,这是减少重复开发的逻辑。


第二点,统一模型接口和数据接口。这里的 N 可能是业务线主导,有的是研究院主导,但一个公司内部的每个业务数据标注体系如果都不同,那将它们合并汇总到主模型就会相当困难。完成模型接口后,需要标注数据、SFT 数据和强化学习数据,形成一个技术体系。在此框架下,用户可以自行寻找专家进行标注,这样既能优化流程,又能将这些 N 的数据回流到数据库中。


结束语


对于今年讯飞的“1”和“N”而言,刘聪表示,“虽然是动态发展的,但是不能放弃。如果不演进,三个月就不行了。”


不过,随着模型规模的增大,研发周期会逐渐拉长,因此刘聪认为大模型技术后续可能不一定还那么卷。“GPT-5 底座大模型投入巨大,升级周期会变长,局部亮点可能会不断出现,但可能很难有 GPT-3.5 到 4 那么大的提升。”


在大模型争夺战中,讯飞给自己的定位是“综合能力是头部,在自己擅长的地方保持耐心和耐力”,因为一个很现实的问题就是大模型的企业同质化严重,但其实想要在每个领域都做到最好很难,OpenAI 和谷歌都做不到。


“我们还要给用户习惯的时间,通过产品培养用户和客户的耐心。”刘聪说道。


内容推荐


在这个智能时代,AI 技术如潮水般涌入千行百业,深度重塑生产与生活方式。大模型技术引领创新,精准提升行业效率,从教育个性化教学到零售精准营销,从通信稳定高效到金融智能风控,AI 无处不在。它不仅是技术革新的先锋,更是社会经济发展的强大驱动力。在 AI 的赋能下,我们正迈向一个更加智能、便捷、高效的新未来,体验前所未有的生活变革与行业飞跃。关注「AI 前线」公众号,回复「千行百业」获取免费案例资料。



会议推荐


InfoQ 将于 10 月 18-19 日在上海举办 QCon 全球软件开发大会 ,覆盖前后端 / 算法工程师、技术管理者、创业者、投资人等泛开发者群体,内容涵盖当下热点(AI Agent、AI Infra、RAG 等)和传统经典(架构、稳定性、云原生等),侧重实操性和可借鉴性。现在大会已开始正式报名,可以享受 8 折优惠,单张门票立省 960 元(原价 4800 元),详情可联系票务经理  17310043226 咨询。



今日荐文


“创业一年,人间三年”,李沐亲述 LLM 创业第一年的进展、纠结和反思


刚刚,OpenAI又双叒叕鸽了!没等来“草莓”发布,只敷衍发了评测集,网友:拿这来抢谷歌发布会风头?


三年亏损51亿元,去年卖出22台车!文远知行被爆赴美IPO,估值超360亿元


一年前还看好,现在却急刹车?国内资本动辄数十亿投资,华尔街却不敢给了


京东发行稳定币;AI服务器大厂豪气分红115.2亿;小米二期工厂附近挖出古墓?王化:假的|AI周报



2024-08-23 09:428342

评论

发布
暂无评论
发现更多内容

Ubuntu 22.04安装配置flatpak

百度搜索:蓝易云

捷途山海 T2:安全先锋,守护每一段旅程

科技热闻

老板:你来弄个团队代码提交规范

禅道项目管理

程序员 DevOps 项目管理软件 代码提交规范 测试团队

洞察市场趋势,实时监控商品信息是关键 —— 淘宝API的实践探索

技术冰糖葫芦

API 接口 API 文档 API 测试 API 性能测试

Mac 桌面管理软件Royal TSX for Mac远程管理软件

Mac相关知识分享

线上事故风险解读之缓存篇

巧手打字通

redis 缓存 架构 事故 经验总结

一种基于alpine、支持ARM架构64位的镜像构建方法及其构建系统

天翼云开发者社区

云计算 arm

1688跨境代采业务api接口全解析

代码忍者

pinduoduo API API 性能测试

抖音商品SKU数据API:解锁电商数据分析新篇章

代码忍者

pinduoduo API API 性能测试

阿里云 EMR Serverless Spark 版正式开启商业化

阿里云大数据AI技术

大数据 spark Serverless 云原生 EMR

linux下redis 扩内存相关命令

威哥爱编程

redis Linux

企业运维安全方法看这里-行云管家

行云管家

堡垒机 IT运维 企业运维 运维安全

OpenAPI 简介

天翼云开发者社区

网络安全 服务器 API 接口

虚拟定位软件:AnyGo for Mac 6.9.5免激活版

你的猪会飞吗

AnyGo下载 AnyGo激活版 AnyGo for Mac AnyGo 中文破解

寻趣“6”朝古都 MAZDA EZ-6开启金陵CITY WALK

科技热闻

强大数据库管理软件Navicat Premium 15 for Mac

Mac相关知识分享

蒲城等保测评机构有哪些?在哪里?

行云管家

等保 等级保护 蒲城

Java图片压缩:thumbnailator与commons-imaging

程序员架构进阶

架构 Java’ 图片压缩 10月月更 Thumbnails

Ubuntu 22报错:PAM unable to dlopen(pam_tally2.so)

百度搜索:蓝易云

误删GreatSQL数据?别慌,Binlog来帮忙

GreatSQL

功能强大的视频播放器nPlayer for Mac

Mac相关知识分享

视频播放器

Python用户输入与While循环

百度搜索:蓝易云

基于ubuntu构建jdk镜像

百度搜索:蓝易云

大语言模型 LLM 管理功能特点解析示例

Botnow

AIGC 模型管理 模型服务 大模型推理 Botnow

年轻,也是求职面试的优势

老张

核心竞争力 面试技巧 求职面试 职场晋升

Spark任务OOM问题如何解决?

威哥爱编程

spark OOM

专业视频编辑软件Final Cut Pro X for Mac

Mac相关知识分享

视频编辑软件

《使用Gin框架构建分布式应用》阅读笔记:p20-p31

codists

C++动态库与静态库的区别?

百度搜索:蓝易云

Navicat Premium 17.1.3版本发布,原生支持华为云数据仓库GaussDB(DWS)

华为云开发者联盟

数据仓库 GaussDB Navicat Premium

OpenHarmony社区开源4年累计产出1.1亿多行代码

科技热闻

科大讯飞做大模型:功能不需样样顶尖,先打造业务需要的能力_AI&大模型_InfoQ精选文章