AI 年度盘点与2025发展趋势展望,50+案例解析亮相AICon 了解详情
写点什么

科大讯飞做大模型:功能不需样样顶尖,先打造业务需要的能力

AI前线

  • 2024-08-23
    北京
  • 本文字数:3629 字

    阅读完需:约 12 分钟

科大讯飞做大模型:功能不需样样顶尖,先打造业务需要的能力

“讯飞研究院并非一个纯粹闭门造车的技术研究院。”科大讯飞副总裁、研究院院长刘聪说道。从 2005 成立至今,讯飞研究院为科大讯飞的产品提供了有力的技术支持,这次大模型浪潮中也不例外。


正如刘聪所说,“研究院的大部分技术都对应着具体的业务需求。”讯飞研究院一边迭代自己的基座模型,一边深入业务需求进行相关研发。


2022 年 12 月,讯飞启动了“1+N 人工智能大模型技术及应用”专项攻关,其中“1”代表通用人工智能大模型底座,“N”代表将人工智能大模型技术应用在教育、医疗、汽车、办公、智能硬件等多个行业领域。如今,讯飞对“1”和“N”的理解发生了哪些变化?


开发,今年的节奏已经不同


从去年 5 月星火大模型首个版本发布至今,一年多的时间里,讯飞研究院已经将该模型迭代到了 4.0 版本,模型也从最初的对标 GPT-3.5,更新至迭代最新的 GPT-4 Turbo。


纵观整个去年,讯飞很多产品是集中发布的,基本上 2、3 个月就有一次产品发布。这个节奏与之前几乎一年一次发布的讯飞相比要快很多。


刘聪介绍,这个时候的讯飞,更多扮演的是“追赶者”的角色:摸索整个大模型训练过程中的各种经验,比如如何处理数据、scaling law 是否符合预期等,对标国际领先模型,同时关注一些落地场景。另外,国产化也是讯飞要重点推进的工作。


对于去年的整体节奏,刘聪认为讯飞做得是比较好的,这源于讯飞会提前做好发布计划,“我们更多的是计划做得比较好,让大家感受到了每个大版本之间的变化。”


但是,今年的节奏导向已经与去年有所不同。


“今年年初,我们就对大模型这件事情已经摸索得比较清楚了。”刘聪说道,“我们现在既关注通用底座大模型,同时探索也在如何提升小模型的能力和效果。”


当前,大模型与小模型并行发展已经是行业趋势。对于选择大模型还是小模型,刘聪表示主要看场景需要什么样的模型。“如果只泛泛地说‘使用小模型与大模型差距不大’,这纯粹是胡说。”


刘聪解释道,在撰写文案、代码编写等方面,一个中小规模的模型即可搞定,讯飞将这类应用定义为一般任务;中等任务涉及行业内的很多知识库和行业深度内容,还有一些高难度任务,例如复杂推理、数学推理等,目前大模型都无法解决,更不用提小模型。


“我们一直强调大、小模型时代,并不意味着不再关注大模型了。核心技术原理是先找到大模型的天花板,再优化小模型。小模型的不断进步依赖于大模型的发展。”刘聪说道。


另外,讯飞研究院更重要的一项任务是围绕“N”中的刚需场景,把大模型应用做透彻,因此深入解决系统化问题变得非常关键。


不过在众多的基础能力上,讯飞也是有选择地进行研发。比如在通用任务中,讯飞最关注的能力之一是数学,因为在刘聪看来,数学能力与推理结合是大模型聪明的表现。


但是,不同于有的公司有专门的文生图产品,讯飞的文生图是在星火统一入口里面使用。刘聪明确称,“在文生图方面,我的优先级较低,甚至不专门制作文生视频。虽然我们与视频关系不大,但是我们会制作虚拟人、加强语音能力,我们必须做好语音交互。”


在刘聪看来,大模型底座是向多模态拓展的,对讯飞而言多模态的能力逐步提高最重要,但没有必要在一些业务关联度低、资源投入过大的方面做太多投入。在多模态中,刘聪会将重点放到 OCR(Optical Character Recognition,光学字符识别)上,“确保 OCR 做到最好,这与我的实际工作紧密相关。”


基于此,讯飞今年的重点虽然还是大模型通用能力的打造,但讯飞不会选择样样争第一,而是在自己认为的最重要的方向发力,比如交互能力等。


应用,选择更加熟悉的方向


讯飞研究院的研发工作与业务紧密相连,在研发之前,研究院要与业务部门达成深度共识,比如某个功能达到什么程度、完成客观技术指标后能为用户带来什么价值等。


达成共识之后,从研究院内部的算法研发部门、工程引擎部门、服务平台部门和资源部门,再到产品研发部门,整个过程需要一起对齐。无论发布产品、然后不断迭代,还是创新性研发一个产品,都是这样的过程。


讯飞被外界认为是较少能真正将技术实现产品落地的企业,刘聪认为这背后的核心原因是讯飞更加深入场景。


“我们找 PMF 之所以准确,是因为过去对行业场景和技术的积累。坚持阶梯原则,我们了解大模型在哪个节点可以适配、哪个场景可以发挥价值。”刘聪说道。“此外,讯飞也有深厚的场景资源和用户基础。”


以学习机为例,讯飞过去十几年从事学校工作,每天在学校里与老师打磨,持续了解中国教育政策以及未来发展趋势。老师的教学环境如何、不同年龄段的孩子是否有时间额外学习等,如果仅凭想象和拍脑袋是很难定义出来的。教育行业讲究因材施教,而非图文等技术。


落地中,选择在已积累的行业优势基础上进行大模型探索,是大多数相对成熟公司会选择的风险相对较低的策略。“自我造血非常重要,所以我们更加关注相对熟悉的方向,例如教育、医疗、办公、汽车和金融。”刘聪说道。


而什么时候完成应用则与大模型发展阶段有关系。围绕刚需场景,什么技术可以支撑、支撑度如何等都需要考虑。比如技术阅卷,之前是判断填空、选择题,后来扩展到了解答题并全学科阅卷,这都对技术要求越来越高。有了大模型后,直观的表现之一就是作文批改比之前做得更好。


讯飞业务中,硬件是不可忽略的一部分,比如有面向教育的学习机、批阅机等。讯飞业务的特点之一就是每个行业都有软硬件的差异。比如学习机不断将软件功能加到硬件上,以此提升硬件附加值。同时,硬件模式又能助力软件,例如翻译机和办公本都有一些大模型应用来升级体验,这不仅仅是单纯利用大模型的 API 连接,而是形成了适合硬件场景的独特功能。


而对外服务中,刘聪观察到,大模型的应用范围已经逐渐变大,比如金融这样的代表性场景已经往央国企拓展。“对应用大模型的企业来说,产品价值最重要的是能否降本增效。”刘聪说道。


讯飞在对 B 端业务服务过程中,发现算力统一难和整个数据管理难等问题。另外,在对外服务过程中,由于很多企业是私有化部署,因此讯飞在底座模型应用和场景开发中,对用户的场景并不清楚。为此,讯飞通过智能体平台这样的服务来解决。


“N 的逻辑必须落地。现在的阶段与去年不同,去年我们的 1+N 有些冗余,需要继续梳理。今年我们将主要的 N 梳理清楚后,一和 N 的协同变得更加系统。”刘聪说道。


根据实践观察,刘聪总结了两点经验:


第一,不必专门针对“N”,可以将其合入“1”的能力中。一个场景下的常用能力可以满足,或者在 1 基础上做某个智能体就能满足,合入“1”里就可以,这是减少重复开发的逻辑。


第二点,统一模型接口和数据接口。这里的 N 可能是业务线主导,有的是研究院主导,但一个公司内部的每个业务数据标注体系如果都不同,那将它们合并汇总到主模型就会相当困难。完成模型接口后,需要标注数据、SFT 数据和强化学习数据,形成一个技术体系。在此框架下,用户可以自行寻找专家进行标注,这样既能优化流程,又能将这些 N 的数据回流到数据库中。


结束语


对于今年讯飞的“1”和“N”而言,刘聪表示,“虽然是动态发展的,但是不能放弃。如果不演进,三个月就不行了。”


不过,随着模型规模的增大,研发周期会逐渐拉长,因此刘聪认为大模型技术后续可能不一定还那么卷。“GPT-5 底座大模型投入巨大,升级周期会变长,局部亮点可能会不断出现,但可能很难有 GPT-3.5 到 4 那么大的提升。”


在大模型争夺战中,讯飞给自己的定位是“综合能力是头部,在自己擅长的地方保持耐心和耐力”,因为一个很现实的问题就是大模型的企业同质化严重,但其实想要在每个领域都做到最好很难,OpenAI 和谷歌都做不到。


“我们还要给用户习惯的时间,通过产品培养用户和客户的耐心。”刘聪说道。


内容推荐


在这个智能时代,AI 技术如潮水般涌入千行百业,深度重塑生产与生活方式。大模型技术引领创新,精准提升行业效率,从教育个性化教学到零售精准营销,从通信稳定高效到金融智能风控,AI 无处不在。它不仅是技术革新的先锋,更是社会经济发展的强大驱动力。在 AI 的赋能下,我们正迈向一个更加智能、便捷、高效的新未来,体验前所未有的生活变革与行业飞跃。关注「AI 前线」公众号,回复「千行百业」获取免费案例资料。



会议推荐


InfoQ 将于 10 月 18-19 日在上海举办 QCon 全球软件开发大会 ,覆盖前后端 / 算法工程师、技术管理者、创业者、投资人等泛开发者群体,内容涵盖当下热点(AI Agent、AI Infra、RAG 等)和传统经典(架构、稳定性、云原生等),侧重实操性和可借鉴性。现在大会已开始正式报名,可以享受 8 折优惠,单张门票立省 960 元(原价 4800 元),详情可联系票务经理  17310043226 咨询。



今日荐文


“创业一年,人间三年”,李沐亲述 LLM 创业第一年的进展、纠结和反思


刚刚,OpenAI又双叒叕鸽了!没等来“草莓”发布,只敷衍发了评测集,网友:拿这来抢谷歌发布会风头?


三年亏损51亿元,去年卖出22台车!文远知行被爆赴美IPO,估值超360亿元


一年前还看好,现在却急刹车?国内资本动辄数十亿投资,华尔街却不敢给了


京东发行稳定币;AI服务器大厂豪气分红115.2亿;小米二期工厂附近挖出古墓?王化:假的|AI周报



2024-08-23 09:428326

评论

发布
暂无评论

选择便宜的云主机,让你的网站实现高性价比托管

一只扑棱蛾子

云主机

Kafka Exactly Once 语义实现原理:幂等性与事务消息

AutoMQ

大数据 kafka 云原生 幂等性 AutoMQ

让研发规范管得住 - 我们为什么在流水线之上又做了研发流程?

阿里巴巴云原生

阿里云 云原生 云效

风险防不胜防?看YashanDB如何守护你的数据库安全(下篇)

YashanDB

数据库安全 数据库系统 yashandb 崖山数据库

云上如何实现 Autoscaling: AutoMQ 的实战经验与教训

AutoMQ

大数据 kafka 云原生 AutoMQ autoscaling

「布道师系列文章」小红书黄章衡:AutoMQ Serverless 基石-秒级分区迁移

AutoMQ

大数据 kafka 云原生 小红书 AutoMQ

看完这篇,你就懂 SQL 生成工具了

秃头小帅oi

不只有 Spring,这四款Java 基础开发框架同样值得关注!

快乐非自愿限量之名

Sublime下载安装激活教程

大师兄

编辑器 IDEA Sublime sublime text破解版

新资产协议热潮下,普通用户如何有效保障自身加密资产安全?

NFT Research

NFT #Web3

如何让权限管理更便利安全?

芯盾时代

网络安全 权限管理 iam 统一身份认证

云手机对出海企业有什么帮助?

Ogcloud

云手机 海外云手机 云手机海外版 国外云手机 云手机推荐

MT7915 vs QCN9074:What’s the Performance Differences in WiFi 6 SoCs?

wallyslilly

喜讯!和鲸科技入选“算力中关村”—— 2024 算力技术创新与应用服务案例集

ModelWhale

AI算力

1 名工程师轻松管理 20 个工作流,创业企业用 Serverless 让数据处理流程提效

阿里巴巴云原生

阿里云 Serverless 云原生

无需重新学习,使用 Kibana 查询/可视化 SLS 数据

阿里巴巴云原生

阿里云 云原生 sls

让研发规范管得住 - 我们为什么在流水线之上又做了研发流程?

阿里云云效

阿里云 云原生 云效

如何设计质量规划方案?

老张

技术方案 质量保障 方案设计

C++多态与虚拟:C++编译器对函数名的改编(Name Mangling)

EquatorCoco

c++ 开发语言

TikTok引流中海外云手机的实用功能分享

Ogcloud

云手机 海外云手机 云手机海外版 tiktok运营 海外云手机推荐

海量数据处理技术,激发金融数据潜能

腾讯云大数据

大数据

科大讯飞做大模型:功能不需样样顶尖,先打造业务需要的能力_AI&大模型_InfoQ精选文章