写点什么

MaaS 是伪命题吗?超级对齐本质是什么?顶级专家云集探讨大模型最新趋势

  • 2024-06-12
    北京
  • 本文字数:3579 字

    阅读完需:约 12 分钟

大小:1.89M时长:11:01
MaaS是伪命题吗?超级对齐本质是什么?顶级专家云集探讨大模型最新趋势

2024 年 6 月 6 日中国计算机学会大模型论坛(CCFFoLM)主题会议在北京顺利

举办。本次会议主题为“大模型技术进展与挑战”,各位专家围绕大模型技术的前沿

动态、发展趋势及技术挑战等议题展开深入探讨,为广大从业者、研究者提供了一

场丰富的学术盛宴。本次会议还宣布了“CCF 大模型安全挑战赛”的正式启动!


2024 年 6 月 6 日,中国计算机学会大模型论坛(CCFFoLM)主题会议在北京清华科

技园科技大厦举办。CCF 大模型论坛于今年 3 月正式成立,由腾讯、中国移动、三六

零集团、海光信息、智谱 AI、第四范式、稀宇科技、并行科技、无问芯穹、瑞莱智慧

科技、生数科技、清程极智、麦伽智能、面壁智能、聆心智能共同发起,旨在建设专

注于大模型研究与应用的领先智库和高效交流平台,促成国内大模型的生态合力,共

同推进大模型技术的前沿发展和应用。


专家们都在做哪些研究


本次会议上午部分由 CCF 大模型论坛学术秘书、复旦大学邱锡鹏教授主持,下午部分

由 CCF 大模型论坛学术秘书、清华大学东昱晓教授主持。

邱锡鹏主持开场


CCF 杰出会员、常务理事、CCF 大模型论坛副主席、中国人民大学人工智能学院院长

文继荣教授作开幕式致辞。

文继荣作开幕致辞


智谱 AIGLM 技术团队研究员顾晓韬,CCF 学术工作委员会秘书长、清华大学长聘教

授黄民烈,CCF 大模型论坛副主席、华为语音语义首席科学家刘群,CCF 大模型学术

秘书、复旦大学计算机学院教授邱锡鹏,阿布扎比技术创新研究所研究员 Quentin

Malartic,清华大学电子工程系长聘教授、系主任汪玉,清华大学计算机系长聘教授,

清华大学计算机系高性能所副所长翟季冬,清华大学计算机系博世 AI 教授、清华大学

人工智能研究院副院长朱军,哈尔滨工业大学计算学部长聘教授,人工智能研究院副

院长车万翔等大模型领域专家学者受邀出席并做主题报告。(按姓名拼音首字母排序)


QuentinMalartic 博士发表了主题报告《TheFalconSeriesofOpenLanguage

Models》,他主要讲解了 Falcon 模型的研究进展。包括数据处理、训练分解、模型架

构,以及如何去构建对话树来进行研究。他还介绍了对于 Falcon 模型的评价细节,以

及视觉语言模型的情况。

QuentinMalartic作主题报告


黄民烈教授围绕大语言模型尤其是中文大语言模型的对齐和超级对齐问题,阐述了其

在弱到强泛化(weak-to-stronggeneralization)、规模化监督(scalableoversight)、

精确对齐、黑盒对齐、模型权重外插、自动红队测试等方面的工作。

黄民烈作主题报告


汪玉教授的报告聚焦于大模型时代下软硬件系统方面的关键挑战和发展现状,向参会

嘉宾们介绍了面向 AI2.0 的高能效电路与系统设计方法,包括从算法模型优化到硬件

架构设计的一系列软硬件协同优化策略。在报告中,他还简要介绍了 AI2.0 时代算力

生态建设的初步探索,并对未来发展趋势进行展望。


汪玉作主题报告


顾晓韬博士,针对 Agent 这一领域,介绍了 Agent 能够感知环境、理解任务、规划步

骤、调用工具、执行动作从而完成复杂任务的能力特点。并向大家概述了 GLM 技术团

队面向 Agent 能力从评测、优化、多模态能力等方向做的技术尝试和探索。


顾晓韬作主题报告


刘群教授介绍了华为盘古大模型的技术和应用概况,并讲述了盘古语言大模型开发过

程中采用的一些核心技术和面临的挑战。具体包括模型架构、训练优化、推理加速、

自我提升等方面。


刘群教授报告


朱军教授介绍了多模态扩散概率模型在图像、3D 和视频生成的最新进展,重点介绍了

Vidu 视频大模型的三大更新:(1)首发一键生成 32s 长视频;(2)发布视频/文本到音

频生成技术,Vidu 生成的视频有声音了;(3)Vidu4D——从 Vidu 生成的视频通过高

效重建,生成 4D 的视频。


朱军作主题报告


车万翔教授的报告指出现有的思维链研究仍面临两大挑战:(1)缺乏对思维链能力评

估的定量指标;(2)缺乏对思维链能力优化的指导。为此,他们引入了一种新颖的“推

理粒度”框架来解释思维链技术的机理,并使用该框架改进思维链的推理能力。进一步

地,通过在众多模型和任务上的实验,表明了该框架的存在性和合理性。此外,该框

架还能够用于解释多种思维链策略的有效性,并能够从两个角度共同指导思维链策略

的优化。


车万翔作主题报告


翟季冬教授就当前大模型技术不断发展,其对算力的需求持续增大的这一问题展开讨

论。并指出当前中国在获取最先进的芯片方面面临巨大的挑战。如何充分发挥国产算

力硬件性能,让国产算力易用好用,满足大模型对算力的需求具有重要意义。针对此

挑战,他们团队在国产智能算力上开展核心基础软件相关研究。其中,在新一代国产

超级计算机上,他们从编译器、算子库、并行加速和负载均衡等方面对大模型进行了

深入优化,优化后的训练性能达到 EFLOPS。


翟季冬作主题报告


邱锡鹏教授则从大语言模型展现了研发通用人工智能助手广阔的研究和应用前景,但

仍存在一定不足的这一问题出发向大家介绍了大语言模型 MOSS2 的研发进展以及关

键技术,包括高效模型架构、多模态扩展、工具使用,最终实现可交互、可学习、可

解释的世界模型。


邱锡鹏作主题报告


本次会议还举办了两场别开生面的 Debates。由清华大学教授黄民烈、零一万物联合

创始人俞涛、智谱 AI 算法研究员顾晓韬、无问芯穹算法负责人李伯勋、面壁智能

CTO 曾国洋、清华大学博士研究生何家傲等来自不同领域的专家学者共同参与,就

「超级对齐的本质是什么?」、「Maas 是个伪命题吗?」等问题,展开了现场交锋,为

广大参会者呈现了一场精彩且深刻的思想探讨。两场 Debates 分别由 CCF 大模型论

坛学术秘书邱锡鹏教授、CCF 大模型论坛主席唐杰教授主持。


超级对齐的本质是什么


debate现场


  • 超级对齐的本质是大模型自我进化、迭代的过程


黄民烈:超级对齐本质上应该是怎么样实现一个大模型的自我进化、自我迭代的学习

过程。目前还是非常初步的尝试,很多东西没有做,但需要坚信不移地一步一步从小

的尝试开始,逐步实现真正发现模型弱点,并进行自动修复。


  • 超级对齐是机器的自我演化,通过反馈提升自己的方式


文继荣:大家认为,现在的阶段,或可预见的阶段,对齐尤其超级对齐还是非常重要

的。我们需要重视大模型的安全性,尤其是模型智力水平越来越高的时候,将来会不

会出现失控的风险,所以对齐很重要。当“超级对齐”这个词出来的时候,大家就要意识

到,不再只是简单跟人类价值观对齐了,它现在已经渐渐从关注模型安全,变成了一

种通过反馈来提升自己的方式,实现机器自我演化。另外,过度的对齐也可能损害模

型的能力和“人性”。


  • 超级对齐的技术预研是非常重要的


俞涛:我们在对齐 GPT-4 水平模型的过程中,主要方法是基于人类专家反馈数据的强

化学习。但人类将无法规模化地为下一代模型提供可靠的监督信号,或者给予反馈的

效率远远低于 AI 迭代的效率,因此我们目前的对齐技术不能扩展到超级智能。我们需

要做好超级对齐的研究和技术预研,包括 weak-to-stronggeneralization(从弱到强的

泛化)、可解释性(可解释性)、scalableoversight(可扩展的监督),为 AGI 的到来做

好准备。


  • 超级对齐要实现让语言模型真正为我们服务

刘群:大模型纯粹是从语言文本训练出来的,作为对齐,要把语言空间的东西跟这两

个空间对齐起来。我们说安全的时候,更多考虑的是跟意识世界的对齐,跟物理世界

的对齐同样重要。我们要对客观世界反馈,不光是安全的问题,在技术上来说是很类

似的。研究超级对齐,是让语言模型真正为我们服务,反映真正的客观世界、真正的

意识世界,这是它有用的地方。


  • 超级对齐的终极目标具有重要意义


顾晓韬:AI 行业对超级对齐的关注首先说明 AI 技术发展确实到了一个新的高度。超级

对齐除了考虑未来超级智能可控性的问题,也包括人类监督到达瓶颈后通过模型与外

部环境自主交互等方式获取监督信号去进一步提升智能水平的途径,核心目标还是加

深我们对智能本身的理解。


MaaS 是个伪命题吗?


debate现场


  • 从云和端的角度去看,MaaS 在未来的应用会非常大


李伯勋:如果我们从云的角度来讲,我更希望看到很多国产芯片在这方面做到更高的

性价比。从端上看,未来 MaaS 会有很多端上的应用。对硬件改造比较大,例如如何

用更低成本提高存储带宽。


  • MOE 是未来大模型发展中比较重要的方向


何家傲:MOE 还是未来比较重要的方向,以目前的硬件架构来讲,MOE 是一种最适

合的稀疏结构,MOE 是为了让模型做的很大,如果涉及到多机,比如要用几千、上万

张卡去训练,并行策略会带 MOE 负载下面造成更多性能上的影响。


  • MOE 模型效果在逐步提升,值得看好


曾国洋:MOE 的训练技术也是在不断发展的。我们最开始都尝试过 MOE,但是那个

时候大家的训练技术也不是特别好,训练出来的 MOE 比真正的大参数量模型有非常多

的距离。随着技术越来越提升,我们得到了 MOE 模型效果也会逐渐提升。MOE 是值

得看好的,也是有必要做的。


「CCF 大模型安全挑战赛」正式启动


会议进行过程中,黄民烈代表清华大学基础模型研究中心宣布了 CCF 大模型安全挑战

赛的正式启动,该赛事由中国计算机学会(CCF)作为主办单位,中国计算机学会大

模型论坛(CCFFoLM)作为承办单位,携手清华大学基础模型研究中心、中关村国

家实验室开展。


赛事设置了两个赛道任务:「通用的大模型目标劫持」和「内容安全检

测器的红队攻击」。诚挚邀请各方专家和学者积极参与大模型安全挑战赛,共同探索解

决这些安全问题的创新方法和策略,为大模型技术的健康发展保驾护航。


黄民烈教授发布CCF大模型安全挑战赛


2024-06-12 16:017076

评论

发布
暂无评论

拍乐云推出业内首个「线上美术教学音视频方案」,打造极致互动体验

拍乐云Pano

23种设计模式,正确的解读方式原来是这样

Java架构师迁哥

《原则》(三)

Changing Lin

百度开发者中心全新升级 | 文末六一送福利

百度开发者中心

百度 福利

阿里P8熬了一个月肝出这份32W字Java面试手册,在Github标星68K+

Java 程序员 面试

拍乐云受邀QCon大会 | 详解音视频技术架构实践,首发美术教学音视频方案

拍乐云Pano

2021金三银四面试经历:腾讯三面落马+拒网易、CVTE后,字节四面成功拿下offer

Java 程序员 架构 面试

持续测试 | 测试流程提效:在 CODING 中实践迭代内的持续测试

CODING DevOps

DevOps 测试计划 持续测试 迭代式测试

牛客网亲测有效!牛客下载量近百万的Java程序员复盘秘籍真滴强

小Q

Java 学习 编程 架构 面试

分享:在阿里做Java开发的这五年,收获与感悟

Java架构师迁哥

Flink 在有赞的实践和应用

Apache Flink

flink

大数据好书推荐

五分钟学大数据

百度搜索与推荐引擎的云原生改造

百度开发者中心

云原生

蓝海战略 - 如何设计与众不同的价值曲线

石云升

战略思考 职场经验 6月日更

defi流动性挖矿系统开发案例分析,defi流动性挖矿现成源码

系统开发咨询1357O98O718

龙蜥专场精彩回放来了!10位技术大咖、242位开发者相聚

阿里云基础软件团队

反洗钱监管再度升级,看这家金融集团如何应对

索信达控股

大数据 银行 金融监管 风险管理 数据管理

defi流动性挖矿系统开发(案例版)丨defi流动性挖矿源码现成版

系统开发咨询1357O98O718

☕️【Java 技术之旅】知识盲点关于jar包的点点滴滴

洛神灬殇

Java jar Jar包扫描 6月日更

阿里直通车?阿里Java面试“内幕”:十万字内部面试题总结

Java架构追梦

Java 阿里巴巴 架构 面试

官宣!禅道与极狐(GitLab)达成深度合作,携手推进开源开放DevOps生态发展

禅道项目管理

项目管理 DevOps gitlab

联邦计算在百度观星盘的实践

百度Geek说

新大陆!阿里P9整理出:Java架构师“成长笔记”共计23版块

Java架构师迁哥

【干货篇】bilibili:基于 Flink 的机器学习工作流平台在 b 站的应用

Apache Flink

flink

OGA 联盟正式成立!禅道作为理事单位助力共建开源生态!

禅道项目管理

项目管理 DevOps gitlab

从零开始学习3D可视化之控制对象(2)

ThingJS数字孪生引擎

可视化 数据化 3D 3D可视化

你想进大厂吗?阿里Java面试“内幕”分享

Java架构师迁哥

iOS上的CSS样式协议 VKCssProtocol

iOSer

CSS ios 移动开发 ios开发 VKCssProtocol

python使用命令行传入参数

卤蛋翔

6月日更

defi流动性系统开发案例详情丨defi流动性源码功能

系统开发咨询1357O98O718

系统性思维 系统之美1

张老蔫

28天写作

MaaS是伪命题吗?超级对齐本质是什么?顶级专家云集探讨大模型最新趋势_AI&大模型_CCF大模型论坛_InfoQ精选文章