QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

多模态大语言模型的崛起与应用

  • 2024-11-28
    北京
  • 本文字数:1488 字

    阅读完需:约 5 分钟

多模态大语言模型的崛起与应用

多模态大语言模型,正在重新定义人工智能的能力边界,推动着各行各业的变革。无论是在电商、营销、设计、视频创作、动画制作,还是在文本分析等领域,多模态技术都正逐步展现出其巨大的潜力。


2024 年 12 月 13-14 日,AICon 全球人工智能开发与应用大会·北京站,将再次汇聚全球顶尖 AI 专家,展示最新的 AI 技术和应用创新。在此次会议中,我们特别推出专场 《多模态大语言模型的崛起与应用》,深入探讨多模态大语言模型的核心优势与实际应用案例,介绍多模态技术如何通过处理和融合多种数据类型,推动行业创新,优化业务解决方案,并加速实际业务场景中的落地与实践。


更多精彩议题可以点击链接查看大会日程:https://aicon.infoq.cn/202412/beijing/schedule


本次专题的出品人为 高杰博士,其目前担任 蔚来汽车人工智能研发负责人 & 高级总监。有 20 年语⾳处理、⾃然语⾔处理和机器学习的相关⼯作经验。此前,他曾在腾讯、微软和阿里巴巴担任重要职位,参与语音识别、自然语言处理和 AIoT 领域的多个技术研发与产品落地工作。

精彩分享一

Aquila-VL-2B 是 2B 级别 SOTA 的多模态模型。该模型基于 Llava-onevision 的训练思路,引入多分辨率来提升对图像内容的理解。


本次专题下,智源研究院技术经理刘广将带来 《Aquila-VL-2B 多模态模型的数据构建与高效训练实战》 演讲,分享模型数据集的构建和处理过程,包括多种数据来源数据的格式统一以及数据选择,针对弱项的数据合成等。此外,还讨论了对训练效率和框架的提升,在 FlagScale 框架上实现了相对 Deepspeed 训练效率 1.7 倍的提升。Aquila-VL-2B 的创新之处在于系统化的构建了多模态模型的数据,训练以及评测的 pipline。

精彩分享二

在全球化传播中,如何通过多模态大语言模型有效传达品牌的情感与文化成为企业面临的重要挑战。明略科技多模态大模型部门负责人赵晨旭将带来分享 非标模态的多模态大语言模型如何模拟人类主观感受》


他将探讨当前生成式人工智能在多模态内容创作中的应用,尤其是在广告、视频和图像等内容资产的生产中面临的挑战。他指出,尽管中国品牌已开始运用 AI 技术来提升全球传播能力,但现有技术在理解和模拟人类主观情感方面仍存在较大空白。当前的挑战之一是缺乏适合评估全球化品牌传播效果的数据集和基准,尤其是缺少能够衡量视频内容中情感反应的评测标准。


本次分享将为听众揭示如何弥补这些技术空白,并推动多模态大语言模型在全球传播中的实际应用。

精彩分享三

在过去的一年里,多模态大模型因其广泛的潜在应用而受到了前所未有的关注。


阿里云高级算法专家谢榛 将在演讲 《行业多模态大模型训推加速落地思考》 中,深入探讨多模态大模型在行业应用中的发展现状、面临的挑战及未来前景。过去一年,多模态大模型因其在各行业中的潜在应用价值受到了广泛关注,然而,在技术落地过程中仍存在诸多难题。谢榛将结合团队近期的两个工作——CityLLava(2024 CVPR AI City Challenge Track 2 winner)和 IVTP(ECCV2024),介绍多模态模型的迭代过程及其在训练和推理阶段的加速优化技术。

精彩分享四

从 2023 年 6 月开始,蔚来座舱智能化团队开始研发面向智能座舱应用场景的多模态大模型的技术预研工作,经过 1 年多的系统搭建、数据集构建和训练部署方案的实践,取得了一些技术进展和一定的多模态大模型的应用认知。


蔚来汽车座舱智能感知团队负责人牛建伟 将带来演讲 《蔚来座舱多模态大模型的应用实践》,分享包括对于车载场景的算法适配的训练流程、数据采集筛选和清洗方法、多分辨率以及多 VIT encoder 的模型改进方法、端侧部署的具体实践情况。同时,作为多模态模型的一部分也会简要介绍在语音大模型方面的一些最新进展。



2024-11-28 15:2410464

评论

发布
暂无评论
发现更多内容

四、查询

Kylin

读书笔记 数据库开发 分布式数据库mongodb 读书总结 3月日更

《经济学人》2021年3月6日刊精彩文章导读及资源下载

wbliu85

该死的端口占用!教你用 Shell 脚本一键干掉它!

星安果

Shell 脚本 shell脚本编写 端口 端口占用

说完列表说字典,说完字典说集合,滚雪球学 Python

梦想橡皮擦

28天写作 3月日更

互联网信贷风险与大数据 风险管理&信贷准入

张老蔫

28天写作

区块链电子合同应用平台-助力企业数字化转型

13530558032

麻木得那么快应不应该——韦伯-费希纳定律

Justin

心理学 28天写作 游戏设计

【回溯算法】借助最后一道「组合总和」问题来总结一下回溯算法 ...

宫水三叶的刷题日记

面试 LeetCode 数据结构与算法

饿了么刚给我确认了p7的职位,对自己的经历,做一个面试总结。

Java架构之路

Java 程序员 架构 面试 编程语言

两会热词“区块链”,打开传统溯源的一扇大门!

源中瑞-龙先生

区块链 两会

Flutter 2 来了

SamGo

flutter

Spark性能调优-RDD算子调优篇(深度好文,面试常问,建议收藏)

五分钟学大数据

大数据 spark 28天写作 3月日更

如何写 Go 代码

Rayjun

Go 语言

聊聊交易中台系统设计与思考

架构精进之路

中台 七日更

Git 常用记录

Leo

git 大前端

架构大作业1

J

架构大作业2

J

在一个操蛋(执行力极差)的团队工作是一种怎样的体验?

冰河

团队管理 程序人生 执行力 问题总结 团队成长

(28DW-S8-Day14) 数据孤岛

mtfelix

28天写作 数据孤岛

区块链药品溯源解决方案-区块链技术监管医药溯源

13530558032

程序员之禅(四)

每天读本书

读书笔记 每天读本书

2021年阿里巴巴Java百亿级并发系统设计笔记(全彩版)

Java架构追梦

Java 阿里巴巴 面试 架构师 百亿级并发

LARAVEL SMTP 服务泄露,laravel env暴露

kaer

laravel 信息安全 漏洞 ENV SMTP

智慧党建系统开发,智慧组工平台建设

13530558032

需要对未知保持敬畏「Day 14」

道伟

进程调度算法

鲁米

算法

该不该签竞业协议?

石云升

程序员 话题讨论 28天写作 职场经验 3月日更

【LeetCode】下一个更大元素 II Java题解

Albert

算法 LeetCode 28天写作

5个身份和访问管理的最佳实践

龙归科技

数字身份 身份认证 身份安全 统一身份认证

《不看后悔》38个JVM精选问答,让你变成专家

Java 架构 面试 JVM虚拟机原理

总结近期腾讯+阿里+百度Java岗高频面试题,提问率高达98%,看到这篇文章基本offer稳了

Java架构之路

Java 程序员 架构 面试 编程语言

多模态大语言模型的崛起与应用_AI&大模型_AICon 全球人工智能开发与应用大会_InfoQ精选文章