QCon 演讲火热征集中,快来分享技术实践与洞见! 了解详情
写点什么

到处都能刷到的 AI 视频,真没你想的那么简单

  • 2024-11-20
    北京
  • 本文字数:2366 字

    阅读完需:约 8 分钟

大小:1.20M时长:06:59
到处都能刷到的 AI 视频,真没你想的那么简单

“ 疑似使用了 AI 生成技术,请谨慎甄别 ” 


大家有没有发现,这行小字有点像 “ 广告仅供参考, 请以实物为准 ” ,已经几乎在生活中越来越常见了。


特别是现在的短视频平台。


刷个西游记,能看到 AI 妖精真身。



甚至看一个动画片,画面还总是 AI 合成的。


AI 视频越来越多了


虽然掀起 AI 视频浪潮的 Sora 还在难产,但 AI 视频时代或许已经悄然而至。


东吴证券的一份研报里就预测,中国 AI 视频生成的潜在行业空间,可能拥有超过 5800 亿元的市场。


但随着市场不断火热,行业的一些问题也逐渐暴露到公众视野:


视频化和 AI 确实都是未来,但像是成本问题、质量问题、协同问题和性能问题,都萦绕在所有初创企业,大厂们的心头。



就拿成本问题和质量问题为例。


大家都知道,目前的生成式大模型特别是视频,就是一个力大飞砖的过程,需要用海量数据进行训练。


而超大规模视频训练数据,又会对计算和处理数据、以及数据本身有着天量需求,随之而来的成本增加是一个天文数字。



GPT-4o 作为一个老款 AI ,开发成本 “ 仅 ” 为 1 亿美元训练成本大概在 7800 万美元左右


而视频模型的训练成本就更高了,以年初推出的视频模型 Sora 为例,其训练和推理所需的算力需求,分别就达到了 GPT-4 的 4.5 倍和近 400 倍。。。


除了天价训练成本外,大模型训练样本质量、处理链路复杂,涉及多个环节,需要多团队协作;自研 / 第三方, GPU 、 CPU 、 ARM 等多种异构算力资源,又需要灵活调度部署。。。


所以,对不少准备拥抱 AI 视频的公司们来说,当务之急就是想尽办法,解决这些问题,才能更快地进化。


要论玩视频的高手,抖音和火山引擎可就有话说了


上个月底字节推出的爆火的 PixelDance ,效果那是杠杠的。


而在 15 号结束的火山引擎视频云技术大会上,开场用了定制数字人谭待来和大家沟通。


结果效果好到,现场参会者们,不少都以为这是视频抠图。


而这些高质量 AI 产出背后,其实离不开一个叫 BMF 的智能框架


火山引擎通过和自家大模型团队在内部合作,一起把海量的视频数据进行预处理。


最后基于火山引擎音视频处理平台和 BMF 框架,在短时间内生产了足够多高质量的视频素材,用于模型的训练,才有了 PixelDance 。


功臣之一的 BMF ,为什么能够做到这些呢?



我们用个生活中常见的例子来解释:


一个公司开发大模型就好比你家做年夜饭。


为了吃上一顿丰盛的年夜饭,你爸爸负责买菜、妈妈烧饭、奶奶包饺子、你搬桌椅板凳。。。


所有人都得有分工,从头忙到尾,可能还得时不时打个电话发个微信互帮互助,最后一算,好家伙,原来吃顿年夜饭还得花这么多钱。


而 BMF 就是火山引擎推出的一个 “ 年夜饭一键全流程套餐 ” ,它提供了一系列的工具和服务,帮你轻松、快捷地准备好年夜饭。


这个套餐重点针对性地解决了我们前面说到的 4 个行业痛点,进行了相应的调整。



比如为了解决视频训练数据质量问题,他们掏出了多种算法对视频进行多维度的分析和筛选,做到了充分精细化的过滤;


应对性能难题,他们又利用 BMF 框架的灵活调度,提前调配好了性能


这就相当于准备年夜饭一早就做好了攻略,买菜交给了多多买菜送货上门、烧饭找了五星级大厨专门掌勺、桌椅板凳安排了专门的小工打杂。。。


反正就是用了 BMF 这套框架,又便捷又省心又省钱



搞定了企业这边的需求,火山引擎也没忘了大家伙。


如今,大家设备的算力不断上涨,与之而来的就是对视频画质提升的强烈需求。


火山引擎通过得天独厚的优势,每天在抖音 / 西瓜等 app ,面对上亿用户,处理海量视频图片。


获得了这么丰富的经验之后,火山引擎在 BMF 基础上,沉淀出了一个更适合普通用户体质的 “BMF lite” ,实现了更轻量、更高效、更通用的进化。



比如相较于云端,在用户端侧,对于功耗,内存非常敏感,而场景又涉及 Android 、 ios 、 PC 等多平台。


于是 BMF-Lite 就重点建设基于跨平台,资源复用的算法包的框架设计。


简单说就是统一了各个平台的接口形式,方便集成部署。


再用算法控制器来复用相同的算法实例,在抖音播放场景,点播跟直播播放大部分都是只会生效一个,可以最大程度地复用资源。



而除了 BMF 为代表的智能框架,火山引擎还提出了智能算力和智能编解码


火山引擎直接在去年掏出了一款自研视频转码芯片,将自研的视频编解码技术融入到了里面。


好处就是,针对视频点播、直播等特定场景,这款转码芯片有着更高的计算密度。


就这么说吧,一套视频编解码芯片服务器的转码能力,相当于上百台 CPU 服务器



今天视频转码芯片上线抖音后,通过实践数据表明,在同等视频压缩效率下,成本能节省 95% 以上。


而针对编解码层,火山引擎推出了基于自研视频转码芯片构建的 “BVE1.2 编码器 ” 


这个编码器大胆融合了深度学习技术,推出了革命性的智能混合编解码解决方案,将传统压缩技术与深度学习压缩技术有机融合成为一个整体,极大地提升了编解码的效率,提升了编码性能。



在前不久结束的的第六届深度学习图像压缩挑战赛( CLIC 大赛 )中, “BVE1.2 编码器 ” 拿到两个冠军足以说明实力。


这一套小组合拳下来,感觉有兴趣的厂商们,估计满脑子都是 “ 付款码扫哪儿 ” ?


你还别说,火山引擎也的确没打算藏着掖着。


像前面说的 BMF 框架,早在去年就已经开源了,更新完的 BMF lite ,也是直接开源。



总的来说,目前,大模型的进化还在持续,视频 AI 公司之间的竞争也只会日益激烈。


但如果大家只是闭门造车,互相拿成果比拼,用产品说话,可能会显得竞争有余、合作不足。


而作为可能是全中国短视频玩得最熟练的字节跳动,他们旗下的火山引擎一次次地将内部技术、框架开源。


特别带来的 BMF 框架以及它和智能算力和智能编解码组成的一整套智能底座,的确能够帮助企业们节约了大量时间和成本,更好地帮助 AI 项目落地发展。


这种竞争和合作共存的态度,才是中国 AI 最乐意见到的场面。


一枝独秀难成林,万紫千红才是春。

2024-11-20 09:009887

评论

发布
暂无评论
发现更多内容

云手机哪一款好用?

Ogcloud

云手机 海外云手机 云手机海外版 国外云手机

聚道云软件连接器助力某半导体行业公司实现访客管理自动化

聚道云软件连接器

案例分享

听GPT 讲Rust源代码--compiler(34)

fliter

Easysearch:语义搜索、知识图和向量数据库概述

极限实验室

向量数据库 语义搜索 easysearch 知识图 知识概述

纯血鸿蒙来了,企业开发者应该关注什么

不在线第一只蜗牛

华为 架构 企业开发 鸿蒙系统

以赛促教以赛促学:和鲸赋能暨大经管落实赛训一体,培养应用型数据人才!

ModelWhale

人工智能 大数据 高等教育 暨南大学 以赛促教

构建以平衡计分卡为框架的全面预算管理体系

智达方通

全面预算管理 平衡计分卡 全面预算管理体系

高德地图携手HarmonyOS NEXT,开启智能出行新篇章

Geek_2d6073

软件测试|从零到一:我的测试开发工程师之路

霍格沃兹测试开发学社

低代码助力企业转型可视化

EquatorCoco

低代码 数字转型

为什么美国CN2服务器是海外业务的首选?租用攻略详解

一只扑棱蛾子

美国服务器 CN2服务器

微前端框架MicroApp 1.0正式发布

京东零售技术

开源 前端 微前端 提效

DAPP二二复制矩阵公排合约系统开发丨源码详情

l8l259l3365

湖仓新范式的造浪者 | StarRocks 2023 年度总结(文末福利)

StarRocks

数据库 StarRocks #数据分析

万界星空科技注塑行业MES解决方案

万界星空科技

mes 万界星空科技 注塑MES 注塑行业

软件测试学习笔记丨Selenium常见控件定位方法(八大定位方式)

测试人

软件测试

三个方面浅析数据对大语言模型的影响

快乐非自愿限量之名

AI 数据 大语言模型

华为云DTSE携手“灵康宜”构造一站式智慧健康检测云平台

华为云开发者联盟

云计算 后端 华为云 华为云开发者联盟 华为云DTSE

测试管理| 从零到一:我的测试开发工程师之路

测吧(北京)科技有限公司

测试

10 个值得分享给你前端低代码项目

互联网工科生

低代码

DDD技术方案落地实践

京东零售技术

后端 DDD 系统架构 开发 提效

一次开发,多端部署︱小红书携手HarmonyOS NEXT引领行业新风向

Geek_2d6073

听GPT 讲Rust源代码--compiler(33)

fliter

人太多,挤不进去?教你搭建一个自己的幻兽帕鲁服务器

华为云开发者联盟

云计算 后端 华为云 华为云开发者联盟 服务器搭建

软件测试学习笔记丨Linux命令 wc统计

测试人

软件测试

分钟级实时数据分析的背后——实时湖仓产品解决方案

袋鼠云数栈

大数据 湖仓一体 实时湖仓

适用于跨境电商的海外云手机

Ogcloud

云手机 海外云手机 云手机海外版 国外云手机

喜报|「云原生数据库PolarDB」、「阿里云瑶池一站式数据管理平台」揽获“2023技术卓越奖”

阿里云瑶池数据库

数据库 云计算 阿里云 云原生

精通 VS 调试技巧,学习与工作效率翻倍!

快乐非自愿限量之名

工作效率 企业开发 数字转型

听GPT 讲Rust源代码--compiler(32)

fliter

海外云手机三大优势

Ogcloud

云手机 海外云手机 云手机海外版 国外云手机

到处都能刷到的 AI 视频,真没你想的那么简单_字节跳动_火山引擎视频云_InfoQ精选文章