HarmonyOS开发者限时福利来啦!最高10w+现金激励等你拿~ 了解详情
写点什么

到处都能刷到的 AI 视频,真没你想的那么简单

  • 2024-11-20
    北京
  • 本文字数:2366 字

    阅读完需:约 8 分钟

大小:1.20M时长:06:59
到处都能刷到的 AI 视频,真没你想的那么简单

“ 疑似使用了 AI 生成技术,请谨慎甄别 ” 


大家有没有发现,这行小字有点像 “ 广告仅供参考, 请以实物为准 ” ,已经几乎在生活中越来越常见了。


特别是现在的短视频平台。


刷个西游记,能看到 AI 妖精真身。



甚至看一个动画片,画面还总是 AI 合成的。


AI 视频越来越多了


虽然掀起 AI 视频浪潮的 Sora 还在难产,但 AI 视频时代或许已经悄然而至。


东吴证券的一份研报里就预测,中国 AI 视频生成的潜在行业空间,可能拥有超过 5800 亿元的市场。


但随着市场不断火热,行业的一些问题也逐渐暴露到公众视野:


视频化和 AI 确实都是未来,但像是成本问题、质量问题、协同问题和性能问题,都萦绕在所有初创企业,大厂们的心头。



就拿成本问题和质量问题为例。


大家都知道,目前的生成式大模型特别是视频,就是一个力大飞砖的过程,需要用海量数据进行训练。


而超大规模视频训练数据,又会对计算和处理数据、以及数据本身有着天量需求,随之而来的成本增加是一个天文数字。



GPT-4o 作为一个老款 AI ,开发成本 “ 仅 ” 为 1 亿美元训练成本大概在 7800 万美元左右


而视频模型的训练成本就更高了,以年初推出的视频模型 Sora 为例,其训练和推理所需的算力需求,分别就达到了 GPT-4 的 4.5 倍和近 400 倍。。。


除了天价训练成本外,大模型训练样本质量、处理链路复杂,涉及多个环节,需要多团队协作;自研 / 第三方, GPU 、 CPU 、 ARM 等多种异构算力资源,又需要灵活调度部署。。。


所以,对不少准备拥抱 AI 视频的公司们来说,当务之急就是想尽办法,解决这些问题,才能更快地进化。


要论玩视频的高手,抖音和火山引擎可就有话说了


上个月底字节推出的爆火的 PixelDance ,效果那是杠杠的。


而在 15 号结束的火山引擎视频云技术大会上,开场用了定制数字人谭待来和大家沟通。


结果效果好到,现场参会者们,不少都以为这是视频抠图。


而这些高质量 AI 产出背后,其实离不开一个叫 BMF 的智能框架


火山引擎通过和自家大模型团队在内部合作,一起把海量的视频数据进行预处理。


最后基于火山引擎音视频处理平台和 BMF 框架,在短时间内生产了足够多高质量的视频素材,用于模型的训练,才有了 PixelDance 。


功臣之一的 BMF ,为什么能够做到这些呢?



我们用个生活中常见的例子来解释:


一个公司开发大模型就好比你家做年夜饭。


为了吃上一顿丰盛的年夜饭,你爸爸负责买菜、妈妈烧饭、奶奶包饺子、你搬桌椅板凳。。。


所有人都得有分工,从头忙到尾,可能还得时不时打个电话发个微信互帮互助,最后一算,好家伙,原来吃顿年夜饭还得花这么多钱。


而 BMF 就是火山引擎推出的一个 “ 年夜饭一键全流程套餐 ” ,它提供了一系列的工具和服务,帮你轻松、快捷地准备好年夜饭。


这个套餐重点针对性地解决了我们前面说到的 4 个行业痛点,进行了相应的调整。



比如为了解决视频训练数据质量问题,他们掏出了多种算法对视频进行多维度的分析和筛选,做到了充分精细化的过滤;


应对性能难题,他们又利用 BMF 框架的灵活调度,提前调配好了性能


这就相当于准备年夜饭一早就做好了攻略,买菜交给了多多买菜送货上门、烧饭找了五星级大厨专门掌勺、桌椅板凳安排了专门的小工打杂。。。


反正就是用了 BMF 这套框架,又便捷又省心又省钱



搞定了企业这边的需求,火山引擎也没忘了大家伙。


如今,大家设备的算力不断上涨,与之而来的就是对视频画质提升的强烈需求。


火山引擎通过得天独厚的优势,每天在抖音 / 西瓜等 app ,面对上亿用户,处理海量视频图片。


获得了这么丰富的经验之后,火山引擎在 BMF 基础上,沉淀出了一个更适合普通用户体质的 “BMF lite” ,实现了更轻量、更高效、更通用的进化。



比如相较于云端,在用户端侧,对于功耗,内存非常敏感,而场景又涉及 Android 、 ios 、 PC 等多平台。


于是 BMF-Lite 就重点建设基于跨平台,资源复用的算法包的框架设计。


简单说就是统一了各个平台的接口形式,方便集成部署。


再用算法控制器来复用相同的算法实例,在抖音播放场景,点播跟直播播放大部分都是只会生效一个,可以最大程度地复用资源。



而除了 BMF 为代表的智能框架,火山引擎还提出了智能算力和智能编解码


火山引擎直接在去年掏出了一款自研视频转码芯片,将自研的视频编解码技术融入到了里面。


好处就是,针对视频点播、直播等特定场景,这款转码芯片有着更高的计算密度。


就这么说吧,一套视频编解码芯片服务器的转码能力,相当于上百台 CPU 服务器



今天视频转码芯片上线抖音后,通过实践数据表明,在同等视频压缩效率下,成本能节省 95% 以上。


而针对编解码层,火山引擎推出了基于自研视频转码芯片构建的 “BVE1.2 编码器 ” 


这个编码器大胆融合了深度学习技术,推出了革命性的智能混合编解码解决方案,将传统压缩技术与深度学习压缩技术有机融合成为一个整体,极大地提升了编解码的效率,提升了编码性能。



在前不久结束的的第六届深度学习图像压缩挑战赛( CLIC 大赛 )中, “BVE1.2 编码器 ” 拿到两个冠军足以说明实力。


这一套小组合拳下来,感觉有兴趣的厂商们,估计满脑子都是 “ 付款码扫哪儿 ” ?


你还别说,火山引擎也的确没打算藏着掖着。


像前面说的 BMF 框架,早在去年就已经开源了,更新完的 BMF lite ,也是直接开源。



总的来说,目前,大模型的进化还在持续,视频 AI 公司之间的竞争也只会日益激烈。


但如果大家只是闭门造车,互相拿成果比拼,用产品说话,可能会显得竞争有余、合作不足。


而作为可能是全中国短视频玩得最熟练的字节跳动,他们旗下的火山引擎一次次地将内部技术、框架开源。


特别带来的 BMF 框架以及它和智能算力和智能编解码组成的一整套智能底座,的确能够帮助企业们节约了大量时间和成本,更好地帮助 AI 项目落地发展。


这种竞争和合作共存的态度,才是中国 AI 最乐意见到的场面。


一枝独秀难成林,万紫千红才是春。

2024-11-20 09:001

评论

发布
暂无评论

云网翼连智算未来| 重温天翼云全球行•亚太站精彩盛况

天翼云开发者社区

云计算

软件测试/测试开发丨Python安装指南(Windows版)

测试人

Python 软件测试

搭建二维码系统,轻松实现固定资产的一物一码管理

草料二维码

sip中继的介绍

cts喜友科技

SIP

第二届开放原子开源基金会OpenHarmony技术大会圆满举行

开放原子开源基金会

开源 OpenHarmony

人民邮电出版社70周年庆暨异步社区8周年庆成功举办,和鲸Heywhale荣获异步社区“2023年度最佳合作伙伴”奖

ModelWhale

IT 数据科学 书籍出版 异步社区 人民邮电出版社

第十五届全国交通运输领域青年学术会议,和鲸 Heywhale 携手龙船科技联合发布科研服务解决方案

ModelWhale

数据 服务 解决方案 交通运输 科研

AI 女友突然下线,大叔集体「崩溃」;谷歌聊天机器人称谷歌滥用垄断力量丨 RTE 开发者日报 Vol.78

声网

软件测试/测试开发丨如何利用ChatGPT自动生成测试用例思维导图

测试人

软件测试

视频直播场景下对象存储的应用

天翼云开发者社区

对象存储

Amazon EC2 云服务器体验感爆了

归来

Amazon EC2 云服务器

云图说|分钟级构建业务大屏——Astro大屏应用

华为云开发者联盟

云计算 华为云 华为云开发者联盟 华为云云图说 华为云Astro

星河共创,开为科技加入飞桨大模型生态圈,共建营销应用新范式

飞桨PaddlePaddle

深度学习 飞桨 文心大模型

和鲸为神经计算建模及编程培训班提供支持,聚焦学术前沿,助力人才培养

ModelWhale

编程 培训 脑科学 建模 计算神经科学

这可能是全网最晚的低代码技术总结

互联网工科生

低代码 低代码平台

Windows、Linux 和 Mac三个操作系统的对比

小魏写代码

赛题招募令:总投入超5000万元,诚邀您免费出题

开放原子开源基金会

“数据”如何影响“业务决策” ?

高端章鱼哥

数字化 数据可视化

一种Mysql和Mongodb数据同步到Elasticsearch的实现办法和系统

天翼云开发者社区

MySQL 数据库

macOS苹果电脑终端SSH管理工具中文激活版Termius

iMac小白

Termius下载 Termius for Mac下载 Termius for Mac破解

Paste for Mac(剪切板历史管理工具)v4.1.2永久激活版

mac

苹果mac Windows软件 Paste 剪切板软件

深入Vue.js与TypeScript的生命周期

K8sCat

vue.js 生命周期

文心一言 VS 讯飞星火 VS chatgpt (129)-- 算法导论11.1 4题

福大大架构师每日一题

福大大架构师每日一题

基金会旗下铜锁/Tongsuo项目官宣密钥管理工具RustyVault正式开源

开放原子开源基金会

开源 铜锁

领跑中国APM市场,博睿数据蝉联第一!

博睿数据

运维 监控 可观测性

行业独家 | 腾讯云ES:PB日志查询大提速,自治索引查询裁剪详解!

腾讯云大数据

ES

到处都能刷到的 AI 视频,真没你想的那么简单_字节跳动_火山引擎视频云_InfoQ精选文章