“记录美好生活”是抖音的 slogan，也是对当下内容创作生态的高度概括。在 AI 能力的加持下，图文创作时代加速向多媒体创作时代转变。其中，音视频产品以优质的视觉效果和便捷的功能，收获了全年龄段用户的喜爱，不仅优化了内容创作方式，还重构了内容生产者、消费者和平台之间的关系。

用户的身份在内容生产者和内容消费者之间转化，停留时长和一款 App 的生命力正相关。智能互动特效和智能视频编辑作为音视频产品的重要功能，如何驱动业务增长？抖音能够持续孵化创意 SDK 的底层密码是什么？9 月 14 日，火山引擎在深圳举办增长沙龙，围绕“智能互动特效和智能视频编辑”，邀请多位嘉宾分享了字节跳动在音视频产品上的实践经验和技术探索。

活动开场，火山引擎 AI 解决方案高级总监骆怡航全面介绍了火山引擎 AI 产品线的定位、产品体系以及应用场景。他提到，直播和短视频的创作方式是火山引擎希望给用户带来的新玩法，希望能为各行业的创作者，提供操作稳定、运行低耗、效果精准、简单便捷、满足个性化以及可充分延展的直播和短视频互动体验。“可充分延展说的是我们除了帮助客户搭建起直播、短视频场景的基本功能后，除了功能性延展，需要更多考虑未来持续的创意，包括海量的特效、素材、模型及个性化定制。”骆怡航解释。

不仅仅是持续升级互动特效和视频编辑 SDK 的能力，火山引擎 AI 智能体验套件包含了从技术、产品和生态的一整套方案，包括智能美化特效、智能视频编辑、AR 互动创意、数字人与虚拟形象等产品。据悉，火山引擎目前为企业的互联网应用提供两大场景化解决方案：其一是帮助企业在自己的应用内构建直播和短视频功能，提供 SDK 产品供企业集成，一站式快速构建直播和短视频应用；其二是利用 AR 和数字人虚拟形象，打造 AR 商品体验、AR 营销、虚拟主播等沉浸式和强互动的营销场景。

智能互动特效驱动产品生长

智能互动特效就是火山引擎提供的智能体验套件的一种，拉动业务增长在抖音已有成例。在场景上，智能互动特效对产品进行升级或者产生实际收益，如礼物赠送、下沉市场低端手机云渲染的应用、社交场景的虚拟 IP 形象、拍摄段的优化；在算法方面，智能互动特效深耕场景、数据驱动、落地为先。火山引擎智能互动特效总监范青着重解释了云渲染：“低端机的芯片到底能有多下沉，代表着你可以让多少新用户使用你的能力。”

在引擎方面，火山引擎大幅度加持渲染效果，辅助业务轻量级地完成功能的更新。据范青介绍，火山引擎在 SDK 方面做了轻量级的引擎体验，比如支持多平台和多玩法，通过在引擎上进行复刻，可以进行低端机型的覆盖。

非洲短视频平台 Vskit 特效总监曾献正也谈到了自己的体会：国内短视频平台发展已经很成熟，但是非洲互联网才刚刚兴起，大部分用户刚开始使用智能机，而智能机的性能问题也参差不齐。在国内，网络可以在一定程度上弥补设备的缺陷，但是在非洲，流量获取并不轻易。Vskit 的做法是，对机型分版，对高中低端机型分别适配，下发不同功能优化用户体验，并且通过使用火山引擎特效贴纸，解决自研产品稳定性差、跟踪延迟的问题。据曾献正介绍，工具特效为 Vskit 带来了很多增长：每天原创视频内容达到几十万，半年来 UGC 用户成倍增加。

智能视频编辑丰富内容创作

从产品的角度出发，火山引擎智能视频编辑解决方案总监郭沣仪对内容有自己的理解，他认为，全局考虑产品首先要确立目标，然后通过技术手段解决商业运营中用户留存和用户活跃的问题。内容、用户、设计师和平台，是火山引擎明确的面向目标。在郭沣仪看来，内容是设计师或用户和平台之间沟通的桥梁，前者进行内容生产和消费，后者对内容进行标签化管理。内容丰富度和内容质量，决定了平台是否具备吸引力。

图像、文本、音频和特效，提高了平台的内容丰富度，同时也伴随着版权问题。郭沣仪称，火山引擎已经在文字、音源、素材和 AI 辅助的版权上有所行动。随着更多 AI 能力逐渐加入进来，火山引擎希望让用户的创作成本越来越低，需要动手操作的越来越少。

目前，火山引擎提供的 SDK 解决移动端用户编辑的问题，包括 UGC 和 PGC 两个内容。在技术层面，火山引擎实现了多轨编辑、视频合拍和单帧识别。据郭沣仪介绍，多轨编辑，指的是可以对每一段素材进行单独的轨道设置、时长控制等，依托于火山引擎的素材库，为用户提供创意设计服务；视频合拍是基于多轨编辑器的算法衍生出的产品；目前在图片层面已经能进行帧率级别的创作。AI 在其中起到了不小的作用。基础编辑能力在 AI 的加持下，降低了很多用户的创意产生成本，比如抖音如今推出的“剪同款”、“一键成片”和“音乐卡点”。

创意 SDK 孵化的技术实现

那么，智能互动特效和智能视频编辑背后的技术实现是什么？火山引擎智能视频编辑高级研发经理谢波进行了详细解读。通过基础技术能力，将基础素材和特效资源整合成好看的视频，采用了火山引擎 VE 的 SDK 能力，包括能力 SDK 和协议 SDK。整个视频对外开放的描述就是 NLEModel，由一系列轨道组成，衍生出视频编辑的概念。

对此，谢波表示：NLEResourceNode 是一个资源记录节点的描述，里面可以描述本地资源和网络资源，同时如果是本地资源可以直接是一个本地文件 path，若是网络资源也可以提供一个网络地址。有了资源节点描述，就衍生 NELSegment 来描述一段资源静态行为。接下来是 NLETrackSlot，对于一个展示资源我们要展示多长时间就是通过 slot 的时间属性来进行描述。多个带有时间属性的资源段描述可以记录到单个或者多个 NLETrack 轨道中就形成了一个完整段落的资源展示效果。最后，对于特效、滤镜以及转场等等特效都可以独立形成 track，也可以依附在某个 track 或者 slot 上，最终将多个片段拼凑在一起，就构成了一个完整的视频。不同轨道操作情况，可以是单轨的视频，也可以是多轨的视频，轨道视频结束之后，一个完整视频描述成一个 NLEModel。

“对于一个 track 或者一个 slot 还可以进行三维坐标变化调节，相对来讲就有 X 轴或者 Y 轴的变化，平面的二维变化。如果再加 Z 轴的变化，Track 与 Track 之间是不同层级的描述概念，如果是 Z 层就可以实现不同压盖效果。比如先设 Z 轴是 1，是最高层级，在最上面。结合 X、Y、Z 的动态调整即可得到不同的视频变化布局效果。”谢波谈道。

协议 SDK 有什么作用？实现了什么能力？“比如添加一段视频后 Commit，Commit 之后内部实现存储结构类似一个双向队列的概念，每次对 NLEModel 进行一个操作节点拷贝，节点拷贝后进行前后关联指向建立一个双向列表。回到 NLEModel 节点记录关系，如果把这个列表用 json 结构保存下来又得到相应的工程草稿。”谢波解释道：工程草稿里面会记录编辑节点信息以及整个 NLEModel 的结构描述信息，有了这些信息响应就可以多次还原成 NLEModel 的内存结构重演出对应的编辑效果；有了工程草稿，就可以实现这些行为：1、任意节点或者任意操作类型的 Undo/Redo；2、重启继续编辑；3、二次编辑；4、跨机等能力。

此外，火山引擎在资源方面：基于图虫和音乐中台可以提供丰富的素材资源，在剪映的模版生态下也有丰富的模版资源，其中，傻瓜式模板编辑可以提供可视化编辑效果，通过拖拽就可以实现想要达到的视频编辑效果。“结合云能力，火山引擎进一步丰富了资源生态的灵活性以及算法效果的个性化，同时也解决了本地包大小问题，做到资源的动态拉取和使用；配合强大的运营平台可以更贴切的为企业做到个性化定制服务。”谢波谈道。