写点什么

美图海量短视频内容分析与检索(一)

  • 2019-11-30
  • 本文字数:1529 字

    阅读完需:约 5 分钟

美图海量短视频内容分析与检索(一)

在 RTC 2018 实时互联网大会上,美图云视觉技术总监赵丽丽分享了美图在短视频领域的 AI 技术应用,内容主要包括三部分:美图短视频的业务场景,基于此业务场景所做的短视频内容分析和检索技术,以及遇到的问题与相应的解决方案。最后是平台构建过程中的一些思考。以下是演讲内容整理。


美图在短视频领域的代表产品就是 2014 年发布的短视频应用“美拍”。近几年也出现了一些竞品,比如抖音、快手。近期美拍也在内容上做了重新的调整和定位,主要是美和教程,希望用户在娱乐的过程中,也能吸取一些有营养的信息和知识。

一个视频所涉及的技术

一个视频在它的生命周期内可能涉及到许多处理技术。从 2D 和 3D 捕获开始,然后是编解码,这个阶段还涉及到传输、存储,然后是编辑与处理,比如剪辑、滤镜美化、风格转化、背景分割。随后是信息提取,包括物体识别、场景检测、人物分析、行为识别、主题提取、事件检测。以上步骤完成后,我们拿到了海量视频,还要做视频的检索。它有两部分作用,一是通过给定的视频,来检索其中是否有我们想要的内容;另一个是通过给定的视频在海量的数据库中检索出相似视频。


AI 技术在美图短视频业务中的应用主要两个层面,一是工具层面,二是内容层面。


工具层面是用 AI 技术对视频进行处理,比如对视频人物的美化,背景的替换,还有视频中人物的瘦身功能。内容层面就是标签化,比如识别视频中的物体,检测视频中的场景,还有对用户行为的一些检测。另外,最重要的是,我们拿到一个视频之后,可以利用 AI 对画质、视频内容是否违规进行检测。我们提取视频特征之后进行一些视频检索的工作,以这些工作去支撑围绕短视频的业务,包括用户画像、运营、推荐、搜索。


基于以上业务需求我们构建了一个多媒体内容分析和检索的平台,这个平台在基于内容分析算法组建基础之上分为两部分,一是多媒体内容分析平台,它负责分析视频内容特征,并进行标签化。另一个是多媒体数据检索平台。

短视频内容分析与检索的技术挑战

在拿到一个视频后,如何了解它的内容,这其实是一个多层面多维度的问题。首先最简单的,我们看到一个视频后,第一反应是它的色调、纹理、风格、画质如何。再更进一步,我们需要了解这个视频包含了哪些物体,发生的场景在哪里,有哪些人物特征,包括性别、年龄、特征、服饰,同时这个内容是否违规。另外,还有更深层次的对视频内容的识别、检测,比如学术界较为前沿的研究就是行为识别。这也是美图分析一个视频内容时候会涉及的几个维度。


基于以上业务需求,我们通过对视频、音频、图象、文本,进行处理,将其传输给多媒体内容分析平台,然后解析出以下四类信息:


  • 基础特征:色调、纹理、风格、画质;

  • 人物解析:性别、年龄、颜值、发型、服饰风格;

  • 商品解析:商品识别、品牌识别;

  • 通用内容解析:视频分类、特征提取、场景分类、角度检测、物体检测、水印检测、封面选取。


基于此,多媒体内容分析平台会提供出标签、特征、索引,以支持业务需求。


短视频数据有几个特点:


  • 视频来源:手机拍摄;

  • 视频形态:竖屏、人物中心化、特效和滤镜化;

  • 视频结构:同个视频内场景固定;

  • 信息维度:多模态信息、画面和背景音频不一致;

  • 数据量大;

  • 内容未知 ;

  • 时效性;


在构建这个平台的过程中,我们遇到了一系列问题。总结起来有两个比较关键的问题:


一方面是如何有效定义标签体系。前面提到,标签是这个平台的一种输出形式。我们需要先确定输出哪些标签会对业务有所帮助,所以标签的定义非常重要。基于深度学习的算法训练需要有一些训练数据,训练数据中这个标签是怎么制定的,也非常重要。


另一方面是如何提高模型迭代效率。短视频数据有很强的时效性,比如说两个月前训练的模型,可能两个月后效果已然没那么好了,所以我们需要有一种机制能快速进行数据标注,替换到线上,稳定支撑业务。


2019-11-30 22:531455

评论

发布
暂无评论
发现更多内容

秒杀架构设计

鲲哥

select、poll、epoll之间的区别

一个大红包

8月日更

架构训练营毕业总结

Geek_e0c25c

架构实战营

老外为了在MacBook上玩原神,让M1支持了所有iOS应用 | Github每周精彩分享第一期

Zhendong

GitHub

雷从九天临,暗由赤地生 - 你的对手只有时间

王知无

JavaScript new 关键词解析及原生实现 new

zhoulujun

JavaScript new

Android SDK 版本属性

Changing Lin

8月日更

蚂蚁金服+拼多多+抖音+天猫Java面经合集,金九银十Java开发校招社招福音!

编程菌

Java 编程 程序员 面试 计算机

现代分布式架构设计原则-伸缩性

余先生

可伸缩 伸缩 弹性扩容

二叉查找树的迭代遍历

泽睿

二叉树

消息队列架构设计

thewangzl

QDS05 Prometheus

耳东@Erdong

Prometheus 8月日更

总结

杰语

序列化单例模式的实现————readResolve 源码解读

4ye

Java 源码 后端 序列化 8月日更

阿里“宝妈级”之作,这份Spring Security应用到源码手册,全是精华

Java spring 程序员 架构 计算机

架构实战营 模块三

听闻

5000字阐述云原生消息中间件Apache Pulsar的核心特性和设计概览

王知无

MinIO存储服务客户端使用指南(三)

liuzhen007

8月日更

让我们一起开发【菜谱系统】吧,滚雪球学 Python 第三轮项目计划

梦想橡皮擦

8月日更

架构实战训练营模块五作业

NewBranSTONE

#架构实战营

Github首次开放,一天遭狂转 50w 次!大厂内部不外传的 100 万字 Java 面试手册!

编程菌

Java 编程 程序员 面试 计算机

JDK的泛型如何工作的

卢卡多多

Java泛型 8月日更

193篇文章暴揍Flink,这个合集你需要关注一下

王知无

架构实战0期毕业设计---电商秒杀系统

谢博琛

架构课程第4次作业

听闻

没有银弹

escray

学习 极客时间 如何落地业务建模 8月日更

浏览器数据库 IndexedDB(一) 概述

编程三昧

数据库 大前端 indexedDB 8月日更

Flink CDC我吃定了耶稣也留不住他!| Flink CDC线上问题小盘点

王知无

instanceof运算符的实质:Java继承链与JavaScript原型链

zhoulujun

JavaScript 继承 原型链 instanceof 继承链

架构设计总结

鲲哥

在所有Spark模块中,我愿称SparkSQL为最强!

王知无

美图海量短视频内容分析与检索(一)_文化 & 方法_声网_InfoQ精选文章