QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

美图海量短视频内容分析与检索(一)

  • 2019-11-30
  • 本文字数:1529 字

    阅读完需:约 5 分钟

美图海量短视频内容分析与检索(一)

在 RTC 2018 实时互联网大会上,美图云视觉技术总监赵丽丽分享了美图在短视频领域的 AI 技术应用,内容主要包括三部分:美图短视频的业务场景,基于此业务场景所做的短视频内容分析和检索技术,以及遇到的问题与相应的解决方案。最后是平台构建过程中的一些思考。以下是演讲内容整理。


美图在短视频领域的代表产品就是 2014 年发布的短视频应用“美拍”。近几年也出现了一些竞品,比如抖音、快手。近期美拍也在内容上做了重新的调整和定位,主要是美和教程,希望用户在娱乐的过程中,也能吸取一些有营养的信息和知识。

一个视频所涉及的技术

一个视频在它的生命周期内可能涉及到许多处理技术。从 2D 和 3D 捕获开始,然后是编解码,这个阶段还涉及到传输、存储,然后是编辑与处理,比如剪辑、滤镜美化、风格转化、背景分割。随后是信息提取,包括物体识别、场景检测、人物分析、行为识别、主题提取、事件检测。以上步骤完成后,我们拿到了海量视频,还要做视频的检索。它有两部分作用,一是通过给定的视频,来检索其中是否有我们想要的内容;另一个是通过给定的视频在海量的数据库中检索出相似视频。


AI 技术在美图短视频业务中的应用主要两个层面,一是工具层面,二是内容层面。


工具层面是用 AI 技术对视频进行处理,比如对视频人物的美化,背景的替换,还有视频中人物的瘦身功能。内容层面就是标签化,比如识别视频中的物体,检测视频中的场景,还有对用户行为的一些检测。另外,最重要的是,我们拿到一个视频之后,可以利用 AI 对画质、视频内容是否违规进行检测。我们提取视频特征之后进行一些视频检索的工作,以这些工作去支撑围绕短视频的业务,包括用户画像、运营、推荐、搜索。


基于以上业务需求我们构建了一个多媒体内容分析和检索的平台,这个平台在基于内容分析算法组建基础之上分为两部分,一是多媒体内容分析平台,它负责分析视频内容特征,并进行标签化。另一个是多媒体数据检索平台。

短视频内容分析与检索的技术挑战

在拿到一个视频后,如何了解它的内容,这其实是一个多层面多维度的问题。首先最简单的,我们看到一个视频后,第一反应是它的色调、纹理、风格、画质如何。再更进一步,我们需要了解这个视频包含了哪些物体,发生的场景在哪里,有哪些人物特征,包括性别、年龄、特征、服饰,同时这个内容是否违规。另外,还有更深层次的对视频内容的识别、检测,比如学术界较为前沿的研究就是行为识别。这也是美图分析一个视频内容时候会涉及的几个维度。


基于以上业务需求,我们通过对视频、音频、图象、文本,进行处理,将其传输给多媒体内容分析平台,然后解析出以下四类信息:


  • 基础特征:色调、纹理、风格、画质;

  • 人物解析:性别、年龄、颜值、发型、服饰风格;

  • 商品解析:商品识别、品牌识别;

  • 通用内容解析:视频分类、特征提取、场景分类、角度检测、物体检测、水印检测、封面选取。


基于此,多媒体内容分析平台会提供出标签、特征、索引,以支持业务需求。


短视频数据有几个特点:


  • 视频来源:手机拍摄;

  • 视频形态:竖屏、人物中心化、特效和滤镜化;

  • 视频结构:同个视频内场景固定;

  • 信息维度:多模态信息、画面和背景音频不一致;

  • 数据量大;

  • 内容未知 ;

  • 时效性;


在构建这个平台的过程中,我们遇到了一系列问题。总结起来有两个比较关键的问题:


一方面是如何有效定义标签体系。前面提到,标签是这个平台的一种输出形式。我们需要先确定输出哪些标签会对业务有所帮助,所以标签的定义非常重要。基于深度学习的算法训练需要有一些训练数据,训练数据中这个标签是怎么制定的,也非常重要。


另一方面是如何提高模型迭代效率。短视频数据有很强的时效性,比如说两个月前训练的模型,可能两个月后效果已然没那么好了,所以我们需要有一种机制能快速进行数据标注,替换到线上,稳定支撑业务。


2019-11-30 22:531568

评论

发布
暂无评论
发现更多内容

易观千帆 | 2023年2月证券APP月活跃用户规模盘点

易观分析

金融 证券 经济

聚焦「就近」与「轻计算」,阿里云边缘云连续3年领跑!

阿里云CloudImagine

云计算 边缘计算 边缘云

下游需求趋势长期向好,高端产品国产替代空间广阔

华秋电子

飞针测试的流程有哪些?华秋一文告诉你

华秋电子

HummerRisk 使用教程: 多云检测

HummerCloud

云安全

火山引擎A/B测试产品——DataTester 私有化架构分享

字节跳动数据平台

私有化部署 ab测试 A/B 测试 企业号 3 月 PK 榜

拯救脂肪肝第一步!以飞桨3D医疗影像分割方案MedicalSeg自主诊断脂肪肝

飞桨PaddlePaddle

深度学习 计算机视觉 语义分割 PaddlePaddle

vivo 手机云服务建设之路-平台产品系列04

vivo互联网技术

系统设计 稳定性 数据安全 用户数据 手机云服务

软件测试/测试开发丨移动端App自动化之App控件定位

测试人

软件测试 自动化测试 测试开发

ElasticSearch 拼音搜索自定义扩展插件(长拼音序列)

alexgaoyh

中文分词 分词 Elastic Search 自定义插件

利用自动化平台可以做的那亿点事 |得物技术

得物技术

自动化

软件测试/测试开发丨利用 pytest 玩转数据驱动测试框架

测试人

软件测试 自动化测试 测试开发 pytest

看完这份SpringBoot神级文档,面试真的可以为所欲为

三十而立

Java IT java面试

【3.24-3.31】写作社区优秀技术博文一览

InfoQ写作社区官方

热门活动 优质创作周报

Hologres技术揭秘:JSON半结构化数据的极致分析性能

阿里技术

json 半结构化数据

简述家居物联网体系架构

毛广斌

DTALK直播预约 | 数据资产管理:金融机构数据价值释放的必经之路

袋鼠云数栈

数据资产管理

微服务架构中的链路超时分析

做梦都在改BUG

Java 架构 微服务

企业号 4 月 PK 榜,火热开启!

InfoQ写作社区官方

热门活动 企业号 4 月 PK 榜

利用Jackson序列化实现数据脱敏

京东科技开发者

Jackson 数据脱敏 企业号 3 月 PK 榜

过亿云资源运维管控难?华为云CloudMap带你喝着咖啡做运维

华为云开发者联盟

大数据 后端 华为云 华为云开发者联盟 企业号 3 月 PK 榜

龙蜥 Node.js/WebAssembly SIG 重磅发布 Node.js/Noslate 性能优化白皮书

OpenAnolis小助手

node.js Web 白皮书 龙蜥社区 sig

机器学习实战系列[一]:工业蒸汽量预测(最新版本下篇)含特征优化模型融合等

汀丶人工智能

数据挖掘 机器学习 数学建模

用友BIP智能财务,助力企业构建世界一流预算管理体系

用友BIP

全面预算

重现一条简单SQL的优化过程

GreatSQL

MySQL greatsql greatsql社区

阿里内部进阶学习SpringBoot+Vue全栈开发实战文档

三十而立

华秋一文带你读懂PCB中的“金手指”设计

华秋电子

软件测试丨JavaScript脚本注入,完成Selenium 无法做到的那些事

测试人

JavaScript 软件测试 自动化测试 测试开发 selenium

构建云边端一体的分布式云架构,软硬结合驱动边缘计算创新场景

百度Geek说

人工智能 架构 分布式 边缘计算 企业号 3 月 PK 榜

数据擘画资产全景 AI诊断故障真因

用友BIP

美图海量短视频内容分析与检索(一)_文化 & 方法_声网_InfoQ精选文章