写点什么

美图海量短视频内容分析与检索(二)

  • 2019-11-30
  • 本文字数:977 字

    阅读完需:约 3 分钟

美图海量短视频内容分析与检索(二)

如何有效定义标签体系

我们有一个热门视频池,运营和产品会手动为一些视频打上标签。你可能会说,我们可以拿这部分标签做模型训练。如果我们将业务标签应用于算法会存在哪些问题呢?


一是业务的标签比较抽象,比如可能会制定像搞笑和幽默这样的一些标签。但一个视频是否算搞笑、幽默,无法仅从视觉或声音、语音等一些信息进行准确判定。


举个例子,一个 3 岁的小孩在哭,父母上传的可能会是一个搞笑的视频,如果是 20 多岁或者 50 多岁的人在哭,那就是一个悲伤的视频。


二是训练数据不均衡,上图是我们拿到的一部分业务标签对应的数据量,因为业务人员在定标签的时候不会考虑每个类别是什么样的,所以就会出现训练数据不均衡的问题,这个也会影响算法模型的训练。


另一个问题是类别区分度低。以上图为例,手指舞和自拍,从视觉角度来看没有任何区别,如果训练中强行将其分成两类,也会在训练过程中影响网络模型的学习,会引起一些噪声。


还有一个问题是标签的维度比较单一。通常一个视频,最多给四到五个维度的标签,再多的话,想全面衡量这个视频会变得非常复杂。


我们的解决方法是,以业务标签作为指引,拿我们的视频数据和文本数据(伴随视频的标题、评论相关信息)去提取视频特征、音频特征进行聚类,然后对聚类进行抽象定义,得出相应的视觉标签元素。这个标签元素就是我们用来训练的标签。最后训练标签输出的结果会反过来映射到业务标签,用这种方法定义的标签是多层级多维度的。


如下图所示,视频中是一个女生,视频中的姿态显示为全身,动作是在摇摆,检测到的音乐风格为摇滚,那么可以判断这个视频是一个美女在自拍,而且在跳舞,属于才艺展示,于是生成的标签就是“美女自拍”、“舞蹈”、“才艺”。这就完成一个算法标签到业务标签的映射。

如何提高线上算法模型的迭代更新效率

这里有三个核心问题:快速的数据标注、有效稳定的模型评估机制、算法运行的性能要有保障。


为了进行快速标注,我们也用了一个自动的算法标注,这个算法在无监督和半监督的深度学习的论文中被提到过。我们会预先拿一个通用的数据训练模型,对业务数据进行少量的标注,基于少量的标注数据再训练一个分类器。这个分类器会给其它未标注的进行标注。伴随标签输出会有一些置信度,会把高置信度的数据再拿去进行训练,低置信度的会继续下一次的迭代更新,这个过程会重复多次。这个过程也会根据任务的难度,加入人工的核验和标注。


2019-11-30 22:53852

评论

发布
暂无评论
发现更多内容

IDC数据中心介绍

大数据技术指南

数据中心 5月日更

网页端IM通信技术快速入门:短轮询、长轮询、SSE、WebSocket

JackJiang

websocket 消息推送 即时通讯 IM

ASP.NET Core整合Zipkin链路跟踪

yi念之间

麦肯锡最新报告 | 开发者速率成为企业增长助推剂

LigaAI

SaaS

毕业设计So Easy:基于Java语言西餐厅点餐系统

不脱发的程序猿

Java 开源 Java语言西餐厅点餐系统 毕业设计

李开复、张亚勤、吴恩达…国际大咖给你讲解AI知识

博文视点Broadview

如何快速构建嵌入式全栈知识体系?

博文视点Broadview

阿里的互联网三高架构是真的牛!腾讯百度根本模仿不来

Java架构师迁哥

Hive对分区分桶表的操作

五分钟学大数据

大数据 hive 5月日更

一颗CPU与病魔赛跑

E科讯

Mybatis-Plus的应用场景及注入SQL原理分析

vivo互联网技术

源码分析 mybatis

Java程序员想要拿到50W以上年薪,哪个技术是必备的?

Java架构师迁哥

iOS 面试策略之系统框架-设计模式

iOSer

ios 并发编程 tableView

Leveldb解析之五:理解leveldb的持久化和MVCC实现机制

Jowin

leveldb

云小课 | 华为云KYON之L2CG

华为云开发者联盟

虚拟私有云 华为云 大二层网络 KYON企业级云网络 L2CG

联邦学习在视觉领域的应用,揭秘AI人工智能创新应用奖获奖案例

博文视点Broadview

dubbo的前世今生

捉虫大师

dubbo

最详细的 Python 结合 RFM 模型实现用户分层实操案例!

JackTian

Python 编程 程序员 数据分析 RFM模型

聊聊业务数据分析那些事儿

小飞象@木木自由

数据分析 业务场景分析 业务数据分析 业务分析

KubeSphere+QKE 轻松实现容器多集群管理

青云技术社区

容器 k8s 开发工具

当当购书优惠码又可以限时抢啦(热卖新书等你来)

博文视点Broadview

打破固有思维(十八)

Changing Lin

5月日更

智能量化网格策略交易机器人,马丁倍投机器人

千万级学生管理系统考试试卷存储方案

chenmin

低代码核心优势是:降本增效+多系统集成,这真的对吗?

优秀

低代码

强化学习落地:竞态场景下基于锁机制的闲置端口查用

行者AI

强化学习

软硬件融合新时代——让软件够灵活,硬件够高效,鱼和熊掌可兼得

博文视点Broadview

面试37次,16个offer上岸,总结了一些面试心得

北游学Java

面试 offer

深度分享|中小银行如何实现数字化转型,建设智能营销新体系?

索信达控股

大数据 数字化转型 金融 银行 营销数字化

架构是什么?空中楼阁?不切实际?

Java架构师迁哥

书单 | 职场办公类私藏好书,轻松Get职场必备技能

博文视点Broadview

美图海量短视频内容分析与检索(二)_文化 & 方法_声网_InfoQ精选文章