写点什么

CVPR 2022 论文速递 | OPPO& 西电提出个性化美学评价新范式,发布 PARA 数据集

  • 2022-04-02
  • 本文字数:3313 字

    阅读完需:约 11 分钟

CVPR 2022 论文速递 | OPPO&西电提出个性化美学评价新范式,发布PARA数据集

导语:在「个性化图像美学评价」领域,现有方法主要基于图像中所呈现的客观内容进行个性化建模。然而个性化图像美学评价的本质是度量图像所呈现的客观内容被不同的用户主体感知时所激发的美学感受。


因此,图像的客观内容与用户的主观特性共同作用,进而产生差异化的美学评价结果。相应地,理想的个性化图像美学评价模型,也需要同时使用图像内容和用户的主观信息。然而,由于缺乏标注丰富且包含主观信息的数据集,个性化美学评价算法研究进展缓慢。


近日,OPPO 研究院联合西安电子科技大学李雷达教授,结合美学、心理学、用户画像信息等知识,提出了主客观信息融合的个性化美学评价新范式,并开源了带有丰富属性标注的个性化美学评价数据集 PARA,为建模个性化审美偏好提供了崭新的思路和数据可能。


目前,该论文已被 CVPR 2022 接收。美与美感一直是人类追求精神生活的重要部分,也是 OPPO 一直在追逐的理念。图像作为人类社会信息记录与传递的重要媒介之一,广泛存在于多种移动终端和互联网上。因此,图像美学也成为当前计算机视觉与情感计算领域的重要研究课题之一。


图像美学的研究目的是利用人工智能(AI)有效地模拟人类的审美过程,对图像美感进行自动化评估,使得用户获得的图像质量更高,内容更美。该领域不仅涉及计算机,还需要心理学、美学等多个交叉学科的支持。


与一般的计算机视觉任务不同,美学评价具有较强的主观性。受到用户性别、年龄、职业、性格、教育背景等多样化主观因素的影响,即使对相同的图像,不同的用户也会产生不同的美学感受。因此,想要构建准确的个性化图像美学评价方法,需要从图像所呈现的客观内容和用户的主观特性两个维度,共同进行评价算法的设计。


然而,现有的个性化图像美学评价模型往往仅从图像的角度进行个性化美学建模,在研究方法上存在固有的缺陷。近日,OPPO 研究院和西安电子科技大学对个性化图像美学评价进行了全方位的研究,并发表了题为 “Personalized Image Aesthetics Assessment with Rich Attributes”的论文。


论文针对个性化图像美学评价中的客观图像内容与用户的主观属性进行了全面的探索和分析,提出的带条件的 PIAA 算法(Conditional Personalized Image Aesthetics Assessment),是业界首次探讨“用户主观偏好与图像美学相互作用,如何产生个性化品味”的相关工作。


此外,随该算法一并提出的带有丰富属性信息的个性化图像美学数据集也一并开源,打破了学科方面的数据限制。论文已被 CVPR 2022 收录,数据集地址:https://cv-datasets.institutecv.com/#/data-sets

突破学科限制,利用心理学知识设计 AI 数据库


图像美学评价旨在通过计算机对图片的“美丽程度”进行打分。根据审美是否考虑个性偏好,业界将图像美学评价的分为两类:通用和个性化。前者依赖「平均」概念,反映大众美学审美;后者需要考虑到个人独特的审美特点,反映个人的“千人千面”。


与通用图像美学评价相比,个性化图像美学评价也需考虑主观特性、客观属性等更全面的因素,覆盖不同用户审美感知的多样性,具有更加直接的应用价值。但由于当前该领域数据集的标注维度缺乏多样性,个性化图像美学评价的研究面临一定程度的科研挑战性。



图注:PIAA 数据集之间的比较。此前的主流数据集缺乏主观信息的标签,标注维度和数据规模相对较小。


为了解决上述难题,OPPO 研究院和西安电子科技大学的研究人员利用“跨学科、先验知识”等思维设计了相关数据集和模型。

本文任务


通过丰富的属性标注,实现更加全面的个性化图像美学评价。

本文创新


1.使用跨学科的思维设计了包含主观和客观属性的数据集;


2.通过数据分析探讨主观和客观标注维度的关联性;


3.利用用户画像作为“先验知识” ,提出条件 PIAA 建模方法。

回答业界关心问题

1.数据集如何保证多样性以及解决偏差?


从健康状况、工作经历、个体性格、个人画像四个方面来选择标注人员,保证人员多样性;在从 Flickr 下载约 28,000 张 CC0 图片的基础上,从 Unsplash 网站和 SPAQ、KonIQ-10K 等主流图像质量评估数据集添加大约 3,000 张具有明确美学共识的图像,保证语义和分数分布相对平衡。

2.主观信息中的个人性格特征如何确定?


使用心理学领域权威的 BFI-10 人格调查问卷进行用户摸底,然后计算大五人格特征分数,并添加到标注维度中。

3.如何证明数据库的可用性和优越性?


可用性:baseline 模型的个性化美学评价结果比较准确,测试指标较好。


优越性:设计两种基准模型:有条件和无条件的 PIAA。实验结果显示:加入用户画像信息一组的实验结果高于对照组,证明通过加辅助信息可以超越仅利用美学分数学习的模型。

4.“先验知识”在个性化图像美学评估中能起到什么作用?


建模时加入了三种条件信息,包括个人性格、美学经验以及摄影经验。实验结果显示:利用主观属性信息进行 PIAA 建模可以提高模型性能。

强调主观信息,探究美学评价与个性化之间的相互作用

数据集设计原则


数据集制作分为四步:图片收集、标签设计、人员选择以及主观实验。


图片收集过程中,使用了场景识别模型预测每张图片的场景标签,然后人工修正保证标签质量;随后根据场景标签采样收集了 31,220 张图像。



图注:单张图片的标签信息。分为主观、客观两类,通过 User ID 识别。


在参考已有美学评价主流数据集的基础上,设计的标签如上表所示,每张图片的一条“打分”记录都包含 13 个属性标签以及相关联的用户画像信息。13 个属性标签包含 9 个客观属性(例如图像美学、情感等),4 个主观属性(例如内容偏好、分享意愿等)。


人员选择的原则是保证被试人员的质量和多样性,研究员从健康状况、标注经历、用户画像以及培训考核等方面选择“入库人群”。例如,只有具有一定标注经验,身心健康的个体,且通过每日的标注培训和考核后,才可以进行数据标注。



图注:数据库统计分布信息


主观实验遵循心理学主观实验规范。研究员将整个数据库分成 446 个标注会话,每个标注会话包含 70 张待标记的图像,5 张有标记的图像(提前多人标注作为标准图校验标注是否符合通用标准),以及 5 张重复的图像(需要打两次标注的,从而测试标注的一致性)。

数据分析结果


通过分析数据集,研究员发现,每个美学属性的分布是相似的,但也存在微小的差异,这表明各个美学属性相互关联的同时,每个维度仍然能够提供独特的信息。如美学评分(4,5)区间比其他区间有更低的方差,这意味着对 "什么是美 "有共同的认知,但存在不同的审美观点。



图注:(左)标签分数的分布;(右)美学得分箱线图


同时,进一步分析发现,个体性格、美学评分和美学属性之间具有相关性。例如具有 "神经质(Neuroticism)"性格的受试者倾向于对外部刺激作出过度反应;“内容偏好”和“分享意愿”维度高度相关,证明人们在喜好图片内容时更容易分享照片。



图注:属性维度之间的相关系数

基准模型设计


最后,为了证明数据集的可用性和优越性,研究员对数据集进行了基准模型研究。包括有条件和无条件的 PIAA 两种建模方法,训练方式如下图所示。



PIAA 模型产生于通用美学评价模型(GIAA),区别之处在于:使用个人数据微调,强调学习个性化偏好。相比无条件的 PIAA 模型,条件 PIAA 建模时分别添加了三种条件信息,包括个体性格、美学经验和摄影经验。由于 PIAA 是一个典型的小样本问题,研究员们参考 零样本学习以及之前的相关工作进行实验设置,例如分为三组:无微调组(“对照组”)、10-shot 组、100-shot 组。



图注:在 PARA 上提出的有条件和无条件 PIAA 的实验结果


实验结果显示,通过对 10-shot 组和 100-shot 组的个性化数据进行微调,PIAA 的表现可以超过对照组;更多的个性化训练数据可以进一步提高微调的性能;与无条件的 PIAA 组相比,利用主观信息进行 PIAA 建模可以提高模型性能。

结语


美学评价类相关研究任务具有很强的主观性,不同的个体有不同的美感认知,通用的美学评价在建模时忽略了个体审美主观性。针对个性化图像美学目前存在的主观性问题,本文提出了结合用户画像信息以及丰富的标注维度的个性化美学评价算法,并开源了所使用的个性化图像美学评价数据集 PARA,打破个性化美学评价学术研究的思路和数据壁垒。


未来,OPPO 研究员会将该数据集以及相关技术应用到相册、相机、互联网内容理解等实际场景中,从而为用户打造更极致的个性化体验。


Project Page: https://cv-datasets.institutecv.com/#/data-

2022-04-02 11:455337
用户头像
王一鹏 前 InfoQ 总编辑

发布了 152 篇内容, 共 98.8 次阅读, 收获喜欢 469 次。

关注

评论

发布
暂无评论
发现更多内容

最新出炉!开源 API 网关的性能对比:APISIX 3.0 和 Kong 3.0

API7.ai 技术团队

kong api 网关 APISIX

这些小技巧,让你的前端编程更优雅

好程序员IT教育

前端

Github上架3天星标55K,阿里最新产架构师速成手册成功颠覆了我的认知

程序员小毕

分布式 微服务 程序人生 架构师 Java后端

2022开源之夏|EMQ三大开源项目开发圆满收官

EMQ映云科技

开源 物联网 IoT mqtt 11月月更

【web 开发基础】PHP 自定义函数之函数的返回值-PHP 快速入门 (27)

迷彩

web开发基础 PHP基础 11月月更 return

神了!阿里P8纯手写出了这份10W字的MyBatis技术原理实战开发手册

小二,上酒上酒

学习 编程 面试 mybatis

深圳市数字经济指数发布:数字经济蓬勃发展,数字用户深度渗透

易观分析

数字经济 深圳

大规模预训练模型:探讨与展望

澜舟孟子开源社区

商业银行普惠金融可持续发展综合能力呈现梯队化,专项领域各有所长

易观分析

普惠金融

大数据培训和自学哪种方式更好

小谷哥

redhat运维-远程日志记录

阿柠xn

运维 日志 linux 文件权限控制 11月月更

为什么面试官狂问八股文?我已经被三家公司问到哑口无言……

程序知音

Java java面试 java架构 后端技术 Java面试八股文

《深入理解JavaScript特性》学习总结2-ES6基础知识点总结

肥晨

11月月更 ES6基础知识点总结 解构赋值

袋鼠云数栈UI5.0体验升级背后的故事:可用性原则与交互升级

袋鼠云数栈

20个值得收藏的实用JavaScript技巧

千锋IT教育

java培训学习该怎么做?

小谷哥

蚌住了!这份阿里P8写的Java多线程编程实战指南就这么容易开源?

小二,上酒上酒

Java 面试 多线程 阿里 大厂面试

好家伙!阿里P8撰写的Java微服务架构全栈笔记GitHub一夜飞到榜首

小二,上酒上酒

Java 架构 面试 微服务

低学历并不是阻碍职业发展的绊脚石

测吧(北京)科技有限公司

软件测试

3年测试经验跳槽成功拿下30W+年薪

测吧(北京)科技有限公司

软件测试

自学前端技术怎么样,有必要去吗

小谷哥

遭MQ连连干翻后的醒悟!含恨码出5本MQ学习手册助力秋招之旅

小二,上酒上酒

面试 RocketMQ 大厂 大厂面试

完整会议议程:NGINX Sprint China 2022 年度线上大会

NGINX开源社区

nginx

为什么晶闸管能在大电流下工作?

元器件秋姐

元器件采购 元器件电商 元器件知识 华秋商城 晶闸管

Meta Force 原力元宇宙dapp系统开发(智能合约部署)

开发微hkkf5566

《深入理解JavaScript特性》学习总结1-ES6基础知识点总结

肥晨

箭头函数 11月月更 ES6基础知识点总结

前端培训班中如何学习前端开发技术

小谷哥

爆肝了!阿里出版的这份Spring Security源码手册,狂揽GitHub榜首

小二,上酒上酒

Java 面试 spring security 大厂 大厂面试

万物皆可集成系列:低代码对接Web Service接口

葡萄城技术团队

阿里P8偷偷把内网分享的SpringCloud微服务架构精髓手册开源了

小二,上酒上酒

架构 面试 微服务 Spring Cloud

CSS修改单选框样式(element)

肥晨

11月月更 单选框样式修改 element单选框样式

CVPR 2022 论文速递 | OPPO&西电提出个性化美学评价新范式,发布PARA数据集_AI&大模型_OPPO研究院_InfoQ精选文章