在社交网络上,每天都有难以计数的图片被人们分享、存储。但有一个现实的问题是,大量的照片由于网络限制被人为压缩降低了画质。
而 Apple 在 2010 年的 iPhone 4S 推出了“视网膜”的概念后,各大手机商也推出了 2K 的手机,显示器也逐步走向了 4K。但是高清显示一直缺乏内容,成了该行业发展的痛点。因为超分辨率技术受成本、硬件限制,未能广为普及。将低分辨率图片转化为高清版本,并可在多种设备上查看和分享,成了市场巨大的需求。
如今,Google 为了解决这一痛点,发布了黑科技,让人们看到了希望。
Google 发布 RAISR 技术
不久前,Google 刚刚发布了一种名为 RAISR (Rapid and Accurate Super Image Resolution,意为“快速、精确的超级图像分辨率技术”)的图像压缩技术,旨在保存宝贵的数据,而不牺牲照片质量;并在带宽受限的移动设备上提供清晰锐利的图像。
Google 声称,该技术可以降低高达 75%的带宽,RAISR 分析同一图像的低分辨率和高分辨率版本,了解到高分辨率版本出众的原因,然后在低分辨率版本模拟出来。实际上就是使用机器学习创建一个类似 Instagram 的过滤器,欺骗你的眼睛,让你相信低分辨率与高分辨率图像是一致的。
RAISR 的现状与未来
登陆 Google+
早在 2016 年 11 月,Google 已经将 RAISR 技术研发完成,希望可以在带宽有限的移动端上展现高清图片。
上周,即 2017 年 1 月中,这项技术已经应用于大多数 Google+ 的 Android 版。Google 产品经理 John Nack声称,RAISR 在Google+ 上每周处理超过10 亿张图片,将这些用户的总带宽节省了约三分之一。
John Nack 表示,当使用 Android 移动设备的用户观看 Google+ 的图片时,Google+ 会发送一张仅为原图片大小的四分之一的版本,再通过 RAISR 算法来修复细节。最高时,RAISR 可以为用户节省了大约 75% 的带宽。
iOS 端早有集成
早在 2016 年 12 月,Google 在自家的 iOS 应用 Motion Stills 就已经集成了 RAISR 技术,这其实才是 RAISR 的首次亮相。彼时,RAISR 来改善视频的分辨率,可以自动锐化用户导出的每段视频。
不过,目前尚不清楚具体何时会在iOS 移动设备上为用户访问Google+ 时提供RAISR 技术。Nack 表示,Google 将在未来几周内普及到iOS 领域上。
下一个应用会是?
如果用户不想仅仅在Google+ 中使用RAISR,还得等一段时间。Google 计划在未来几个月内将RAISR 逐步部署到更多的应用,比如Google Photos。
RAISR 实现原理:机器学习、无混叠效应
Google 的这项黑技术利用了机器学习,它的效果能达到甚至超过现在的超分辨率解决方案,同时速度提升 10~100 倍,还能够在普通的移动设备上运行。Google 还声称,他们的技术能够避免在重建低分辨率图像中产生混叠效应(aliasing artifacts)。
在“填充”图片时,传统的升采样技术是通过周围已有的像素值计算需要添加的新像素值。这些方法速度很快,但它们并不是在放大图像中显示生动的细节的最好方法。如下所示图片,左图是原始图片,右图是经升采样处理后的图片,看起来很模糊,远不能称之为画质提升。
RAISR 与它们不同之处在于,它采用了机器学习,用一对低品质和高分辨率图片进行训练的系统,因此它知道如何重建应用于低分辨率图片中的每个像素的过滤器,生成媲美原始图片的细节。RAISR 选择最佳方式来增强低分辨率照片中的每个“像素邻域”,以创建更多的分辨率。
换句话说,RAISR 使用它从其他照片中学到的东西,以便有根据地猜测每个丢失像素区域中的高分辨率版本应该是什么样子。
Google 表示:“当这些过滤器应用于较低分辨率的图像时,它们会重现出相当于原始分辨率的细节,这大幅优于现行、双三(Bicubic)、兰索斯(Lancos)的解析方式。”
上图是原始图片,下图是经 RAISR 放大后的图片。
左图是原始图片,右图是经 RAISR 放大后的效果。
以下是 RAISR 与 Bicubic 比较的一组示例:
左边为 Bicubic 处理的图片,右边为 RAISR 处理的图片。
此外,RAISR 可以消除照片中的混叠效应,如莫尔条纹(Moire patterns)和锯齿,恢复照片的原始结构。
如下图,左边是低分辨率的原始图片,3 和 5 都有很明显的莫尔条纹,这就是混叠效应;右图是用 RAISR 算法恢复的图像。
左图为原始图像,右图为 RAISR 消除莫尔条纹的图片
Google 声称,这种技术在未来,除了放大手机上的图片,还可以在低分辨率和超高清捕捉、存储、传输图像,使用更少的移动网络数据和存储空间,而且不会产生肉眼能观察到的画质降低。
感谢木环对本文的审校。
给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ , @丁晓昀),微信(微信号: InfoQChina )关注我们。
评论