报名参加CloudWeGo黑客松,奖金直推双丰收! 了解详情
写点什么

Facebook 开源了应用于 VR 渲染的图像系统 DeepFocus

  • 2019-01-02
  • 本文字数:814 字

    阅读完需:约 3 分钟

Facebook开源了应用于VR渲染的图像系统DeepFocus

DeepFocus 是一个由 AI 驱动的新框架,用以在 VR 中渲染自然逼真的对焦效果。DeepFocus 可以与高级原型头戴式设备配合工作,实时显现不同焦距下的模糊效果。例如,当佩戴受 DeepFocus 支持的头戴式设备的人观看附近的物体时,它立即聚焦清晰地显示出来,而将背景物体虚化,就像在现实生活中的体验一样。这种散焦模糊(也称为视网膜模糊)对实现 VR 中的真实感和深度感知是非常重要的。DeepFocus 是首个能够为 VR 应用程序实时生成这种效果的系统。现在,Facebook 宣布开源工作和数据集,以帮助 VR 研究界的其他人员。

它的工作原理:

像使用累积缓冲器这样的传统方法能够实现物理上的精确散焦模糊。但是,它们无法为复杂丰富的内容生成实时效果,原因是这样的处理需求即使对最先进的芯片来说也很难做到。相反,Facebook 利用深度学习解决了这个问题。他们开发了一种新颖的端到端卷积神经网络,在眼睛看到某个场景的不同部分时,该网络会生成具有精确视网膜模糊的图像。该网络包括保持容量的新交织层,以在完全保留图像细节的同时减少输入的空间维度。然后,该网络的卷积层以相同的、降低的空间分辨率运行,并且运行时间明显减少。

它的重要意义:

随着对新的 VR 头戴式设备的研究进展,DeepFocus 将能够模拟所需的精确视网膜模糊以生成极其逼真的视觉效果。该平台还演示了 AI 能够帮助解决在 VR 中渲染高度计算密集性视觉效果的挑战。DeepFocus 为未来新型的显示系统解决实际渲染和优化限制打下了基础。


由于 DeepFocus 只依赖标准 RGB-D 颜色和深度输入,它几乎适用于所有现有的 VR 游戏和应用程序。它还兼容目前 VR 研究界在探索的所有 3 种支持调节的头戴式设备:变焦显示器(如 Half Dome)、多焦点显示器(如 FRL之前的产品)和光场显示器。


请点击这里了解更多 Facebook Reality Labs 创建 DeepFocus 的细节。


参考原文:Open-sourcing DeepFocus, an AI-powered system for more realistic VR images;https://code.fb.com/virtual-reality/deepfocus/


2019-01-02 17:117127
用户头像

发布了 199 篇内容, 共 87.9 次阅读, 收获喜欢 295 次。

关注

评论 1 条评论

发布
用户头像
企鹅3362六295林3 高速外..网.梯.子 免.费测...试
2019-01-02 20:33
回复
没有更多了
发现更多内容

谁有粉?就爬谁!他粉多,就爬他!Python 多线程采集 260000+ 粉丝数据

梦想橡皮擦

11月日更

架构实战训练营模块三

人生就是梦

「架构实战营」

性能测试之并发模型对比(JMeter,Locust和Gatling篇)

刘冉

软件测试 性能测试 自动化测试

通过 Feature Level 动态控制 SAP Spartacus 的页面显示

汪子熙

typescript angular SAP 11月日更

基于业务和平台理解数字营销概念

架构 CDP DSP DMP 数据服务

敏捷中的威胁建模

刘冉

敏捷开发 威胁建模 安全测试

点进来,与白洞一起体验一场沉浸式智慧轨道之旅

白洞计划

一分钟搞懂DDD

俞凡

架构 DDD

软件测试中的服务虚拟化

刘冉

Mock测试框架 服务虚拟化

NodeJs深入浅出之旅:内存控制(上)🐍

空城机

大前端 Node 11月日更

dart系列之:dart类的扩展

程序那些事

flutter dart 程序那些事 11月日更

瀑布vs敏捷质量控制

刘冉

敏捷开发 敏捷测试

如何使用 JavaScript 扁平化/非扁平化嵌套 JSON 对象?

devpoint

JavaScript json Object 11月日更

[架构实战营]模块三作业:学生管理系统详细架构设计

Geek_99eefd

「架构实战营」

分布式技术专题-服务架构设计-带你统一认识一下系统架构及分析和总结

码界西柚

架构设计 总结思考 11月日更 架构介绍

模块八作业

potti

软件安全测试

刘冉

软件测试 安全测试

Django中的超级用户和自己创建app原来这么简单!

老表

Python django web开发 11月日更 博客系统

如何使用Camtasia给视频打码

淋雨

Camtasia

Flink 实践教程-入门(6):读取 PG 数据写入 ClickHouse

腾讯云大数据

flink 流计算 Oceanus

Flink 实践教程-入门(7):消费 Kafka 数据写入 PG

腾讯云大数据

flink 流计算 Oceanus

北鲲云超算平台对于基因组学研究能够提供哪些帮助?

北鲲云

架构实战营模块三作业

spark99

架构实战营

学生管理系统设计文档

Geek_cb2b43

自定义View:如何实现图片放大后拖动和滑动效果

Changing Lin

11月日更

设计消息队列存储消息数据的MySQL表格

白开水又一杯

#架构实战营

双11硝烟散去,零售业开始“外卷”

脑极体

我们的敏捷测试实践

刘冉

软件测试 敏捷测试

springboot中poi操作合集

小鲍侃java

11月日更

AI 预测:基于流计算 Oceanus(Flink) 实现病症的实时预测

腾讯云大数据

flink 流计算 Oceanus

服务端系统性能测试

刘冉

性能测试

Facebook开源了应用于VR渲染的图像系统DeepFocus_AI&大模型_脸书_InfoQ精选文章