新闻

亚博技术专业购彩平台

菜单

开放房间之美

由加州大学圣地亚哥分校的计算机科学家开发的新数据集和相关工具能够放大模拟具有强烈真实感的室内3D场景的能力

OpenRooms通过输入图像或扫描创建照片级真实感合成场景,对形状、材质和照明进行前所未有的控制。

加利福尼亚大学圣地亚哥分校的计算机科学家发布了一个新的框架。开放式房间. 这个新的数据集和工具将免费提供给每个人,它将帮助用户操纵室内3D场景中的对象、材质、照明和其他属性,以推进增强现实和机器人技术。

加州大学圣地亚哥分校计算机科学与工程副教授曼莫汉·钱德拉克(Manmohan Chandraker)说:“这是一项巨大的努力,包括来自我的团队的11名博士和硕士学生,以及来自加州大学圣地亚哥分校和Adobe的合作者。”“这是一项重要的发展,在计算机视觉、图形学、机器人技术和机器学习等领域,对学术界和工业界都有巨大的影响。”

OpenRooms数据集和相关更新公开可在本网站,有关技术细节,请参阅CVPR 2021年5月发布。

使增强现实更真实

钱德拉克的团队使用计算方法来理解视觉世界。他们特别关注形状、材料和照明如何相互作用形成图像。

他说:“我们基本上想了解世界是如何被创造出来的,以及我们如何对其采取行动。”。“我们可以将对象插入现有场景或推进自动驾驶,但要做到这些,我们需要了解场景的各个方面以及它们如何相互作用。”

这种深刻的理解对于在混合现实中实现真实感至关重要。将对象插入场景需要对各种光源的着色、其他对象投射的阴影或周围场景的相互反射进行推理。该框架还必须处理场景遥远部分之间的类似远程交互,以改变复杂室内场景中的材质或照明。

好莱坞用基于测量的平台解决了这些问题,比如拍摄演员安迪·瑟金斯(Andy Serkis)在一个架子上,然后把这些图像转换成咕噜姆(Gollum)指环王三部曲。实验室希望在没有超昂贵系统的情况下达到类似的效果。

为了达到这个目标,小组需要找到创造性的方法来表现形状、材料和照明。但获取这些信息可能耗时、数据匮乏且成本高昂,尤其是在处理复杂的室内场景时,家具和墙壁具有不同的形状和材料,并由多种光源(如窗户、顶灯或灯具)照明。

Chandraker说:“我们必须测量房间里每一点的光线和材料特性。”“这是可行的,但无法规模化。”

OpenRooms使用合成数据渲染这些图像,这提供了一种精确且廉价的方法来提供地面真实几何体、材料和照明。这些数据可用于训练强大的深层神经网络,以估计真实图像中的这些特性,从而实现照片级真实感对象插入和材料编辑。

这些可能性在一个CVPR 2020的口头报告中得到了证实,该报告的第一作者是由Chandraker指导的五年级博士生李正勤(音)。该软件提供了自动工具,允许用户拍摄真实的图像,并将其转换成逼真的合成图像。

Chandraker说:“我们正在创建一个框架,用户可以使用手机或3D扫描仪开发数据集,从而实现自己的增强现实应用。”。“他们可以简单地使用扫描或一组照片。”

Chandraker和团队的部分动机是创建一个公共领域平台的需要。大型科技公司拥有巨大的资源来创建培训数据和其他IP,这使得小型公司很难立足。

最近,立陶宛一家名为Planner 5D的公司起诉Facebook和普林斯顿,声称他们非法使用了其专有数据。

钱德拉克说:“你可以想象这样的数据对许多应用程序都非常有用。”。“但这一领域的进展仅限于少数有能力进行此类复杂测量或使用艺术家创造的昂贵资产的大公司。”

应用程序

OpenRooms可以让用户根据自己的喜好真实地调整场景。如果一个家庭想对厨房进行可视化改造,他们可以改变台面材料、照明或房间里的几乎任何东西。

“通过OpenRooms,我们可以在每个像素的基础上计算关于场景中的3D形状、材料和照明的所有知识,”Chandraker说。“人们可以给一个房间拍照,然后插入和操作虚拟物体。他们可以先看看真皮椅子,然后把材料换成布料椅子,看看哪种看起来更好。”

开放式房间甚至可以显示,在白天,在窗户的自然光下,或者在晚上的灯光下,椅子的外观。它还可以帮助解决机器人学问题,例如接管不同摩擦剖面地板的最佳路线。这些功能在模拟社区中引起了很大的兴趣,因为以前,数据是专有的,或者不具有可比的照片真实性。

“这些工具现在以真正民主的方式提供,”Chandraker说,“为真实感增强现实和机器人应用提供可访问的资产。”


媒体接触

凯蒂·E·伊斯梅尔,(必须启用JavaScript才能查看此电子邮件地址)

加州大学圣地亚哥分校十号300工作室提供广播和电视连线,以便媒体采访我们的教师,这可以通过(必须启用JavaScript才能查看此电子邮件地址). 要与加州大学圣地亚哥分校的教员就相关问题和趋势新闻故事进行联系,请访问2021欧洲杯亚博 .