三星研究人员创建了AI该AI可以生成逼真的视频场景3D渲染

2020-03-07 11:42:21    来源:    作者:

三星的三名研究人员创建了一种AI,该AI可以生成逼真的3D视频场景渲染。

在一篇详细介绍AI背后的神经网络的论文中,研究人员解释了当今创建虚拟场景的低效率过程:

创建真实场景的虚拟模型通常涉及很长的操作流程。此类建模通常从扫描过程开始,在此过程中,使用相机图像捕获光度特性,并使用深度扫描仪或密集立体匹配捕获原始场景的几何形状。

三星研究人员创建了AI该AI可以生成逼真的视频场景3D渲染

后一个过程通常会提供嘈杂且不完整的点云,需要通过应用某些曲面重建和网格划分方法来对其进行进一步处理。给定网格,纹理化和材料估计过程将确定表面碎片的光度特性,并将其以2D参数化贴图的形式存储,例如纹理贴图,凹凸贴图,与视图相关的纹理,表面光场。

最后,生成建模场景的逼真的视图涉及繁重的计算过程,例如光线跟踪和/或辐射传递估计。”

三星研究人员创建了AI该AI可以生成逼真的视频场景3D渲染

视频输入被转换为代表场景几何形状的点。然后使用神经网络将这些几何点渲染为计算机图形,极大地加快了渲染逼真的3D场景的过程。

这是AI创建的3D场景的视频结果:

这样的解决方案有一天可以帮助游戏开发,尤其是已经拍摄的电影的视频游戏。影片中的镜头可以为游戏开发人员提供可复制的3D环境,以便在其中创建交互式体验。或者,也许您可​​以仅使用旧视频和VR耳机重现诸如婚礼之类的事件。

三星研究人员创建了AI该AI可以生成逼真的视频场景3D渲染

在达到这一点之前,仍然需要进行一些改进。当前场景无法更改,并且与原始视点的任何较大偏差都会导致伪像。尽管如此,对于在不那么遥远的将来可能发生的事情,这仍是令人着迷的早期见识。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。