三星的三名研究人员创建了一种AI,该AI可以生成逼真的3D视频场景渲染。
在一篇详细介绍AI背后的神经网络的论文中,研究人员解释了当今创建虚拟场景的低效率过程:
创建真实场景的虚拟模型通常涉及很长的操作流程。此类建模通常从扫描过程开始,在此过程中,使用相机图像捕获光度特性,并使用深度扫描仪或密集立体匹配捕获原始场景的几何形状。
后一个过程通常会提供嘈杂且不完整的点云,需要通过应用某些曲面重建和网格划分方法来对其进行进一步处理。给定网格,纹理化和材料估计过程将确定表面碎片的光度特性,并将其以2D参数化贴图的形式存储,例如纹理贴图,凹凸贴图,与视图相关的纹理,表面光场。
最后,生成建模场景的逼真的视图涉及繁重的计算过程,例如光线跟踪和/或辐射传递估计。”
视频输入被转换为代表场景几何形状的点。然后使用神经网络将这些几何点渲染为计算机图形,极大地加快了渲染逼真的3D场景的过程。
这是AI创建的3D场景的视频结果:
这样的解决方案有一天可以帮助游戏开发,尤其是已经拍摄的电影的视频游戏。影片中的镜头可以为游戏开发人员提供可复制的3D环境,以便在其中创建交互式体验。或者,也许您可以仅使用旧视频和VR耳机重现诸如婚礼之类的事件。
在达到这一点之前,仍然需要进行一些改进。当前场景无法更改,并且与原始视点的任何较大偏差都会导致伪像。尽管如此,对于在不那么遥远的将来可能发生的事情,这仍是令人着迷的早期见识。