技术观察家中，Hot Hardware的 Paul Lilly 表示，他们从2-D到3-D的方式是新闻。当路径是反向的3D转换为2D时，这也就不足为奇了，但是“在不提供系统3D数据的情况下创建3D 模型则更具挑战性。”
礼来(Lilly)引用了致力于渲染方法的研究团队之一高俊(Jun Gao)的话。“这实际上是有史以来第一次，您几乎可以拍摄任何2D图像并预测相关的3D属性。”
他们从2-D图像生成3-D对象的魔力在于“可差分基于插值的渲染器”或DIB-R。Nvidia的研究人员在包含鸟类图像的数据集上训练了他们的模型。经过训练，DIB-R能够拍摄鸟类图像并传递3D图像，并具有3D鸟类正确的形状和纹理。
Nvidia进一步描述了将输入转换为用于预测特定信息(例如图像的形状，颜色，纹理和光照)的特征图或向量的方法。
为何重要：Gizmodo的标题进行了总结。“ Nvidia教了AI从平面2-D图像即时生成全纹理的3-D模型。” “立即”这个词很重要。
Nvidia的Lauren Finkle 说，DIB-R可以在不到100毫秒的时间内从2D图像生成3D对象。“它是通过改变代表3D形状的传统模板多边形球来实现的。DIB-R对其进行更改以匹配2D图像中描绘的真实物体形状。”
Gizmodo的 Andrew Liszewski 强调了这100毫秒的时间要素。“令人印象深刻的处理速度使该工具特别有趣，因为它具有极大地改善机器人或自动驾驶汽车之类的机器如何看待世界并了解其前身的潜力的潜力。”
关于自动驾驶汽车，利泽夫斯基说：“从摄像机实时视频流中提取的静止图像可以立即转换为3D模型，从而使自动驾驶汽车能够准确地确定需要避免的大型卡车的尺寸。 ”
可以从2D图像推断出3D对象的模型将能够执行更好的对象跟踪，Lilly转向考虑将其用于机器人技术。他说：“通过将2D图像处理成3D模型，自主机器人将处于更好的位置，可以更安全，更有效地与其环境进行交互。”
Nvidia指出，要做到这一点，自主机器人“必须能够感知和理解其周围环境。DIB-R可能会改善这些深度感知能力。”
同时，Gizmodo的Liszewski提到了Nvidia方法可以为安全做些什么。“ DIB-R甚至可以提高用于识别人员并跟踪人员的安全摄像机的性能，因为即时生成的3D模型将使人们在视野范围内移动时更容易进行图像匹配。”
Nvidia研究人员将于本月在温哥华举行的年度神经信息处理系统会议(NeurIPS)上介绍他们的模型。
那些想了解更多关于他们的研究的人可以在arXiv上查阅他们的论文，“学会使用基于插值的微分渲染器预测3D对象”。作者是陈文正，高俊，Hua玲，爱德华·史密斯，Jaakko Lehtinen，Alec Jacobson和Sanja Fidler。
他们提出了“一个完整的基于光栅化的微分渲染器，可以通过解析来计算梯度。” 他们说，当包裹在神经网络周围时，他们的框架学会了从单个图像预测形状，纹理和光线，并且展示了他们的框架“以学习3D纹理形状的生成器”。
作者在摘要中指出：“许多机器学习模型都对图像进行操作，但是忽略了这样的事实，即图像是由3-D几何体与光相互作用形成的2-D投影，这一过程称为渲染。使ML模型能够理解图像形成可能是推广的关键。”
他们提出了DIB-R作为框架，该框架可以分析图像中所有像素的梯度。
他们说，他们方法的关键是“将前景栅格化视为局部属性的加权插值，将背景栅格化视为基于距离的全局几何聚合。我们的方法允许对顶点位置，颜色，法线和光照方向进行精确优化并通过各种照明模型协调纹理。”