英伟达公司的人工智能技术正在成为好莱坞的下一个大明星,本周末,这部电影是去年奥斯卡金像奖提名的年度最佳影片中的两部。
Netflix Inc.的“爱尔兰人”和Marvel Studios LLC的“复仇者联盟:残局”广泛依赖于AI技术来增强屏幕上看到的令人惊叹的视觉效果。在这两种情况下,制片人都使用了由Nvidia Quadro RTX图形处理单元驱动的AI平台,有效地将前者的演员Robert DeNiro,Al Pacino和Joe Pesci淘汰了数年,并在后者中创建了超现实主义的虚构超级反派Thanos。
当“爱尔兰人”导演马丁·斯科塞斯(Martin Scorsese)宣布老龄化的DeNiro,帕西诺和佩西将在他的黑帮杀手弗兰克·希兰(Frank Sheeran)的生活和罪行的故事中扮演主角时,引起了一些关注。毕竟,在70年代,他们不再是光彩照人了,而且在1960年代和1970年代,当电影大部分放映时,他们所描绘的角色都明显年轻得多。
斯科塞斯知道他需要让三人组看起来比实际年龄年轻得多,但是他对自己的化妆部门将他们改回30年代初的努力并不满意。他还反对使用典型的动作捕捉标记或其他侵入式设备,这些设备会妨碍拍摄过程中的原始表演。
取而代之的是,他转向视觉效果工作室Industrial Light&Magic及其计算机生成的图像印章来倒转时钟。
ILM使用新的三摄摄影机使老化的演员恢复活力,该摄影机用于在舞台上捕捉他们的表演。一台是普通相机,另一台是使用红外线记录3D几何形状和纹理。然后,ILM的技术人员使用名为FaceFinder的基于AI的特殊软件,筛选了他们以前电影中成千上万演员的图像。
Nvidia解释说,该工具定位的帧与摄像机的角度,取景框,照明和渲染场景的表情相匹配,因此ILM艺术家可以获取相关参考,以与镜头中的每个帧进行比较。这些视觉参考用于完善为每个演员创建的数字双打,因此可以将其转换为适合电影中每个场景的年龄。
Nvidia媒体与娱乐事业部总经理Richard Kerris在接受SiliconANGLE采访时预测,由于AI解决了两个关键问题:使演员看起来更年轻,以及创建和集成来自不同场景的灯光,因此AI在电影制作中将变得更加普遍。他说,对于“爱尔兰人”,他们经历了40年的演员电影,并将其应用于CG角色。
至于“复仇者联盟:残局”,漫威使用AI技术的方式略有不同,它捕捉了演员乔什·布洛林的表演,并使用这些镜头为电影中的主要反派Thanos制作了数字动画。
视觉效果工作室Digital Domain使用了它开发的名为Masquerade的机器学习系统,对Brolin的表演,尤其是他的面部动作进行了许多低分辨率扫描,然后将这些表情转移到Thanos的高分辨率网格上。
Nvidia说:“这项技术为VFX艺术家节省了时间,否则VFX艺术家将不得不手工制作微妙的面部动作动画,以生成逼真的,动人的数字人。”
“此过程的关键是人物的情感表现的即时逼真的渲染预览,这可以使用Nvidia GPU技术来实现,” Digital Domain数字人类负责人Darren Hendler说。“我们现在使用Nvidia RTX技术来驱动我们所有的实时射线追踪数字化人类项目。”