数十人正在宾夕法尼亚州匹兹堡的Facebook Reality Lab工作，研究可以重新定义21世纪通信的超现实化身。我通过电话与Yaser Sheikh谈话，Yaser Sheikh是卡内基梅隆大学 副教授 ，自2015年起在该市为Facebook开展VR研究。谢赫在 本周发布的技术博客文章中提供了背景 信息，详细介绍了该公司对超现实化身的研究。我通过电子邮件跟进Facebook，以便在通话结束后进行澄清。
“Facebook现实实验室匹兹堡可容纳近100人，”该电子邮件解释道。“为了适应团队的增长，FRL匹兹堡将在今年晚些时候搬进位于匹兹堡的一座更大的建筑。”
这表明对团队的未来进行了大量投资。该小组也不是Facebook唯一一个研究更逼真和个性化头像的人。为了清楚起见，Facebook表示这种技术距消费者耳机还要多“几年”。
Facebook本周详细介绍了头像系统“Codec Avatars。”过去几年来，Facebook和Oculus开发者大会一直在讨论这项工作。然而，这些最新细节提供了对工作及其路径的深入了解，这些工作有朝一日可能将研究纳入航运产品。
头像创作
为了创建每个头像，Facebook使用一个专门的捕捉工作室，由132个指向中心的摄像头组成。在一个人制作各种面部表情的几个小时后，系统会生成一个独特的照片级逼真的化身脸部。另一个新建的系统捕获尸体。
“创建栩栩如生的头像目前需要在Facebook Reality Lab的匹兹堡办事处使用高度定制的相机和麦克风系统捕获大量高质量的研究参与者的音频和视频，”来自Facebook的电子邮件解释道。“这些数据用于训练人工智能系统，有朝一日可以让用户通过几个快照或视频快速轻松地构建他们的编解码头像。”
由于显而易见的原因，当前的流程不会与消费者合作，因此研究的主要焦点是使用机器学习来生成这些细节的化身。有一天，你在Facebook或Instagram上现有的照片就足够了。我问Sheikh他是否尝试将自己的照片从Facebook提供给它的系统，看看他是否可以用它来构建一个化身。他说，在尝试之前，他们需要更多地了解光与皮肤的相互作用。
“当我们做这样的工作时，我们希望确保它得到用户的同意，”他补充道。
捕获研究
为了驾驶这些头像，Facebook在头戴式捕捉研究设备的内部构建了一个带有摄像头的系统 - 其中一个位于鼻子间隙中。
结果令人印象深刻。
VR头戴式耳机内部相对较暗，您不希望用光线遮挡用户。可以使用人眼看不到的红外灯照亮特征。这些类型的灯用于Oculus Rift“Constellation”位置跟踪系统，并且通常用于眼睛跟踪。Facebook在这里使用相同的技术来阐明捕获系统中的功能。
其他方法
Facebook在加利福尼亚州的索萨利托(Sausalito)有一个独立的团队，致力于采用不同的逼真方法。
“这涉及探索可以与任何虚拟环境互动的基于物理的化身，并结合生物力学，神经科学，运动分析和物理驱动模拟等领域的基础研究，”Facebook解释说。“这种技术仍然依赖于实时数据捕获，就像Codec Avatars一样，但它不是驱动神经网络的实时传感器数据，而是驱动一个受人体解剖学启发的基于物理学的模型。”
Facebook应该在今年晚些时候更多地分享这种方法。
长期研究，但仍然遥远
Facebook的Oculus多年来一直在研究面部追踪和逼真的化身。在SIGGRAPH 2015上，Oculus 与USC合作进行的研究 揭示了一种硬件原型，其笨重的臂与开发套件相连。
耳机泡沫衬里中的附加传感器将读取相机被阻挡的表情。
匹兹堡的FRL没有涉及早期的研究。Facebook正在“通过可能的解决方案”，Sheikh分享了一些“奇迹”，需要为此成为主流。他说，总的来说，他们的目标是最终将技术转移到产品团队。然而，他警告说，他们首先需要弄清楚如何使用提供的最少量信息来制作逼真的化身。
