在今年的iPhone至少一个将采用3D深度相机在它的后面,用知识来确认源快速公司。
摄像头(实际上是激光,传感器和软件系统)发出光来测量手机与手机前面的各种物体和表面之间的距离。这些详细的深度信息将启用新的照片和视频效果,以及更好的增强现实体验。
iPhone工程师从事后置3D相机的工作至少已有两年了。它一直在新iPhone可能增加的功能的简短列表中,但是直到今年才降价。实际上,苹果今年也可能决定取消它。不过,到目前为止,它仍在设计中,我们希望它将在今年秋天首次见到(如果冠状病毒不妨碍Apple的计划)。
苹果将向位于圣何塞的Lumentum购买新3D所需的激光,该公司目前为iPhone的前置3D相机提供激光。
Lumentum表示,它并未讨论在尚未发布的设备中使用激光技术的问题。
苹果不会是第一个在手机中添加后置深度摄像头的公司。三星的Galaxy Note 10+和Galaxy S20 +和Galaxy S20 Ultra以及其他Android手机都已经安装了它们。但是苹果公司可能会发现一些新颖的方法来利用该技术获得新的用户体验。如果历史可以作为指导,那么在品牌和营销这些体验的方式上可能会更加耀眼。
iPhone的正面已经装有深度相机(TrueDepth)。它们主要用于Face ID安全和一些有趣的消息传递效果,例如Animoji。
去年推出的iPhone 11 Pro和iPhone 11 Pro Max背面有三个相机镜头:一个12百万像素的广角镜头,一个12百万像素的2X长焦镜头和一个12百万像素的超广角镜头。虽然这三个镜头提供了多种拍摄场景选项,但3D相机系统会添加深度信息。
目前,iPhone中的主要深度效果是人像模式,该模式为照片提供“散景”效果,该效果使背景图层模糊并使前景主体(通常是人)清晰对焦。深度相机数据的添加可以通过更准确地区分前景层和背景层,并可能添加更多深度层来模糊或聚焦,来创建更好看的散景效果。在编辑模式下,可以调整照片的哪些图层模糊以及哪些图层聚焦。
深度的上升
3D映射可能与其他iPhone的照片软件功能配合使用。想象一下一个视频,其中一个跳跃中间的滑板手与背景断开连接,以完整3D和慢动作呈现。
深度相机可能会对增强现实应用程序的质量产生最大影响。苹果三年前发布了用于开发AR应用程序的ARKit框架,但是到目前为止,消费者还没有真正喜欢它们。
Lumentum 3D感测副总裁Andre Wong说:“当您使用没有深度信息的AR应用程序时,它会有点毛病,并且没有最终的强大。” “现在ARKit和(Google的)ARCore都已经问世了一段时间,您会看到新的AR应用程序问世,它们在空间中放置对象的方式更加准确。”
9to5Mac公司的本杰明·梅奥(Benjamin Mayo) 报道说,苹果公司现在正在为iOS 14开发一个AR应用程序,使用户可以将iPhone指向苹果商店和星巴克的商品,并在手机屏幕上看到围绕商品的数字信息显示。
Wong认为,后置3D相机可以使用户创建数字内容,从而非常适合社交媒体共享。例如,人们可能想与自己的客厅中的动物或名人的全息图像共享自己的图像。这类似于开发人员8i的Holo应用程序,但是使用深度数据,这些体验可能会大大改善。
例如,站在真实世界的桌子顶部的人的全息图像可能以干净且令人信服的方式显示全息图脚部相对于桌面的边缘。当仅依靠手机现有的摄像头和软件时,如果没有深度数据就很难创建。
技术如何运作
深度相机系统背后的核心技术是后置垂直腔面发射激光器(VCSEL),该激光器以恒定的速率发出光波,然后测量每次反射从环境中物体反弹回传感器的时间。从手机附近的物体返回的光具有较短的“飞行时间”,而从较远的物体返回的光具有较长的飞行时间。iPhone的前置深度摄像头发出的光仅传播了几英尺(这对放置手持电话的人来说很合适),但后置系统中使用的Lumentum激光的射程将更长。
在三星手机中,3D相机是两项功能背后的技术。Live Focus允许用户模糊静止图像和视频中的背景,从而更加强调前景中的人(或宠物)。快速测量可让您估算相机框架内对象的宽度,高度,面积和体积。苹果公司可能采取类似的方法,并强调两个或三个选框功能(例如9to5Mac报告的AR功能),这些功能由后置3D相机启用。
某种程度的怀疑是为了使后部3D感测在今年的iPhone中可能会产生影响,这也是第一款5G iPhone。至少在短期内,与改进的AR相比,照片效果可能会引起更多关注。AR开发人员的确会使用新的深度数据创造更好的体验。但是,即使掌握了更好的技术,他们仍然必须创造消费者经常喜欢和使用的体验。而巨大的限制因素是,通过脸部智能手机屏幕观看AR会遇到尴尬的体验。
但是这种情况可能不会持续太久。苹果正在开发AR头戴式眼镜或一副眼镜,这是硅谷最不为人知的秘密之一,从长远来看,它可能成为该公司的主要空间计算设备。