前文介绍了Meta即将推出的摄像头

“我们将于明年初推出一个摄像头直通透传API。”

Meta 在Connect 2024上发布的公告中透露，将于明年通过新API使开发者能访问Quest头显的直通透传摄像头。

“这将实现各种尖端的MR体验，你可以构建追踪对象、AI应用、精美叠加、场景理解等等。”

Meta Quest 3和Apple Vision Pro等混合现实头显使用摄像头使用户看到现实世界，但目前只有系统和某些第一方应用才能真正获得对摄像头的原始访问权限。尽管第三方开发者可以使用摄像头透视作为背景，但他们的应用实际上看不到这种透视。相反，开发者想要获得更高级的数据，例如手部和身体骨骼坐标、带有家具边界框的环境3D网格以及有限的对象跟踪功能。然而由于无法运行专属计算机视觉模型，从而严重限制了头显的增强功能。

通过visionOS 2，苹果现在可以向企业及公司提供Vision Pro直通透传摄像头的原始访问权限，以供非公开的内部应用使用，但这需要苹果的特殊许可，并且仅限于“在商业环境中”。

Meta尚未表示是否会对Passthrough API有任何限制，我们将密切关注该公司有关这一激动人心的即将推出功能的更多细节，这可能会为Quest头显解锁全新的用例。