Meta和苏黎世联邦理工学院研究人员开发了一种名为TouchInsight的软件系统，并称该系统解决了将任意表面变成虚拟键盘的问题。

如今，VR和AR中的文本输入非常繁琐，而且速度比PC和智能手机慢得多。悬浮式虚拟键盘需要笨拙举起双手，然后慢慢一次按下一个键，且无法提供触觉反馈，也无法让手腕得到休息。Quest头显支持配对蓝牙键盘以实现全速打字，但这意味着必须随身携带比头显本身更大的单独设备。

如果头显可以将任意平面变成虚拟键盘，那么将带来部分触觉反馈，让用户手腕得到休息，且无需随身携带实体键盘。从技术上讲，开发者已经可以在Quest上构建表面锁定的虚拟键盘，方法是使用手部追踪并让用户点击表面来校准其位置。但在实践中，即使虚拟表面高度与真实表面有丝毫偏差，也会导致不可接受的错误率。

Meta去年展示了解决这一问题的研究成果，其首席技术官Andrew Bosworth表示，他的翻译速度几乎达到了每分钟120个单词（WPM）。但去年的解决方案似乎需要在桌子上放置一系列基准标记，这些标记可能充当了强大的动态校准系统。此外，Meta并未透露该系统的错误率。

而根据TouchInsight系统论文，六位研究人员表示，他们的新解决方案最高速度仅为70 WPM，平均速度为37 WPM。普通人在传统键盘上的打字速度约为40 WPM，而专业打字员则根据其技能水平达到70至120 WPM。

至关重要的是，TouchInsight可兼容Quest 3，可放在任意桌子上，无需任何标记或外部硬件。虽然Meta没有透露去年系统的错误率，但研究人员表示，TouchInsight的平均未校正错误率仅为2.9%。

“在本文中，我们提出了一种实时管道，可以检测任何物理表面上十根手指的触摸输入，完全基于自我中心手部跟踪。TouchInsight包含一个神经网络，用于预测触摸事件的时刻、手指接触和触摸位置。TouchInsight通过双变量高斯分布表示位置，以解决由于传感不准确而导致的不确定性，我们通过上下文先验来解决这些问题，以准确推断用户的预期输入。”

不仅如此，TouchInsight还可以用于检测手指在物理表面上的按压，而不仅仅是打字。例如，研究人员表示，系统支持混合现实打地鼠游戏，玩家可以用手指压扁小地鼠。

研究人员表示，将于下周在匹兹堡举行ACM用户界面软件和技术研讨会上演示TouchInsight。

目前尚不清楚Meta是否计划近期将TouchInsight集成到Horizon OS。