Apple Vision Pro 虚拟交互中缺失的触觉反馈

很可能在我们有意识的心理生活中，感官的相互作用是构成触觉的原因。也许触觉并不只是肌肤与实物的接触，而且还是头脑中储存的生命力 —— 麦克卢汉《理解媒介》文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jiaohu/55221.html

一、虚拟交互中缺少的触觉反馈

在上一篇《浏览器中复刻 visionOS 交互 ｜ 键盘》中，我们在浏览器中复现了裸手与虚拟键盘直接交互的设计，通过食指关节射线触发 Hover Effect 作为键盘按键的视觉引导。在实际体验过程中，最影响输入效率和体验的，其实是因为缺少实体键盘（按键）应有的触觉反馈，导致每一次按键的动作无法获得及时、明确的反馈。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jiaohu/55221.html

文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jiaohu/55221.html

根据人机交互中的信息加工理论（Information Processing Theory），在与界面交互的过程中，用户和机器之间会不断进行信息的双向处理，及时有效的反馈可以帮助用户确认操作是否正确、明确当前状态、增强操作满足感，以及维持交互连贯性等。反之，缺少必要的反馈信息将打破这一循环，影响用户效率和体验。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jiaohu/55221.html

文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jiaohu/55221.html

现有的交互方案文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jiaohu/55221.html

在裸手交互场景中，由于没有实体外设的辅助，触觉反馈必然是缺失的，为了弥补这一缺失，最直接的方法就是利用视觉、听觉信息作为辅助，尽可能为用户提供及时有效的反馈。例如 Meta Quest 中，按键成功会辅助以声音 🔊反馈：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jiaohu/55221.html

不过这种解决方案更像是手机从实体按键过渡到触屏按键时，为了弥补触摸屏所欠缺的段落感和纹理起伏而设计的视、听效果反馈（也包括振动反馈，只不过是整个手机的振动）。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jiaohu/55221.html

文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jiaohu/55221.html

在虚拟交互中，触觉反馈的缺失更重要的是手和虚拟界面间缺少实体的阻挡，用户往往会穿过模型而不自知。尤其是在虚实结合的场景下，这种虚实物体呈现出来的视觉冲突是影响沉浸体验的罪魁祸首之一，不论你的模型渲染的有多么真实，用户的大脑都会瞬间「出戏」。
文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jiaohu/55221.html

针对这一问题我相信即便是 Apple Vision Pro 也没有办法提供完美的解决方案（在不提供额外辅助设备的前提下），因此在苹果官方设计规范里，对于直接交互的场景是非常克制的：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jiaohu/55221.html

Prefer indirect gestures.An indirect gesture tends to be easy for people to make because they don’t have to move their hands to a specific location. Reserve direct gestures for when you want to invite people to manipulate a nearby virtual object.文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jiaohu/55221.html

翻译：首选间接手势。间接手势往往很容易做出，因为他们不必将手移动到特定位置。直接手势适用于需要邀请用户操作附近虚拟对象的情况。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jiaohu/55221.html

文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jiaohu/55221.html

在这些场景中使用直接交互（Direct Interaction/Touch）文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jiaohu/55221.html

二、伪触觉反馈（Pseudo-Haptic Feedback）

当然苹果的设计规范并没有解决虚实交互过程中触觉缺失的问题，为了真正解决这一问题，方法可以大致分为两大类，一是通过可穿戴设备（如手套、手环、指环等）或外置设备，提供真实的物理刺激（力、温度、纹理、硬度、超声波）等，具体可以参考下面这篇论文综述：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jiaohu/55221.html

文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jiaohu/55221.html

这里举一个例子，Meta Reality Labs 的研究团队尝试让用户在虚拟键盘输入的过程中，通过手套、腕带为用户提供真实的振感反馈，结果显而易见，基于手指的振动反馈可以带来更高的用户满意度、输入效率以及更低的认知负荷（mental demand）；同时研究结果也证明，集中在腕带部位的振动反馈也能带来几乎类似的效果。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jiaohu/55221.html

这其实是一个更面向市场化用户需求的研究，大部分用户不太可能接受时刻需要额外戴上一双手套来使用 XR 设备，但是对于腕带（或者集成到智能手表的表带），是普通消费者已经完全能够接受的。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jiaohu/55221.html

文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jiaohu/55221.html

虚拟键盘输入文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jiaohu/55221.html

文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jiaohu/55221.html

穿戴式触觉反馈设备文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jiaohu/55221.html

另一类方法称为伪触觉反馈（Pseudo Haptic Feedback）技术，它通过视觉和听觉等其他感官模拟出触觉感受，而不需要实际的物理接触或力反馈设备。正如文章开头所引用的描述：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jiaohu/55221.html

触觉并不只是肌肤与实物的接触…感官的相互作用是构成触觉的原因文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jiaohu/55221.html

我们的大脑经历了现实生活经验的训练，知道触觉不仅仅来自皮肤的感受，它总是与视觉、听觉等其他感觉信息相伴而生。例如，按压不同的键盘会产生不同的声音反馈；用手推动物体时，要么手被物体阻隔无法向前，要么物体会随手的动作一起移动。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jiaohu/55221.html

文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jiaohu/55221.html

下面这篇研究中，研究人员设计了四种不同的伪触觉反馈效果，并组合呈现给用户体验，以评估不同的反馈方式对虚拟交互体验的作用。结果显示不同的视觉反馈效果都可以有效诱发「触幻觉」（Haptic illusion）。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jiaohu/55221.html

文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jiaohu/55221.html

文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jiaohu/55221.html

三、总结

Apple Vision Pro 采用眼手协同交互替代传统 VR 设备的手柄控制器，触觉反馈的缺失在特定的虚实结合交互场景必然会打破用户的连贯性交互和沉浸感。为了解决这一问题：文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jiaohu/55221.html

• 一方面在交互设计时除非必要应尽量克制直接的虚实交互；
• 另一方面充分利用视觉、听觉线索「欺骗」用户大脑以产生伪触觉反馈效果。

此外可以预见的是，苹果必将充分利用其「全家桶」等生态优势，将 Apple Watch 作为交互控制、反馈的辅助设备无缝纳入到 Vision Pro 的场景交互里。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/jiaohu/55221.html