在VR中模拟喝水甚至接吻，这套嘴部触觉反馈系统有点“变态”

来源：VR陀螺

文：VR陀螺 万里

VR设备的沉浸感，是依靠我们对于欺骗大脑场景的构建所营造出来的。当虚拟世界跟现实世界逻辑越相符，那么它提供给我们的沉浸感就越强烈。

想象一下，如果我们能够在虚拟博物馆中，用手抚摸、感受珍贵的文物；在VR游戏中，能真切感受到对方抛过来球的体积和重量；甚至是在社交软件中与伴侣拥抱或者接吻，这会是多么有意思的一件事。

隔空接吻，图源《生活大爆炸》

想要实现上面这些功能，离不开VR的触觉反馈技术。

今年5月，在人机界面（ACM CHI）会议上，卡内基梅隆大学人机交互研究所的研究人员展示了一个触觉反馈系统。这套系统有意思的地方在于，能够让你用嘴感受虚拟世界。

虚拟接吻原来是这么实现的：口腔触控反馈系统解读 

团队人员在一个PCB中安置了64颗超声波传感器，这些传感器统一倾斜45°朝向嘴部。PCB由带状电缆连接到后面的驱动板上，连接电脑进行驱动。

最后，团队人员再把超声波组件粘在Quest 2头显下方，整套系统便大功告成。

图源：卡内基梅隆大学研究论文

之所以超声波能模拟触觉，是因为超声波对外辐射能量，遇到手部等物体时会形成一个作用力，通过调整超声波传感器的工作方位以及强度，就能够大致模拟出我们对于一个物品的触觉感受。

图源：网络

研究人员为这套系统开发了六种触觉体验：声学节点沿着嘴唇做X、Y轴运动，能够模拟出物体经过嘴巴时上下左右的滑动效果；声学节点做Z轴运动，模拟物体进出口腔的效果。

图源：卡内基梅隆大学研究论文

另外通过瞬间脉冲，不规则脉冲以及持续撞击这三种方式模拟出另外三种触觉反馈。

图源：卡内基梅隆大学研究论文

为了验证该系统的可行性，研究人员开发了3个VR小游戏：《闹鬼森林》、《学校模拟器》和《赛车游戏》。每个小游戏中，又包含了4个触发嘴部触觉信号的场景。

比如在《闹鬼森林》中，玩家前进时会被蜘蛛网黏住嘴巴，需要用手把蜘蛛网拉开（声学节点做X轴滑动模拟滑动触觉）；蜘蛛跳到脸上到处乱爬（超声波发出不规则脉冲）；用枪射击蜘蛛，蜘蛛爆炸产生的毒液喷到脸上（不规则脉冲）；头上的蜘蛛滴落毒液，从嘴边滑落（声学节点做X轴滑动）。

蜘蛛跳到嘴边，图源：Youtube

从演示视频中可以看到，伴随着蜘蛛跳到嘴巴上，用户的反馈非常强烈。如果这项技术能在一些恐怖游戏中引入的话，可能恐怖指数会直接提升一档。

另外在《学校模拟器》中，出现了喝水刷牙等场景：当嘴唇碰到喷泉水流时，系统会产生快速的脉冲模拟水流撞击嘴巴的感觉、在喝咖啡时，超声波信号通过Z轴运动模拟液体流入口腔的感觉。

超声波模拟喝水场景，图源：Youtube

在《赛车游戏》中，玩家撞到箱子时，系统会释放持续1000ms的脉冲信号模拟撞击效果。

嘴巴撞到箱子，图源：Youtube

当时研究人员邀请了11位志愿者参与了这三款游戏体验，总体来看效果非常不错，不少志愿者反馈，触觉有助于处理用户视野之外的事件：“没有触觉，很难清楚什么时候东西会接触到脸部......我甚至不知道香烟什么时候在我嘴里。”

当然，由于系统的精度不够（这也是目前超声波触觉方案的一大问题），有一些人对于触觉的表现并不满意：“感觉本身并不一定符合我的期望，例如，飞溅的湿气不能仅通过振动触觉驱动进行真实模拟。”

最后，研究人员基于志愿者的反馈做了一份李克特七分量表，从表格中可以看到，相较于没有反馈，加入超声波模拟系统之后用户体验得到了极大的提高。

实验数据，图源：卡内基梅隆大学研究论文

体积小巧、功耗低 但成本是一大问题 

目前比较常见的触觉反馈方案，比如触觉手套、力反馈机械臂等，这些设备主要用于模拟手部的触觉反馈，而这个设备的作用对象是我们的嘴巴。

研究人员表示，嘴部的触觉模拟其实是一个被我们忽略的方向。一项数据指出，脸部附近的器官比如嘴唇，它的触觉灵敏度排行第二，仅次于指尖。另外，由于嘴巴这个区域离我们佩戴的头显很近，未来把系统组件集成到VR头显当中相对来说也会比较容易。

图源：卡内基梅隆大学研究论文

此外，市面上也存在部分针对面部或者嘴部的触觉反馈研究，不过它们由于体积太大，对于使用者而言极为不友好。

从下面一张图你们也能看到，这些林林总总的触觉反馈设备，体积实在是太大了，并且各种奇怪的机械结构作用在脸上，使得它们看起来更像是一套高科技刑具。

图源：网络

相比之下，卡耐基梅隆大学这套方案则更胜一筹。该组件尺寸为17.9x10.6x1.5cm，加入这套系统后，Quest 2头显厚度增加了16.5%。在重量方面，该系统重107g（未包含驱动板质量），占到Quest 2重量的15.8%。它的加入，不至于对头显造成太大的负担。

研究团队最新推出的原型中，超声波传感器更换为MA40H1S-R传感器，它的体积能够进一步被压缩。可见它完全具有集成到VR头显内部的潜力。

图源：网络

对于视觉与触觉同步问题，这套触觉反馈系统也做了比较好的处理。研究人员发现，哪怕超声相控阵的数据需要连接到电脑进行处理，但最后发现它的数据处理仍旧比视觉渲染时间快了2ms（基本上可以认为两者是同步的）。

在功耗方面，论文中指出，使用时驱动板和超声相控阵的功率为2.71W，待机时驱动板的功率低至0.3W。如果以每30秒输出1秒的触觉反馈来计算，它的功耗仅为0.38Wh，而Quest 2的电池为14Wh，也就是说工作一小时，该模组仅仅消耗设备电量2.71%。

目前想要把这套方案引入VR头显当中，可能最大的限制因素是价格。这套触觉模拟系统中包含64个MA40S4S 40kHz 超声波传感器，我在某宝查了一下价格，发现该传感器单颗价格在8元左右，综合下来整套方案大约需要花费600块（估算值）。

至于花费头显价格的四分之一体验嘴部触觉反馈是否值得，这点就见仁见智了。

触觉反馈 科技巨头的下一个必争之地 

触觉反馈技术，可划分为触感以及力反馈两部分。所谓触感，指的是与物体交互时的产生的震动、摩擦或微变形等感觉，而力反馈指的是触摸过程中发生的力学相互作用。

目前的民用VR设备，所能提供的只有触觉反馈只有手柄震动所产生的微薄的震动，对于物体重量、纹理、刚度等信息的还原，又或者是其他力学交互，还属于一片空白阶段。

在现实当中，我们的双眼起到目标的追踪跟定位作用，然后通过双手等肢体确认并且实现与物体的交互。由于VR中触觉反馈的缺失，使得我们在虚拟世界中需要时刻盯着物体反复确认，工作效率很低。触觉的加入，能大大减缓我们对于视觉的依赖。

此外，触觉在VR培训教育等领域中，能够加深我们的学习记忆，提高知识的存留率。

图源：Haptx

目前，市面上已经有一些全身触觉设备出现，比如Teslasuit和bHaptics等，通过衣服内置震动触觉电机，能够在《VRCHAT》等游戏中模拟别人触摸你的感觉。触觉的引入，给VR游戏或者应用带来了更多新的玩法和可能性。

模拟射击场景，触觉套装会带来相应反馈

图源：网络

虽说目前触控反馈对于VR头显来说并不是刚需，但是它对于元宇宙的发展有着极其重要且不可替代的重要作用，很多科技巨头都在这一领域进行着技术布局。

Meta的人机交互团队划分出了未来三个比较大的研究方向：AR眼镜、肌电手环以及触控手套。

Meta在去年11月展示了自家的触觉原型手套。该手套采用了“气体制动器”的解决方案：传感器捕捉用户的手部姿势，然后通过微流体芯片控制手套里面气囊的充气量，气囊对于手指的压力能够模拟出物品的触觉信息。

图源：VR陀螺

当然，有业内人士指出，Meta这一副手套售价高达5000美元，距离大范围民用还遥遥无期。

苹果同样是一家极为注重人机交互的公司，它在智能手机时代推出了很多优秀的人机交互解决方案，比如3D Touch、Taptic Engine等等。

目前苹果的VR产品尚未发布，但是它的VR手套研究最早可以追溯到2016年。上个月，美国专利商标局公布了苹果的一项专利申请，专利中展示了苹果的一款集成SMI传感器的手套，用户在AR或者VR环境中使用该手套，可以感知物体的表面质量。

图源：patentlyapple

上个月，微软也公布了自家VR触觉反馈手套专利，专利指出，该手套可以检测机械刺激，并提供压力、震动、皮肤拉伸等触觉感受。未来，微软VR手套将用于游戏、工业、商业和医疗场景等多个领域。

触觉反馈潜力并不小，Technavio 2021年分析报告指出，预计 2021 年至 2025 年间，触觉市场将增长158.4亿美元。随着触觉反馈系统的小型化、轻量化以及售价的降低，未来势必会让VR设备的体验提升到一个新的层级。

引用：基于超声相控阵的VR头显口腔触觉研究

https://dl.acm.org/doi/pdf/10.1145/3491102.3501960