虚拟现实中的情感和触摸（上）

来源：IEEE VR 2022 主讲人：Darlene Barker 内容整理：王寒 为了使虚拟现实 (VR) 中的社交互动产生更大的影响，我们需要考虑情绪对我们的人际交流的影响以及我们如何在 VR 中表达它们。本教程将展示关于该主题的研究，我们建议使用基于声音、面部表情和触摸的情感来创造非物理人际交流所需的情感亲密和非语言亲密。虚拟和远程通信缺乏我们与面对面互动的身体接触以及增强对话所传达内容的非语言线索。触觉设备和触觉的使用有助于在各方之间传递触摸，机器学习可用于基于从其他感官设备收集的数据进行情绪识别以更好的远程通信。在当今世界，由于全球性疫情大流行以及防止其传播所需的安全措施，我们被迫与他人保持距离。因此，拥有更好的与亲人交流的方式将是无价的。在疫情大流行之外，在 VR 中体验触摸和其他感官的能力可以帮助加强远距离家庭或因工作而失散的家庭之间的沟通。同时，视力受损的人也可以从这种技术中受益。

目录

• 引言
• 问题的提出
  • 触感
  • 研究领域
  • 面临的问题
  • 最终目标

引言

我叫达琳·巴克，是Massachusetts Lowell的一名研究生，我将介绍我们正在面临的问题、我们的解决方案、一些相关的工作以及我们对未来的展望和结论。首先讲述一下这一切开始的背景故事，我时常与在海外数千英里之外的家人通话，在电话中我一直想要伸手抚摸正在与我交流的女儿，事实上我并不能真正接触她。我和我的教授谈了这件事，为什么我不能实现这一设想呢？于是有了这项研究。

本次分享的目录如图所示，我将按照问题的提出、解决方案、相关研究、未来展望和结论的顺序开展今天的分享。

分析议程

问题的提出

触感

我们作为人类在出生后接触的第一个感觉是出生时的触摸，某些文化中会把孩子放在妈妈身上，这就是我们与世界形成的第一个联系（这并不是心理学，是我的想法）。所以通过触摸，我们能够在更深层次上体验情感，例如如果我们看到一块饼干、闻到一块饼干的味道，与我们手里拿着饼干的效果不同，这就是我的想法。我们试图在虚拟现实中重现那种接触的感受。

研究领域

相关研究领域

许多研究领域都将从我们的工作中获益，例如关于我们的大脑如何工作、我们如何对触摸的事物进行分类、不同文化过程如何看待触摸（人们在世界不同的地区会对触摸有不同的看法），在艺术和设计接触中也会产生不同，我们都知道在博物馆里不可以触碰任何东西，而仅仅通过远距离观察一件在底座上的藏品，我们并不能很好的感受到它们的艺术价值。我们的整个研究建立在需要建立远距离通信的基础上，在那时我正在上一门虚拟现实课程，我与我的老师交流后我们认为这是一个值得研究的问题，因此，另一项相关研究是市场，例如如果你正在 amazon 浏览一件看起来不错的商品，如果你能将它拿起来感受它的材质，购物的体验会更好，这一点我们稍后会讲到；此外还有社会心理学。

面临的问题

我们能在VR中看电影、看到事件发生、玩游戏、参与演出、参观校园、为孩子读睡前故事、参观那些以前只能亲自去的陈列室；而我们不能做到的是感受一个物体，也就是说在虚拟现实中，我们想要捡起一个物体的时候，手臂会穿过它，导致捡起物体的动作无法实现，我们也不能体验到接触物体的触感。如果你用手臂去接触其他人的手臂，就可以感受到触摸和被触摸的感受，这些是目前的虚拟现实做不到的。因此，VR 存在的问题可以被总结为以下几点：

1. 仅靠听觉和视觉重建场景是不够的
2. 需要真实的触摸感
3. 感受是多维度的，我们可以收集更多数据来为情感分类
4. 接触能突出感受的传递
5. 目前没有科学术语来定义接触
6. 触感对于虚拟现实体验非常重要
7. 对接触进行仿真可以让我们的身体更多的参与到其中

如果将触觉加入到 VR 中，那我们就实现了五分之三的感受仿真（听觉、视觉、触觉，其他五分之二是嗅觉和味觉）。为什么感受很重要呢，因为它能够帮助我们与他人建立联系、在世界上有存在感，这个时候我们可以说我们在这个世界上遇到了一些我们可以感觉到的东西，并通过大脑来对感受到的事物进行分析处理，这是一件很棒的事情，而如果我们能通过触觉手套和指尖设备来感受和操控世界，用手指完成模拟移动等操作会更有趣。

最终目标

现在有背心和眼镜这种部分身体覆盖的设备。而理想情况下可以有全覆盖的版本，在我们开始连接触觉设备并继续前进之前需要进行大量计算，所以我们的大胆的想法是在某种意义上聚合情绪数据，这样我就会检查不同的传感器和其他设备，从三个或四个不同的传感器收集感官信息，每个传感器都能重建一种感受，现在把所有这些放在一起，他们是如何工作的、如何聚合所有数据、如何让它发挥作用是我们的研究重点。

假设我们有面部识别数据、语音数据、脑电波数据，也许还有体温和其他一些数据，对于每一类数据使用一个模型来计算是刻画了什么样的感受，所有的数据是否指向了同样的结果以及是否需要做出调整是我们重点关注的部分。这像是给了我们一个黑匣子来模拟触觉，更像是我们拥有了许多需要处理的数据，但我们需要处理的工具，在我们找到合适的工具之前，我们需要弄清楚这些数据。当我开始有这个想法的时候，我认为智能服饰是很好的选择，它可以折叠成一个小盒子，这是我的一个灵感点，一些足够小的东西放在盒子里把它取下来把它插入你的设备然后你就可以模拟触摸，当然这是空想的结果；事实上我们需要先处理数据，所有我刚刚提到的事物都是为了让用户更好地沉浸在 VR 当中。

附上演讲视频：

http://mpvideo.qpic.cn/0bc3ruaduaaakyalvacc5vrvbdodhkgqaoqa.f10002.mp4?