苹果头显新专利:使用头部运动传感器进行眼动追踪

看日报是个好习惯。

索尼发布全新PS5 VR手柄包含手指检测等新功能

索尼已正式发布了全新的PS5 VR手柄，该手柄具有许多新功能，包括手指检测、模拟摇杆、由内而外跟踪(“Inside-Out Tracking”)等。

这对手柄刚刚在PlayStation Blog上公布。它们看起来与最初的PSVR所使用的PlayStation Move手柄有很大不同。发光的追踪球没有了。手柄本身看起来更接近Oculus Touch和Valve Index手柄，现在有一个跟踪环，当用户握住手柄时，该跟踪环会在用户的手腕上运行。

PS5 VR手柄曝光

该博客证实了在过去从Sony获得的之前的专利中所见过的几种功能。例如，Dualsense PS5手柄的自适应触发器和触觉反馈功能，例如在开枪时，两个手柄上的L2和R2触发按键将产生后坐力，并且手柄的隆隆声将更有触感。该设计最终还确认了手柄将由头显本身跟踪，而不是像最初PSVR面向用户的摄像机那样跟踪。

在按键方面，手柄有很大的变化。索尼在这两种设备上都实现了模拟摇杆，除了触发按键还有分别组成L1和R1的手柄按键。任何一个手柄上都有两个“face buttons”(左手柄是△键和□键，右手柄是×键和○键)与创建按键、Options键，以及“Home”按键。

这些新手柄可以“在不按压拇指、食指或中指的情况下检测你的手指”。我们希望能看到类似Valve的Index Controllers这样的功能。

相信开发者很快就能得到新设备的雏形了(头显本身的开发套件将发布)。新的PS5 VR头显还没有正式命名，也不会在今年发布，但索尼表示，它还有更多的东西可以分享。

读取手腕神经信号的手环？Facebook分享最新手部追踪、触觉反馈研究

近日，Facebook分享了公司在腕式设备方向的研究，据介绍，该腕式设备将用于高保真度的手指追踪与触觉反馈功能。

今年2月，媒体Information曾报道Facebook会在2022年发布SmartWatch，并于次年发布第二代产品。Facebook从事AR/VR交互与R&D输入的负责人Sean Keller对公司的手腕设备做出如下描述：

“腕带与手表现已被广泛使用。手腕上的设备可作为计算、电池以及无线电的平台，充当具备显示屏、触摸界面，以及丰富触觉反馈的完整输入与输出的集线器，并且广泛支持各类传感器。”

手部神经信号追踪

Oculus Quest头显可通过头显的摄像头支持手部追踪功能。该功能需要在光线充足的条件下使用，而且会产生一定程度的延迟。当用户双手交叠时，头显无法实现追踪。

更高质的摄像头、深度传感器以及运行速度更快的芯片有助于提高头显的手部追踪功能。即便如此，在一些场景下，头显仍然无法追踪一个或多个手指。

因此，Facebook还在进行另外一种追踪方式的研究，即通过读取手腕信号进行追踪，采用该方案甚至可以实现在手部发生动作前感测其动作。Facebook于2019年初为类似设备提出专利申请，从事类似研究工作的纽约创企CTRL-Labs于2019年底被Facebook收购。

Facebook负责指导神经运动接口研究的Thomas Reardon表示，大脑很大程度上是对手部进行控制，而不是对身体其他部分。他声称最近所取得的研究突破能够解码个体神经元的活动，以“尽可能无限的对机器进行控制”。这意味着手部交互可以达到令人难以置信的毫米级精度。

据了解，由于设备追踪的是神经信号而不是真实的手指，因此用户可简单地通过“想”移动手指让虚拟手指移动。在Reardon展示的一小段视频中，一位天生缺少一根手指的体验者进行虚拟手部的控制，可以看到，追踪其手部动作的虚拟手指是完整的。

值得注意的是，该追踪方案对个人数据的收集可能会被视为很严重的个人隐私问题：

“类似这样的神经数据属于私人信息，因此我们将此视为研究的一部分。如何处理这些个人信息，做到以人为本的提前下让用户参与体验是需要考虑的问题。我想说，作为科学家，我们会对公众严格遵守透明性原理，向人们解释我们为什么要使用这些数据，这些数据是如何被使用的，以及在哪些用户体验中启用了这些信息。”

基于腕部的触觉反馈

在谈到Facebook长期目标时，AR/VR交互与R&D输入负责人Sean Keller描述未来会像抽出“一双柔软、轻巧的触觉手套。”

第一次听说Facebook从事相关研究，还是在2019年世界触觉会议时Facebook对“Tasbi”展示时。Facebook负责科学研究的经理Nicholas Colonnese对从腕部设备输送触觉反馈的潜力进行了讨论。

我们直觉上会认为手腕上的感觉并不太适用于基于手指的虚拟交互，但Colonnese表示感官替代可以做到这一点，大脑会将视觉与触觉刺激理解为同一回事。

“我们利用具备Tasbi振动与挤压的触觉功能在VR与AR中进行了大量虚拟交互实验，比如对按钮进行推、拉、转等动作，以及在空间中移动虚拟物体。还尝试了很多非典型案例，比如爬山、拉弓等。我们进行这些测试，是想知道Tasbi的振动与挤压反馈能否让人感觉正在与这些物体进行自然的交互。令人惊讶的是，得益于集合了身体多重信息的感官替代，我们得到了肯定的答案。”

Colonnese在与AR眼镜配对时，描述了更多常见案例以验证Tasbi高保真触觉反馈，例如步行导航时的振动反馈等。

《Immersion》支持iPhone或iPad在VR中操作， Android版本即将推出

工作平台《Immersion》增加了对iPhone和iPad的支持，用户可以通过VR屏幕看到PC或Mac这些设备。Android版本即将推出。

VR Beta版的手机通过本地Wi-Fi网络以低延迟的方式传输iPhone或iPad屏幕的数据。该功能需要从App Store下载iOS应用程序，才能将你的苹果设备带入VR。《Immersion》计划在几周内发布该应用的Android版本。

该软件目前还不能追踪手持设备的位置，因此在VR中的触摸屏上打字相当困难，但是如果你有设备的扩展坞，则可以轻松地对齐物理位置和虚拟位置，《Immersion》表示，它计划最终通过ARKit和ARCore添加追踪功能。

本周，《Immersed 》通过WeFunder众筹投资者平台在新一轮融资中筹集了340多万美元。这家初创公司的目标是在本周结束前筹集500万美元。

在使用Oculus Quest或Quest 2的VR头显时，新添加的功能可以让你方便地接收通知或打开应用程序。使用多设备蓝牙键盘和鼠标，能快速地切换从PC到iPad的输入控制，现在可以支持同步固定键盘的位置，以便在VR输入。