VR的市场发展比我们预想的更快,目前市场上有很多性能非常优秀的VR设备,可以很好的让你沉浸到VR世界里。但是由于技术的闲置,体验毕竟还是有限的。各种线缆和控制器的局限性限制了你在VR世界里面随意走动+任意挥舞的梦想。 虽然OculusRift和HTCVive可以让你在某些情况下走动,但是他们需要在你的房间附加额外的硬件才能实现。互动是可能的,但通过控制器,从来没有用自己的双手来得直观。 无线的VR设备的操作则更是拙计,首先无线的VR设备完全没办法把你在空间中进行定位,只有依赖传统的控制器来进行操作控制(目前只有Google的Daydream系统可能有助于解决这个问题)。 一家美国的创业公司uSens试图解决这个问题,他们计划开发一种基于现在的无线移动和有线的VR系统全新的互动方式。该公司正在开发一种小型的基于红外(IR)和景深相机的安装在VR头盔上的传感器,这不仅可以用于VR系统在房间里面的定位,最具有亮点的是这套系统可以跟踪你的手部动作,并且在VR世界里面建立一个低延迟的映射,让你可以在VR世界里面完全用你的双手来进行操作和互动。 手势控制 USens的相关负责人谈到,他们的计划是在VR中围绕手势控制(例如,向左边挥手),对选择对象的操纵(拾取,投掷,戳)和使用虚拟世界的工具进行无缝交互(有谁还记得Google的摊煎饼的演示视频)。这种无控制器的交互是uSens的真正目标,这套交互的系统uSens取名叫"Fingo"。 USens设计了三种不同大小的Fingo,目前所有这些都通过连接头戴显示器(手机版本的Fingo采用了OTG接口连接)来进行信号的传输,但uSens还是希望自己的Fingo能够直接整合到合作厂商的VR头盔里,成为VR系统的重要配件。 第一种是小型的FingoIR,一种包括三个小型IR发射器和一个IR相机的传感器系统。Fingo通过USB连接到手机或其他头戴设备,并通过使用链接设备的处理器来确定手和手指的位置。 该系统基于机器学习和人类手部动作的运动学模型。基本原理是这样:Fingo通过测量IR光从哪里反射,然后通过反射的距离和位置来构建手部的位置和捕捉手部的动作。 在我体验demo的时候,通过USB连接到三星手机的Fingo系统对于手部的定位和动作捕捉是相当准确的,但是你要是把手部过于靠近传感器的话动作捕捉就会失效。有时,我的手的虚拟模型会突然开始抽风般的乱动,完全不能控制。相比之下,另外一个版本的FingoIR内置的原型头盔体验起来就会更加完整,匹配我的手和手臂运动和捕捉的精度都算是非常精确的了。 FingoIR的另一个潜在用途是可以用于优化传统的红外线定位系统的头盔追踪。在一个游戏的demo中有一个虚拟的面板,Fingo可以识别安放在角落的银色标记物进行位置的追踪,同时还可以进行有限的距离感应追踪(即,当我远离虚拟面板时,虚面板同时缩小)。USens声称这种跟踪更准确,并且比传统的基于传感器的跟踪方式要节省更多的处理器资源。 另一个Fingo产品是"FingoColor",顾名思义,该系统使用了彩色相机。FingoColor的目标同样也是为了增强传统的位置定位和追踪功能,但是这个彩色相机系统更重要应用场景还是AR(现实增强)。我在FingoColor的应用demo中,可以直接使用我自己的手在空气中挥舞,通过FingoColor相机我们可以看到我挥舞的动作在真实的房间空间之中所留下的轨迹。 值得注意的是,FingoColor还可以想hololens一样对房间整体的定位和空间扫描。虽然它目前只能在在相当房间环境中才能处理得比较好,但是FingoColor已经可以通过镜头捕捉的画面数据,确定你的运动方向、你的朝向等等。 uSens以此为基础又推出了一款性能更高的系统:PowerFingo(名字满满的霸气啊)。PowerFingo使用两组传感器并且自带处理芯片,而不是利用连接的设备处理器来处理数据。 给Vive装上翅膀,带它装逼,带它飞 在测试场景中,PowerFingo通过破解连接HTCVive用于一个虚拟卧室里进行导航。这次测试的场地中并没有安装HTCVIVE的定位器来进行位置跟踪,但我依然可以在房间自由行走,并且可以通过双手拣取虚拟的物品以及其它各种地交互。系统甚至能够捕捉到我是站着还是蹲着,以及我面对的方向。 值得注意的是,所有uSens的这些产品都还处在早期样品的阶段,卡顿的问题和一些做工上的不足都是显而易见的,但是结合到VR和AR系统中一起来体验的时候的感觉还是很不错的。比如我在操作一个VR太阳系模型的时候,至少有一半的时间Fingo是识别不出我的手势动作的,但当能够正确识别的时候,我能够用自己真实的手的手部动作来操纵星球的放大缩小以及旋转,这也绝不失为一个奇妙的体验。 当然,uSens是否能够获得成功,还是要看各位头显的厂商是否愿意降Fingo整套系统融合进他们先有的设备体系里面。随着Fingo的逐渐完善和成熟,我相信在下一代VR系统里面它将会成为很多厂商的优先选用的定位和控制组件。