此前,青亭网曾报道了一项无需摄像头的VR全身追踪方案:Standable: Full Body Estimation(简称SFBE),这套方案就是利用了头显+双手柄数据来模拟预测全身动作数据,效果还算不错。

近期在CHI2023活动上,卡内基梅隆大学Future Interfaces Group科研团队公布了一项类似的研究:IMUPoser,这是一个基于IMU定位的全身姿态预测方案,特点是利用iPhone、Apple Watch、Airpods等常用的电子产品来为VR提供全身追踪数据。相比于此前研发的摄像头全身追踪方案,IMUPoser方案更容易使用,而且成本更低,无需额外的硬件。


(相关资料图)

在VR中追踪全身难?

为了让VR更容易上手,Meta已经停产了PC VR产品,开始主推VR一体机,并获得了市场广泛欢迎,引发了VR硬件潮流。VR一体机的好处是开箱即用,戴上就能玩,但在功能、硬件性能上依然有局限。

比如为了避免额外的设置和成本,Quest一体机并没有官方的全身追踪配件,在VR中操控全身Avatar时,只能靠头手三点定位和IK算法来预测下半身动作。

此前,FIG曾探索在Quest手柄上加入广角相机来追踪下半身,这样的方案虽然可行,但需要复杂的计算,而且增加了成本。相比之下,如果用几乎人人都有的手机来定位全身姿态,似乎更容易上手。与用手机摄像头追踪姿态不同,IMUPoser使用IMU来定位,这也是VR追踪模块常用的技术,区别是人们更常使用手机、耳机、智能手表,使用IMUPoser意味着无需穿戴特殊的硬件,就能预测全身姿态。

实际上,苹果此前已经为类似的方案申请专利,考虑到苹果拥有比较完整的软硬件生态,而且其穿戴设备通常都具备加速度计、陀螺仪等运动检测传感器,可以很好的定位。未来也许可以让AR/VR头显、手机、智能手表、耳机等设备联动,从而实现全身动作追踪。

算法预测全身姿态

IMUPoser方案的一大重点,是将从手机、智能手表等设备收集(本文用苹果生态,结合 iPhone、以及可选搭配Airpods、Apple Watch,并用MacBook进行数据回流)的数据整合,并计算出用户的全身姿态。其使用的算法基于定制的双向LSTM模型(长短记忆模型),输出SMPL动捕模型。

而手机、手表、耳机可为全身姿态追踪提供足够数据,包括四肢的位置,以及站立、蹲坐等状态。另外,可通过距离传感器识别手机在口袋内部还是外部。还能根据智能手表和手机之间的距离(基于UWB定位),来识别手机在哪个口袋、哪只手上。

当然,IMUPoser定位不仅限于手持手机的场景,当你将手机放在裤兜时,也可以分别追踪左右腿。耳机也是如此,可以放在口袋中。因此可能会出现24种最有可能的搭配,比如智能手表和手机在同一侧手臂上,或是耳机和手机在同一个口袋中。在一些场景中,甚至只能通过一个设备(耳机、手机或手表)来定位IE,全身定位数据不完整。

由于缺少四肢的绝对位置数据,该方案并不是完全准确,经测试手机的实时定位准确性约90.8%,智能手表和耳机的定位准确性接近100%。但当追踪数据小于最低标准时,则需要用预测算法来补偿。比如在预测姿态时可能需要插入预设动作。当IMUPoser识别到用户在行走时,便会假设没用手机、手表定位的一侧手臂、腿也在移动,只是和另一侧不同步(基于人的自然步行姿态)

应用前景

科研人员指出,全身追踪可用于多种场景,比如健身、移动游戏、情景感知、虚拟助手、康复训练等等。

那么IMUPoser能取代更专业的全身动捕工具吗?在准确性上,它还不够,但它可以用来完善、补充已有的运动追踪设备,比如AR/VR头显。

除了数据量不稳定外,IMUPoser的其他限制还包括IMU定位的噪声等等。而且在追踪上半身动作时,如果缺少一只手臂的位置数据,IMUPoser则会复制追踪到的另一只手动作。比如,当你举起一只手打招呼,系统预测的结果却是举双手。

经过验证,科研人员发现下半身追踪最准确的情景,需要用到双腿IMU数据(两个裤兜分别放了手机、耳机)。在缺少部分腿部数据时,则可根据双腿运动的相关规律,来预测出比较合理的动作。参考:acm

推荐内容