佛罗里达州立大学和罗格斯大学的科研人员开发了一种基于Wi-Fi传感的3D网格技术:Wi-Mesh,该方案宣称可识别并创建可靠的3D人体网格,可辅助计算机视觉、AR/VR定位等应用。

简单来讲,Wi-Mesh通过分析多个Wi-Fi天线接收的反射信号,来获取房间中人的3D信息,并生成立体网格。而Wi-Fi信号源是一种低成本室内定位方法,缺点是精度不高,难以通过算法来提升性能。Wi-Fi信号还可以补充GPS定位,解决GPS在室内没有信号的问题。


(资料图片)

据了解,该科研小组专注于尖端的Wi-Fi传感研究,此前的研究(E-eyes、WiFinger系统)已经可以通过Wi-Fi感知一系列人类活动和物体,比如人体大幅度动作,或是小幅度手势变化,此外还能检测睡眠活动、识别日常物体。

在Wi-Mesh研究中,科研人员的重点是,测试常见的Wi-Fi通信方案,以评估其3D网格生成能力(比如能否准确捕捉不同人的身高、体重、体型、身体比例、身体变形等等)。此外,训练一种Wi-Fi传感模型,将日常活动、手势进行分类,并与预设动作匹配。

实际上早期的研究表明,商用Wi-Fi能够对分类一些预定义的人体动作,并检测细微的活动,比如生命体征(用Wi-Fi检测睡眠、跌倒等)。不过,这些系统无法生成复杂、精细的3D网格,因为3D人体网格通常具有数千个顶点,远多于比3D姿态捕捉时识别的节点数量。此外,还需要高质量的训练数据、更深入的神经网络,并且对使用环境等多种因素很敏感,难以在不同的场景中通用。

Wi-Mesh诞生

然而在最新的研究中,科研人员验证了Wi-Fi信号在构建3D人体网格上的能力,而这在之前是难以实现的。和上面描述的方案相比,Wi-Mesh最大的区别是利用了多天线Wi-Fi设备,从Wi-Fi信号到达人体反射回的数据,来分析、推导出人体形状,更准确的定位3D目标。商用Wi-Fi技术的进步让Wi-Mesh成为可能,通常新一代Wi-Fi 6/7接收器配备了8到16根天线,可以很好的捕捉到达人体3D表面后反射回的信号,并通过信号入射角、AoA信息将人体形状和动作可视化。

科研人员指出,Wi-Mesh通过反射回的Wi-Fi信号计算二维到达角(2D AoA),并推算出物理环境的3D结构、人体、静态物体的3D可视化模型,然后从中提取人体2D AoA图像(类似于相机捕捉的灰阶图像),再利用深度模型,将2D图像转化成3D网格 ,用来实现各种人机交互。简单来讲,这种方式可以让Wi-Fi很好的感知周围环境,就像是为其赋予“视觉”。

这里的AoA定位,指的是通过硬件设备感知其他设备发送的信号的到达角度,通过计算接收节点、发送节点的相对方向,来推算位置。通常来讲,该定位方式主要依赖多天线阵列。蓝牙5.1标准就引入了AoA特性,可实现厘米级精度的定位。

优势和局限

经过验证,商用Wi-Fi具有3D传感和建模的能力,因此未来Wi-Fi不仅可以通信,还可以将周围的人、物体可视化,带来全新的传感方式。

经过一系列室内实验,科研人员发现,Wi-Mesh的平均顶点位置误差为2.81厘米,关节位置的识别误差为2.4厘米,效果与专用的3D传感硬件相当(比如常见的两种RF定位系统,FMCW雷达、毫米波雷达方案)。值得注意的是,Wi-Mesh无需额外的硬件,使用已有的Wi-Fi设备即可,因此成本上具有优势。另外,Wi-Mesh在各种不同场景的适应性足够好,对于未接触过的人也可以识别和3D建模,运行结果稳定且有效。

与基于相机和视觉算法的3D捕捉方案相比,Wi-Mesh的优势是:基于RF射频,可穿透墙壁和障碍物,即使有视觉遮挡,或是在光线不足的环境中,也能定位。此外,即使是深色、宽松的衣服,Wi-Mesh也可以识别。

而与传统的动捕方案相比,Wi-Mesh无需额外的穿戴式传感器,或是标记,因此用起来更自然、更容易。它也可以用于现有的Wi-Fi通信系统,成本足够低,适合广泛应用。

不过它仍有一些局限性,比如只能为空间中的一个人3D建模,不适合火车站、购物中心等拥挤的空间。传感距离大约几米,并没能充分利用Wi-Fi的全部通信范围,这是因为Wi-Mesh依赖于信号反射,效率比视觉方案要低。所以,可能需要更强大的定向天线,或是覆盖多个Wi-Fi设备来解决。此外,计算成本也需要进一步降低。

未来应用

Wi-Mesh具有在房间中捕捉3D人体数据,并生成网格的能力,而这种能力可用于多种潜在场景,比如:AR/VR内容开发、虚拟试穿、运动检测、动画/动捕、服装人体重建和渲染等等。实际上,如果将它用在线下大空间场景,也许可以实现大规模的多人AR游戏体验。

科研人员表示:我们正在研究一种家用的智能监控/安全系统,该系统利用Wi-Fi信号进行3D定位,可用于人体重识别(Re-ID)等场景,比如通过检测身高、体重、身体比例、步态等信息,进行身份识别。与摄像头监控相比,Wi-Fi定位监控更通用,即使目标改变外观和姿态,也可以识别身份,此外也可以弥补视觉方案受遮挡的限制。参考:acm

推荐内容