重塑视野：人工智能驱动的WiFi室内成像突破
芯格瑞 Slab
2024年06月21日 18:07 北京
● 室内成像 ●
室内成像对机器人和物联网至关重要。WiFi作为普遍存在的信号，有潜力进行被动成像并同步信息。本研究首次将WiFi室内成像视为多模态图像生成任务，将WiFi功率转换为高分辨率图像。我们提出的WiFi-GEN网络的形状重建精度是传统方法的275%，弗雷歇特生成距离得分降低了82%。为验证模型效果，发布了包含8万对WiFi信号和成像目标的大规模数据集。我们将基于模型方法的挑战转化为生成式AI网络的参数，优化了WiFi信号与成像输出的匹配。数据和代码将在论文接受后公开。
● 01介绍 ●
如今，机器人和智能设备对室内环境的感知对家庭、办公楼和工厂至关重要。这种信息有助于导航、实时监控、提高安全性和提升智能系统性能。利用WiFi信号进行室内成像和定位因其成本低、隐私友好且无需额外设备而受到关注。与图像传感器相比，WiFi信号能检测的位置、形状和运动等信息有限，但默认保护用户隐私。WiFi感知方法无需复杂设备，仅需简单修改WiFi接入点，部署资源较少，并能轻松在所有连接设备间共享信息。
图1. 边界B处的无线收发节点及截面高度为h的区域DoI，尺寸为X×Y。发射器和接收器位于边界B。整个区域D被划分为像素，像素大小为∆x和∆y
利用WiFi功率测量进行室内成像将功率矩阵转换为图像。全波方法（同时测量WiFi相位和功率）虽然有效，但相位测量在高频下复杂且昂贵，不适合实际应用。最新研究表明，仅用WiFi功率测量解决无相位逆散射问题是可行的。尽管模型基于波传播物理方程并结合深度学习，但这些方法仍受限于非线性和病态问题。
本研究首次利用生成式AI技术构建了WiFi无相位成像的端到端解决方案。核心挑战是通过WiFi节点的有限测量生成高分辨率图像，从而提升室内成像、定位和轨迹跟踪等任务的性能。分析发现，输入的功率矩阵比输出图像矩阵更密集，类似于Dalle和Mid-journey等图像生成任务。因此，我们在多模态图像生成框架下解决了WiFi室内成像问题。
为此我们提出了一种新型的WiFi-GEN网络用于室内WiFi成像：
(1) 首次将WiFi室内成像视为多模态图像生成任务，将测量的WiFi功率转换为高分辨率的室内图像，推进了WiFi室内成像研究领域的发展。
(2) 本研究提出了首个定制的生成式AI模型——WiFi-GEN网络，用于WiFi室内成像任务，缓解了传统物理解决方案的非线性、病态性和不确定性挑战。
(3) 构建了一个包含80000组数据的二维物体形状与WiFi功率测量的数据集，为研究人员设计更好的算法提供了便利。
(4) 进行了大量实验测试提出的WiFi-GEN网络。我们的WiFi-GEN网络的形状重建精度达到传统物理模型反演方法的275%，弗雷歇特生成距离得分降低了82%。同时，生成结果在分辨率更高、成像范围更大且WiFi节点数量更少方面表现更好。
● 02问题表述与方法 ●
使用WiFi信号进行室内成像最早用于穿墙检测，随后通过移动机器人获取测量数据的研究也得以发表。初期研究证明了WiFi信号在成像、定位和姿态识别方面的可行性，并通过解决逆散射问题提升了成像精度。逆散射问题分为全波ISP和无相位ISP，后者只需测量WiFi功率，部署更为实际。
一、WiFi室内成像的全数据和无相位逆散射问题
逆散射问题在理论和实践研究中广受关注，并被应用于医学成像、地球物理、雷达、声纳和无损检测等领域。近年来，电磁波用于室内成像的逆散射问题取得了进展。
一种方法是通过围绕感兴趣区域（DOI）的传感器节点获取非常精确的全波测量数据，并正式解决包含反射、散射和衍射等所有波现象的逆散射问题。然而，这些方法测量不切实际，计算密集，并且只在几个波长范围内的受限环境中有效。这些缺点限制了全数据逆散射问题（FD-ISP）方法在WiFi室内成像中的商业应用。
为降低对测量设备的高要求，提出了基于无相位WiFi测量的方法。PD-ISP问题更加病态和非线性，且底层物理模型未知。一种扩展的Rytov无相位成像方法在定位、成像和识别物体材料等任务中展示了有前景的结果。
二、深度学习模型在WiFi室内成像中的应用
研究者们面对WiFi成像中复杂和不确定的逆散射问题，采用多种深度学习模型来估计物理参数或直接重建感兴趣区域内的物体。最近的研究探索了在全波逆散射问题中整合深度学习模型的方法，尝试了卷积神经网络（CNN）、生成对抗网络（GAN）等在图像应用中的典型网络。我们的研究将WiFi成像任务视为跨模态生成问题，将测量的WiFi功率作为小型矩阵输入，转换为像素更多的图像领域。通过直接反演方法结合生成模型，我们试图解决PD-ISP问题，避免依赖物理模型的辅助。深度学习网络通过大量参数处理非线性和病态问题，而生成模型则更适合图像生成和恢复任务。
● 03模型及方法 ●
一、问题表述
考虑一个典型的室内环境，其感兴趣区域D是一个矩形，面积为X×Y平方米。WiFi节点位于边界上（B ⊂ R2），每个节点需要测量其他所有节点发送的信号功率。当前的WiFi设备通常配置为可同时作为发射器和接收器，因此从M个节点获取的测量矩阵W的维度最大为M × (M − 1)。在实际操作中，所有节点轮流充当发射器，其余节点测量接收到的信号强度，这与该研究领域的传统方法相似。
PD-ISP旨在识别离散化的二维感兴趣区域（DoI）中每个单元的材料参数（例如介电常数），其中Nx = X/∆x和Ny = Y/∆y。为了获得更好的分辨率，Nx×Ny通常远大于M×(M−1)，增加Nx和Ny可以提供DoI中更多的细节。在成像任务中，检测形状是优先考虑的，因此本工作仅重建对象的形状，而不涉及材料的介电常数。因此，最终任务是从测量输入矩阵W(M×(M−1))生成Nx×Ny的二进制矩阵I。我们将PD-ISP视为一种新的跨模态图像生成问题，并设计了一种名为WIFI-GEN的生成模型，通过WiFi信号可视化室内物体。
二、WiFi-GEN
新型WiFi-GEN网络，用于端到端的WiFi室内成像。该模型包括三个组件：WiFi信号编码器、分层控制信号网络和WiFi生成器。WiFi信号编码器将WiFi信号嵌入潜在空间，控制信号网络提取特征并转化为512维多级特征向量，WiFi生成器利用这些特征生成最终图像。WIFI-GEN架构如图2所示。
图2. WiFi-GEN框架，输入层和跳层都由简单的全卷积网络组成
WiFi信号编码器：WiFi信号编码器将WiFi信号压缩到潜在空间中，以实现端到端的精确感知。编码器是一个三层全连接网络，将19×20的信号矩阵展开成380维向量，保留节点的顺序关系，并嵌入16×16的潜在空间，以进行图像生成的特征提取。
总结并简写这段话：控制信号网络从潜在空间中提取原始信号的特征，以调控最终图像生成的准确性。采用UNet-like结构和特征金字塔，可从潜在空间中提取多尺度特征。网络包括下采样模块和上采样模块：下采样模块通过多个残差层降低特征图的空间维度，上采样模块则利用卷积层和双线性插值恢复特征图的空间分辨率。从采样模块的第4、21和24层提取特征图，经过上采样层后用于WiFi生成阶段，控制最终图像的感知效果。
图3. WiFi-GEN中Downsample、Upsample和Signal Block的结构细节
三、损失函数
为了确保生成图像形状的准确性，我们引入L2损失以提供像素级生成监督，具体形式如下：
其中，W表示WiFi功率的测量矩阵，而Igen表示室内环境的真实图像。为了进一步衡量两幅图像之间的差异并在训练过程中保持成像质量，我们引入LPIPS损失，其定义如下：
WiFi-GEN的整体目标函数计算为上述两个损失函数的加权和，如下所示：
● 04仿真与实验结果 ●
为了评估WiFi-GEN在WiFi室内成像任务中的性能，我们与最先进的基于物理模型的方法进行了全面比较。其中20%的WiFi功率和图像对用于实验，包括所有四种形状的16000组数据。我们的方法在以下三方面优于传统的基于物理模型的方法：(1) 总体上，我们提出的方法在形状重建准确度（由IoU反映）方面比传统的基于物理方法的方法高275%，并显著降低了FID分数82%。(2) 我们的模型在最具挑战性的非凸形状中表现良好，在环形状中比物理方法提高了3.62倍的准确度。(3) 我们的方法在靠近边界的情况下表现有效。
图4. 新模型在所选案例中与基于物理模型的方法的性能比较
表1. 模型在与基于物理模型的方法比较中的IoU和FID结果
表2. 性能提升了两到三倍，特别是对于最具挑战性的环形状，提高了3.62倍的准确性，超过了物理方法的表现
基于模型方法的后处理：采用阈值分割来提取这些方法检测到的最显著的区域。在结果中，Physical指的是基于物理模型方法的原始结果，Physical-60指的是分割后的60 × 60像素的物理结果，Physical-256指的是分割后重新采样到256 × 256像素的结果。
形状重建准确性：传统方法仅支持低分辨率的结果（60×60像素），而我们的方法能够轻松生成高分辨率图像（256×256像素）。通过视觉检查，我们的方法在成像准确性上表现出色，能够准确呈现四种不同的物体形状（如图4所示）。表I中的定量结果清楚地展示了WiFi-GEN的卓越性能，通过FID和IoU指标，我们的方法实现了更精确的形状重建和更优秀的图像生成效果。
表3. 训练模型时在不同噪声条件下的图像生成能力的定量结果
表4. 与已发表工作的性能比较
模型训练中引入噪音的性能改进：为进一步评估在模型训练过程中引入噪音的有效性，我们进行了一系列实验比较。图5和表格III中的结果表明，模型训练中包含噪音显著提高了模型处理小型和非凸物体的能力。
图5. 模型训练中不同噪声条件下的图像生成能力
物理实验
我们在实验室建立了一个模拟真实场景的实验设置，包括一个3 × 3平方米的区域，边界上布置了20台ADALM-PLUTO软件定义无线电设备。与传统实验相比，我们使用了较少的WiFi节点。通过图6可以看出，我们的模型展示了出色的能力，能够准确地理解来自真实场景测量数据，尽管真实环境中WiFi信号的分布有所变化。特别是在捕捉设备形状和位置方面，我们的模型表现非常准确。
图6. 在真实环境中对人体感知的结果
学术引用
Shi J, Zhang B, Dubey A, et al. Vision Reimagined: AI-Powered Breakthroughs in WiFi Indoor Imaging[J]. arXiv preprint arXiv:2401.04317, 2024.
Shi, Jianyang, et al. "Vision Reimagined: AI-Powered Breakthroughs in WiFi Indoor Imaging." arXiv preprint arXiv:2401.04317 (2024).
Shi, J., Zhang, B., Dubey, A., Murch, R., & Jing, L. (2024). Vision Reimagined: AI-Powered Breakthroughs in WiFi Indoor Imaging. arXiv preprint arXiv:2401.04317.
文：选编自arXiv
编辑：祁景博
S-Lab
S-Lab是一家专业的软硬件测试实验室，拥有专业的OTA实验室和通信电子实验室，配备了先进的检测设备和系统。我们为各类智能硬件终端设备提供全面的检测服务，涵盖商业航天、机器人、智能驾驶、智能通信、物联网和专网设备等产品。我们的专业检测服务包括天线性能、射频传导、De-Sense、型号核准预测试等，旨在确保产品的性能和符合性。覆盖多个领域的专业检测设备和能力，包括工业、农业、交通、家居、商业和军工，为客户提供可靠的技术支持。
S-Lab为您的产品提供全方位的专属测试服务，我们致力于确保您的产品在各个方面都能达到最高标准。我们的测试团队将为您的硬件产品进行综合的天线性能测试及射频测试，帮助提高产品质量、缩短上市周期，并协助解决和调优产品问题。作为您产品上市不可或缺的重要环节，S-Lab保证您的设备在性能和兼容性上达到最高水平。
本公众号引用的所有论文内容，版权归原权利人所有。如果您认为我们的引用不当，请及时通知我们，我们将立即删除。
往期推荐
AI大模型技术
AI电池预测技术
大语言模型的视觉大考验
阅读 110