RF-视觉感知及其在移动感知机器人与增强现实中的应用

移动与无线感知技术已经渗入物联网、增强现实、机器人、环境监测与人体健康监测，但每一种现成手段都带着根本性短板：摄像头能拍出高分辨率图像，却受限于视线，看不见遮挡物后面；WiFi、蓝牙一类无线感知可以穿透遮挡，分辨率却有限；惯性传感器跟踪又快又准，却会随时间与空间漂移。这份 MIT 博士论文要回答的正是：能否把这些互补的模态真正融合起来，尤其是射频（RF）与摄像头，从而获得任何单一模态都给不出的感知能力。作者 Tara Boroushaki 的答案是肯定的，但前提是先在信号处理与数学建模层面处理“两种模态本质不同”这一融合难题。

论文属于 MIT 的 Media Arts and Sciences 项目，由 Fadel Adib 指导，工作围绕算法、学习模型与系统三条线展开，最终落到三类具体系统上。它没有停留在抽象框架，而是按“信息物理系统（cyber-physical systems）、人与计算机结合的系统（cyber-human systems）、无标签感知”三个组件推进：先做能动手取物的机器人，再做能让人看见遮挡后物体的 AR 头显，最后追问在不贴任何 RF 标签的情况下还能否做非视线感知。方法上强调的是先进信号处理与数学建模，用来把不同传感模态的数据对齐、联合推断。

第一个组件面向机器人操作。RFusion 被设计成一个可以搜寻并取回贴有 RFID 标签物品的机器人系统，适用范围覆盖视线内、非视线（NLOS）以及完全遮挡三种设置。紧随其后的 FuseBot 做了一次关键转向：它不要求一堆物品中每件目标都贴有 RFID 标签，而是利用堆中只存在一个带标签物品这一条件，同时服务于带标签与不带标签物品的取回。这意味着系统对标签密度的依赖被明显降低。这一点属于解读，但方向由原摘要明确给出。

第二个组件面向人机协同。X-AR 把 RF 感知加到 AR 头显上，让使用者看到人眼或当前最先进 AR 系统看不见的东西；论文进一步挖掘头显与 RFID 定位之间的协同，基于 RFID 定位的基础数学形式推导出置信度指标，并把引导信息显示给用户，以改善体验、加快找物速度。第三个组件回答“完全不用标签怎么办”：改用毫米波（mmWave）信号与现成的毫米波雷达，论文贡献了一个日常物体的真实毫米波图像数据集，以及一个开源仿真工具，可为任意 3D 三角网格生成合成毫米波图像，并在多项非视线感知任务上验证了二者的用处。

把这些放在一起看，意义在于一条清晰的降低标签依赖的路径：从“目标必须贴标签”，到“堆里有一个标签就够”，再到“完全不用标签”。对制造、仓储、物流与供应链场景而言，这直接对应拣选、查找与盘点的能力边界；对 HCI 与 HRI 而言，它把“看不见但存在”的信息变成可交互的对象。换句话说，真正的难点不在单个系统，而在于 RF 与视觉天生是两种不同的感知模态，融合必须靠信号处理与数学建模来支撑。

适合读的读者包括：做 RF 感知、无线定位、机器人抓取与 AR 系统的研究者与工程师，以及想理解多模态融合如何落到真实系统的人。读完能拿走的是一套问题分解方式（物理系统、人类系统、无标签感知）和三个组件的设计取舍逻辑。需要提醒的边界是：材料给出的是系统定位与任务描述，并未包含精度、成功率、延迟或数据集规模等定量结果；各系统的实现细节、对比基线与可复现资源也不在现有材料之内，评价其性能仍需回到论文正文。

RF-Visual Perception with Applications to Mobile Sensing, Robotics, & Augmented Reality by Tara Boroushaki M.S. Massachussets Institure of Technology, 2021 B.S. Electrical Engineering, Sharif University of Technology, 2019 Submitted to the Program in Media Arts and Sciences, School of Architecture and Planning in partial fulfillment of the requirements for the degree of DOCTOR OF PHILOSOPHY at the MASSACHUSETTS INSTITUTE OF TECHNOLOGY September 2025 © 2025 Tara Boroushaki. All rights reserved. The author hereby grants to MIT a nonexclusive, worldwide, irrevocable, royalty-free license to exercise any and all rights under copyright, including to reproduce, preserve, distribute and publicly display copies of the thesis, or release the thesis under an open-access license. Authored by: Tara Boroushaki Program in Media Arts and Sciences June 23, 2025 Certified by: Fadel Adib