具身智能鲁棒与安全综述:漏洞与攻击
Towards Robust and Secure Embodied AI。
- 发布时间
- 2025-02
内容介绍
具身智能把感知、决策和执行绑在一个物理身体上,这带来一个很实际的问题:当机器人或自动驾驶车辆进入真实环境,它们的脆弱点究竟分布在哪里,攻击会从哪个环节进来,现有研究是否给出了统一的梳理。这篇题为 Towards Robust and Secure Embodied AI: A Survey on Vulnerabilities and Attacks 的综述(arXiv:2502.13175),作者是 Wenpeng Xing、Minghao Li、Mohan Li 和 Meng Han,正是冲着这个缺口写的。作者指出,已有综述要么讨论通用 AI 的脆弱性,要么只覆盖孤立侧面,很少专门针对具身智能独有的安全与保障挑战,也缺少一个为具身智能量身定制的统一框架。在具身系统快速进入自动驾驶、工业自动化、智能家居的当下,这个空白值得补上。
综述覆盖的范围从脆弱性分类一直延伸到攻击范式、大模型攻击面、算法鲁棒性和评估数据集。作者把具身智能特有的脆弱性分为两类起源:外生脆弱性来自动态环境、对抗攻击等外部因素,内生脆弱性则来自硬件故障、软件缺陷等系统内部失效;此外还有一类跨维度脆弱性,指外部与内部因素相互作用而放大的系统脆弱。方法上是文献综述与分类框架构建:系统分析具身智能特有的对抗攻击范式,重点关注其对感知、决策和具身交互的影响;考察针对具身系统中 large vision-language models(LVLMs)与 large language models(LLMs)的攻击向量,例如越狱攻击和指令误解;评估具身感知、决策与任务规划算法的鲁棒性挑战;并提出针对性的增强策略。文中还给出了 LLMs 与 LVLMs 评估数据集的一个分类,涵盖通用数据集、对抗数据集和对齐数据集。
第一个值得记下的判断是作者对“鲁棒具身系统”三条特征的界定:自主性、具身性和认知。自主性指系统能独立做出有依据的决策、适应动态且不可预测的场景,但作者同时指出,这种独立性本身引入脆弱性,例如复杂环境中的决策错误。具身性指与物理环境交互的能力,把物理在场与决策过程结合起来;认知则涵盖理解、推理和解释自身行为的能力,使行为与内部目标和外部约束保持一致——而认知过程同样可被利用,途径包括 sensor-to-model 攻击或对已学习模型的操纵。换句话说,能力与攻击面在作者框架里是同一件事的两面。
第二个是攻击面的具体清单。作者按传感器类型列出了对应的攻击手法:视觉传感器面临对抗补丁、光投影攻击和利用光谱接近性;接近传感器面临激光投影、形状操纵、物体放置和环境干扰;触觉传感器面临物理破坏、力与压力的操纵以及串扰;惯性测量单元面临传感器漂移、噪声、振动和共振声学干扰;GPS 面临信号阻塞与伪造信号广播;听觉传感器面临超声波攻击、环境噪声和音频注入。由此产生的后果包括目标跟踪被打断、车道检测被篡改、机器人跌倒、机器人碰撞、隐私泄露,以及对人的威胁。系统侧的威胁则包括中间人攻击、固件攻击、侧信道攻击、勒索软件、数据注入、供应链攻击和恶意指令;内部失效方面列出验证失效、机械故障、软件脆弱性、对未见场景的鲁棒性不足,以及指令误解和伦理问题等功能性弱点。这些条目构成了一张按“入口—后果”组织的对照表。
把这些放在一起看,意味着具身智能的安全问题不能只当作模型层面的对抗样本问题来处理。作者强调的跨维度脆弱性说明,外部的物理攻击与内部的软件缺陷会相互叠加,单点加固难以覆盖;而把 LLMs 与 LVLMs 纳入攻击面分析,则说明语言与视觉模型一旦承担具身系统中的指令理解和决策职责,越狱与指令误解就会直接转化为物理世界中的动作风险。对做系统设计或安全评估的人来说,这份分类的实际用途是当作检查清单:按传感器、系统软件、模型接口三层去核对攻击向量,再对照后果一栏判断哪些失效是不可接受的。作者在最后提出针对性策略以提升安全性与可靠性,并给出未来研究方向,但材料未展开具体策略内容,读者需回到原文相应章节查看。
这份资料适合需要快速建立子领域全景的人:做具身智能系统、机器人安全或自动驾驶评测的研究者与工程师,可以借它的分类框架定位自己关心的问题落在哪一格;正在授课或学习相关课程的人,可以把它与课程讲义对照,检查讲义覆盖面与最新攻击范式的差距。能拿走的核心是一套三分法的脆弱性分类、一份按传感器与系统层次组织的攻击向量清单,以及一个把大模型风险纳入具身语境的视角。边界也需要说明:这是一篇综述,本身不提供新的实验数据或防护方案的效果验证;材料中的攻击手法与后果是以分类条目的形式呈现的,未给出量化统计;提出的增强策略在可见材料中只有方向性表述。读者若要评估某类攻击的实际成功率或某条防御的代价,仍需查阅综述所引用的原始工作。
原文摘录
自动提取自 PDFTowards Robust and Secure Embodied AI: A Survey on Vulnerabilities and Attacks WENPENG XING, MINGHAO LI, MOHAN LI, and MENG HAN∗ Embodied AI systems, including robots and autonomous vehicles, are increasingly integrated into real-world applications, where they encounter a range of vulnerabilities stemming from both environmental and system-level factors. These vulnerabilities manifest through sensor spoofing, adversarial attacks, and failures in task and motion planning, posing significant challenges to robustness and safety. Despite the growing body of research, existing reviews rarely focus specifically on the unique safety and security challenges of embodied AI systems. Most prior work either addresses general AI vulnerabilities or focuses on isolated aspects, lacking a dedicated and unified framework tailored to embodied AI.