迈向能理解丰富交流的智能体
OriginalTowards Agents Which Can Understand Rich Communication
These agents may be able to condition on simple forms of communication (such as a language task description), but they’re currently not capable of making use of the full spectrum of communication, verbal and non-verbal, which human teachers use to guide their students.
- 发布时间
- 2024
内容介绍
今天的 AI 系统主要在大规模输入-输出对的数据集上训练。这留下一个具体缺口：智能体也许能依据简单形式的交流（例如一句语言任务描述）来调整行为，却用不上人类教师在引导学生时使用的完整交流谱系，包括语言与非语言的部分。Olivia Watkins 的这篇 UC Berkeley EECS 博士论文就围绕这个缺口展开，由 Trevor Darrell 与 Pieter Abbeel 共同担任论文委员会主席。值得现在翻看的地方在于，它把“教学”当作智能体获得能力的一条独立路径来研究，而不是继续在输入-输出对的规模上做加法。
论文把问题拆成两个挑战，对应两部分内容。第一部分开发算法，目标是把人类提供的实时交流高效地 grounding 到智能体的行为上，覆盖非语言交流与多种语言形式；同一部分还让智能体以一种新的方式使用语言——用语言引导常识性探索。第二部分转向交流的来源：教智能体理解可信来源给出的交流，同时忽略不可信来源提供的恶意指令或事实。为给这条路线铺路，论文对模型在语义 prompt injection 与 jailbreak 攻击下的脆弱性做了 benchmark。
按材料中的表述，第一部分给出的是一份现状诊断加一个方法回应。诊断是：现有智能体至多能 condition on 简单形式的交流，无法利用人类教师在示范与纠正中同时给出的语言和非语言信号。回应是设计算法，在实时交互中完成 grounding，而不是把交流留在离线标注的位置上。换句话说（这是解读），交流在这里被当作训练信号本身，语言则被额外用来引导探索，而不只是描述任务。
第二部分的关键工作落在安全侧。论文关注的是：恶意内容可以经由语义层面的 prompt injection 与 jailbreak 影响智能体，而这类弱点此前缺少可比较的测量方式，论文把它们整理成了 benchmark。给定材料没有给出攻击成功率、被测模型数量或数据集规模，因此这里只能确认研究做了这样的基准化，无法转述任何量化结论。这意味着（解读）“理解交流”的讨论里多了一个来源可信度的维度：理解不只是解析信号，还包括判断该不该听。这一部分的贡献因此偏测量性——先让弱点可被比较，再谈修补。
这些结论对实践的影响可以分成两条相对独立的工作线。其一，如果智能体的训练依赖输入-输出对，那么接入实时的人类非语言信号需要新的算法接口，而不是把数据规模再扩大一轮。其二，一旦智能体开始接收来自人类或其他来源的自然语言指令，语义 prompt injection 与 jailbreak 就是部署前要评估的风险面。把两者放进同一篇论文，本身说明（解读）“能理解丰富交流”包含“知道该忽略什么”。
做人机交互式学习、机器人示教、指令跟随与智能体安全的研究者和工程师，可以从这份资料里拿到的是一套问题分解方式：第一部分处理如何 grounding 实时、多模态的人类交流，第二部分处理如何区分可信与不可信来源。同时要交代边界。给定材料只到摘要层面，具体算法、实验设置与结果数字都没有展开。第二部分按原文说法是为后续工作铺路的 benchmark，暴露并测量已观察到的弱点，而不是一份完整的防护方案。因此它更适合当作问题地图与方向索引来读，而不是可直接复用的方法手册。
原文摘录
自动提取自 PDFTowards Agents Which Can Understand Rich Communication Olivia Watkins Electrical Engineering and Computer Sciences University of California, Berkeley Technical Report No. UCB/EECS-2024-188 http://www2.eecs.berkeley.edu/Pubs/TechRpts/2024/EECS-2024-188.html September 2, 2024 Copyright © 2024, by the author(s). All rights reserved. Permission to make digital or hard copies of all or part of this work for personal or classroom use is granted without fee provided that copies are not made or distributed for profit or commercial advantage and that copies bear this notice and the full citation on the first page. To copy otherwise, to republish, to post on servers or to redistribute to lists, requires prior specific permission. Acknowledgement Thanks to: Pieter Abbeel Trevor Darrell, Anca Dragan, Jacob Andreas, Alexandra Souly, Qingyuan Lu, Dillon Bowen, Tu Trinh, Elvis Hsieh, Sana