science 论文大模型与智能体其他2022-10

ReAct:在语言模型中协同推理与行动

大模型/推理/安全方向可免费获取的论文。

发布时间
2022-10
link 原始页面

notes 内容介绍

语言模型能不能一边推理一边行动,把「想」和「做」放进同一个过程里,而不是先想完再做、或者只做不想——这是这份资料的标题直接指向的问题。题目里的「协同」(Synergizing)是关键,它暗示的是一种合并关系,而不是把两件事并列摆着。放在今天看,大模型从回答问题走向调用工具、执行多步任务,推理与行动如何衔接已经成了实践上绕不开的环节;这条线同时牵动安全讨论,因为一旦模型真的「行动」,出错的代价就不再只是一句错话。这份资料由 Princeton/Google 发布,2022 年 10 月公开,属于大模型、推理与安全交叉的方向。

从给定材料能够确认的范围比较有限,但定位是清楚的:它是一篇公开的 arXiv 论文,全文 PDF 可以免费下载,归在大模型、推理与安全这一方向上,因此可以被当作论文解读或论文盘点的对象。至于它具体用了什么方法、在哪些任务上做验证、拿什么数据来支撑,材料里没有记录,需要打开原文才能核对。换句话说,这里能提供的是一个坐标——谁做的、什么时候、指向哪个问题——而不是一份内容摘要。这也决定了下面几段只能围绕标题和定位来谈,不能替原文下结论。

材料没有给出任何具体的实验数字或结论,这一点必须先讲清楚:凡是涉及提升幅度、对比基线、任务名单的说法,都属于原文,不属于这份介绍。唯一可以依赖的内容线索是标题本身。按字面解读,「协同推理与行动」把推理与行动视为应当被放在同一框架下处理的两件事,而不是两个先后阶段。这个提法值得留意的地方在于,它把关注对象从「答案对不对」扩展到「过程怎么走」——这属于对标题的判断,不是原文结论。

沿着这个思路再往前一步,仍然是解读而不是原文:如果推理与行动确实要被一起看待,那么一个系统的表现就不能只看它最终给出的结论,还要看它在中间做了哪些动作、这些动作与推理是否对得上。这对做论文盘点的人有一个实际提示——在归类和比较这类工作时,单看「推理能力」或单看「工具调用能力」可能都不够,需要看两者是怎么被接起来的。当然,这个判断成立与否取决于原文如何定义和度量,材料没有提供这部分信息。

对实践的影响也可以照此理解:做 agent 类系统时,推理轨迹与动作序列大概需要一起设计、一起检查,而不是先写一个推理模块再在外面套一层执行;做安全评估时,需要考虑的不只是输出内容,还包括模型采取的动作会带来什么外部后果。这两点都是从「协同」这个词延伸出来的推论,属于我基于标题的判断。它们是否被原文支持、支持到什么程度,只能回到 PDF 里确认。

适合正在做大模型推理、agent 或安全方向论文解读与盘点的读者,读完能拿走的是一份可免费下载的一手文献,以及一个明确的位置感:Princeton/Google 出品,2022 年 10 月公开,问题指向推理与行动的协同。它也可能适合需要为综述或选题找引用的人,因为一手 PDF 比二手转述更可靠。但边界同样明显:材料只到「存在这篇论文、可以下载」为止,没有方法、没有数据、没有结论,任何关于它证明了什么的说法,都必须以原文为准。