面向可信语言模型的解释方法与临床决策支持应用

深度学习模型正越来越多地进入医疗这类高风险场景，于是「模型为什么这样判断」从学术趣味变成了部署前提。这份加州大学伯克利分校 EECS 的博士论文处理的正是这个落差：应对高风险场景的解释方法已被提出很多，但作者认为其中相当一部分并不可靠——要么对输入扰动敏感，要么与真实世界的推理方式不一致——而且难以有效扩展。标题把「可信语言模型」与「临床决策支持应用」并列，说明作者不打算停在方法清单上，而要回答解释能否支撑真实任务中的信任。

论文把可解释性拆成三个方向推进：针对黑箱模型的事后解释、对深度学习模型内部机制的机理分析，以及在领域专家指导下、面向真实临床场景的可解释应用。方法取向上有一个贯穿全书的主张：可信度不能靠直觉宣称，需要由内部稳定性分析与和领域专家合作的外部验证共同保证。工作依托的是与临床医生协作的真实任务，而不是只跑合成基准。

在黑箱解释这一支，论文给出两种方法：一种从 concept bottleneck 模型中提炼符号规则，另一种用 prompt 技术让文本模块生成自然语言解释；两者共同点是无需访问模型内部即可产出可解释输出，这对只能通过接口调用的模型有直接意义。机理分析这一支则扩展了 contextual decomposition——该技术原本用于局部解释——把它发展成一种可扩展、有数学基础的方法，用于 transformer 的机理可解释性研究，能以较细的粒度高效定位与任务相关的计算子图。

临床部分有两个成果。其一，与临床医生合作建立分析框架，检视微调后 transformer 的特征空间，用来判断某个模型是否适合某项任务，而不只看性能分数。其二，设计一个基于规则的 LLM 系统，从非结构化病历文本中自主应用临床决策规则以支持急诊照护，整个开发过程由专家反馈引导。这两项工作都把「专家在环」写进了方法本身，而不只是留做事后评估。

这些结论对实践的意义在于，可解释性被当作可以验证的工程属性来处理。内部稳定性分析意味着解释方法自身要经受扰动检验，外部验证意味着解释必须在真实任务上对专家有用——换句话说，「看起来合理」不足以让一个解释方法进入临床流程。把特征空间分析用于模型选型，也提示评估可以从「准不准」扩展到「适不适合这个任务」；而规则化 LLM 用于急诊，则提供了一个思路：在需要可追溯性的场合，把模型能力约束在明确的临床规则之上是值得考虑的路径。

关心可解释性方法、以及在医疗等高风险场景做模型落地的人，可以从中拿走一个分层框架：黑箱外部解释、内部机理定位、专家参与的真实应用，外加「稳定性加外部验证」这套可信度检验思路。需要说明的是，这份材料停留在论文摘要层面，交代了问题设定与方法思路，却没有给出任何量化结果、数据集规模或评测指标，因此无法据此判断各方法相对基线的实际增益；实验设计与具体数据仍需回到论文正文与技术报告 UCB/EECS-2025-57 中核对。

Toward Trustworthy Language Models: Interpretation Methods and Clinical Decision Support Applications Aliyah Hsu Electrical Engineering and Computer Sciences University of California, Berkeley Technical Report No. UCB/EECS-2025-57 http://www2.eecs.berkeley.edu/Pubs/TechRpts/2025/EECS-2025-57.html May 14, 2025 Copyright © 2025, by the author(s). All rights reserved. Permission to make digital or hard copies of all or part of this work for personal or classroom use is granted without fee provided that copies are not made or distributed for profit or commercial advantage and that copies bear this notice and the full citation on the first page. To copy otherwise, to republish, to post on servers or to redistribute to lists, requires prior specific permission.