利用大语言模型技术生成领域专用文档

近年来大语言模型的开发与扩散已经显著影响到社会的多个部门，美国军方应当如何对待这项技术，是这份学位论文的出发点。作者 Charles R. Timm 在 Naval Postgraduate School 完成的博士论文把问题收窄成一个可操作的切口：能否用 LLM 技术端到端地生成特定领域的文档，以及生成出来的东西是否真的可用。摘要明确提出，美军应当立即采纳并试验这项新兴技术，通过更高效的工作流满足不断增长的任务需求，以对同等量级对手保持技术优势，同时找出它的局限与脆弱之处。它值得现在翻阅的理由在于，讨论没有停留在「AI 能不能写作」这一层，而是把选模型、写提示、检索、智能体编排、评估串成一条可复用的链路，并拿一种真实存在的军用文书做了验证。

论文的框架覆盖从 LLM 选型到文档评估的全过程，作者列出四类支撑技术：prompt engineering（PE）、retrieval augmented generation（RAG）、agentic approach（智能体式做法）以及 LLM-as-evaluator（用 LLM 充当评估者）。研究在 Naval Postgraduate School 的 MOVES Institute 完成，学位方向为 Modeling, Virtual Environments, and Simulation，论文指导教师是 Brian M. Wade。验证使用的用例是一份 road-to-war 文档——按作者的说法，这类文书在 DoD 的兵棋推演、作战、训练与分析社群中常被当作想定开发的起点。换句话说，选它并非随手挑一个样例，而是挑了一个有明确格式惯例、有真实使用者的领域文档类型。

关键结果有两条。其一，用这套框架生成的领域文档被专家判定为具有实用性（having utility），并且与一份由人撰写的范例文档之间不存在可辨识的实质差异（not meaningfully distinguishable）。其二，研究据此认为 LLM 能够增强领域内文本生成类的工作流，并能带来可观的时间节省。需要说明的是，摘要层面并没有给出参与评估的专家人数、评分方式、时间节省的比例等量化信息，结论以定性判断的形式呈现，这也是阅读时要有心理准备的地方。

框架内部的技术分工值得留意。RAG 的作用是把领域材料接进生成过程，agentic 做法把单次提示扩展为多步骤流程，LLM-as-evaluator 则试图回答「生成出来由谁来判分」这个卡点——这意味着评估被当作流水线的一等公民，而不是事后的主观印象。作者同时把「发现局限与漏洞」写进研究动机，与「提升效率」并列：一方面要用得更快，另一方面要知道它在哪儿会出错。在军事语境下，这一条并不是附带的谨慎措辞，而是采用之前的必要动作。

这些结论的意义在于，LLM 进入专业文档生产的第一步，可能不是最富创造性的写作，而是格式相对固定、有大量先例可循的文书，road-to-war 正是典型。由此可以推论（这是解读，不是原文结论）：RAG 加评估器的组合能否迁移到格式更松散、判断更多依赖隐性经验的文档类型，仍然是一个开放问题。对实践者更实际的启发，是把「选模型—提示—检索—编排—评估」当成一条需要整体设计的流水线，而不是只调一个提示词；其中评估环节的设计质量，直接决定生成结果能否被专业社群接受。

关心生成式 AI 在国防与仿真训练领域落地的人、需要搭建领域文档生成流水线的工程师，以及做 AI 评估方法的研究者，都能从中取得所需内容：一套可参照的技术组合、一个可复现的验证思路、一条「先证明有用，再谈规模」的路径。读完能拿走的核心不是某个模型的名字，而是把评估嵌进流程的结构性做法。边界也需要讲清楚：公开摘要只报告了单一用例的专家验证结果，没有量化指标、成本数据或失败案例细节，因此「显著节省时间」这一判断在原文之外不宜直接外推。该论文为美国政府作品，按 Distribution Statement A 公开发布、分发不受限制，可从 NPS Archive（Calhoun）获取，URI 为 https://hdl.handle.net/10945/74201。

GENERATION OF DOMAIN SPECIFIC DOCUMENTS USING LARGE LANGUAGE MODEL TECHNIQUES Title GENERATION OF DOMAIN SPECIFIC DOCUMENTS USING LARGE LANGUAGE MODEL TECHNIQUES Item Type Thesis Authors Timm, Charles R. URI https://hdl.handle.net/10945/74201 Publisher Monterey, CA; Naval Postgraduate School Date Issued 2025-06 Rights This publication is a work of the U.S. Government as defined in Title 17, United States Code, Section 101. Copyright protection is not available for this work in the United States. Download date 2026-11-04 22:58:29 Link to Item https://hdl.handle.net/10945/74201 Downloaded from NPS Archive: Calhoun NAVAL POSTGRADUATE SCHOOL MONTEREY, CALIFORNIA DISSERTATION GENERATION OF DOMAIN SPECIFIC DOCUMENTS USING LARGE LANGUAGE MODEL TECHNIQUES by Charles R. Timm June 2025 Dissertation Supervisor: Brian M. Wade Research for this dissertation was performed at the MOVES Institute.