面向增材制造的域自适应大语言模型

这份资料要回答的是一个相当具体的问题：面对增材制造这样一个术语密集、图文并重的领域，能不能用不大的数据量，把现成的开放权重多模态大模型改造成懂行的专用模型，并且让它在文字和图像两类任务上都站得住。作者给出的路线是域自适应预训练加视觉指令微调，基座选的是 Gemma 3、Qwen 3、Gemma 4 的指令微调版本。之所以现在值得翻，是因为增材制造里大模型的应用已经铺开——知识检索、参数选择、工艺优化，乃至放进代理系统做规划——但据作者所知，还没有工作在语言和视觉两个空间里同时用持续预训练加指令微调做域适应。

覆盖面可以分三层看。数据层是开放获取的增材制造期刊文章，从中抽取文本与图像用于训练，总量约 5000 万 token，作者自己称其为相对较小的数据集；模型层包括 Gemma 3（12B）、Qwen 3（8B）与 Gemma 4（31B），都建立在各自的指令微调版本之上；流程层是先做域自适应预训练（DAPT），文本与视觉模态同时进行，再做视觉指令微调（VIT），VIT 阶段的描述与对话提示由 GPT-OSS 120B 借助从文章中提取的图注生成。评估不依赖通用榜单，而是用作者提出的 Additive-Manufacturing-Benchmark，题目从已发表资源汇编而来。

关键数字不多，但指向明确。在一般性增材制造知识上，域适应并指令微调后的模型准确率超过 90%；作者同时报告这些模型在基于语言和基于视觉的任务上都表现出熟练度。基准里被点名的任务有三类：熔池尺寸预测、异常识别、增材制造通识。换句话说，考核的不只是背知识点，还包括从图像判断工艺状态这类更接近现场的工作。

和已有工作放在一起看，差别更容易看清。AdditiveLLM 走的是微调路线，用 MeltpoolNet 数据集和 FLOW-3D 模拟数据，微调了 DistilBERT（66M）、SciBERT（110M）、T5-Small（60M）和 Llama 3.2（1B），在给定自然语言格式工艺参数的条件下预测激光粉末床熔融的缺陷区（keyholing、lack of fusion、balling 或 none），最好成绩是 DistilBERT 的 82%。Fang 等人则用上下文学习，把摄像头拍到的树脂槽图像连同正负样本和文字说明一起喂给 GPT-4o，判断当前层正常还是异常。这份工作的位置在两者之间偏重训练一侧：参数量级到 8B–31B，且把视觉模态纳入了训练而非仅作提示。

这意味着什么。作者论证 DAPT 相对检索增强生成的一个实际好处：领域知识多为静态的期刊文章、图表、教科书，把它压进参数里，生成回答时就不必每次让检索段落占用对话上下文；RAG 的长处则在动态数据，比如事件、机器日志、数据库更新。另一层动机是部署，国家安全、患者数据、环境限制等场景需要边缘或本地方案，权重可得的开放模型更适合这条路。解读一下：这套两阶段流程的价值不只在结果，更在于它把领域专门化拆成了可复制的操作步骤——选开放权重基座、小规模持续预训练、用合成提示做视觉指令微调、再用自制基准分阶段验收。

读这份资料的人，多半是想给某个垂直领域做模型专门化的工程师，或者正在为增材制造挑一个能读写图文的基础模型的研究者；能拿走的是两阶段流程的具体组织方式、一个按任务而非按榜单设计的领域基准思路，以及 8B 到 31B 这一量级在领域适配上的可行性证据。边界也要说清楚：数据规模约 5000 万 token，属于作者自述的小数据设定；基准由已发表资源汇编，材料里只给了通识任务超过 90% 这一汇总数字，各分项得分、与未适配基座的逐项对比以及真实部署中的表现，都不在可见范围内。据作者所知尚无同类工作，这是作者的文献检索判断，读者若要据此定位创新点，最好自行复核。

Domain Adapted Large Language Models for Additive Manufacturing Peter Pak† and Amir Barati Farimani∗,†,‡ †Department of Mechanical Engineering, Carnegie Mellon University, Pittsburgh, PA, USA ‡Machine Learning Department, Carnegie Mellon University, Pittsburgh, PA, USA E-mail: [email protected] Abstract This work presents a collection of multi-modal domain adapted large language mod- els built upon the instruction tuned variants of open weight models (Gemma 3, Qwen 3, Gemma 4) using a relatively small dataset of around 50 million tokens. The dataset consists of open-access additive manufacturing journal articles with data extracted for the domain adaptive pretraining and visual instruction tuning processes. Various stages of the developed model are evaluated with theAdditive-Manufacturing-Benchmark which consists of additive manufacturing domain specific tasks compiled published re-