Plutus：低资源希腊语金融大模型评测基准

希腊在全球贸易和航运中占什么位置，与它在大模型研究里被覆盖的程度之间，存在明显落差。材料开篇指出，希腊语是欧盟官方语言之一，也是希腊商船队的支配性语言，而希腊商船队控制着全球超过 20% 的商船运力，因此希腊的监管申报文件、海运贸易记录、经济报告都具有国际相关性。但这些文本的处理一直不顺：希腊语形态复杂、屈折变化多、正字法独特，与英语、中文这类高资源金融语言差别很大，给金融信息抽取、实体识别和数值推理带来额外困难。与此同时，多语言金融 NLP 的既有努力已经暴露出明显的性能差距，而在此之前，既没有专门的希腊语金融评测基准，也没有面向希腊语的金融大模型。Plutus 这份工作要回答的正是这个缺口：低资源语言的金融能力，究竟能不能被系统地测量和改进。

Plutus 的做法可以拆成两部分：基准与模型。基准 Plutus-ben 被材料称为第一个希腊语金融评测基准，覆盖五项核心任务：数值与文本命名实体识别、问答、抽象摘要、主题分类。其中金融数值 NER 和金融问答是首次在希腊语中引入，用来考察模型抽取、理解并推理希腊语金融文本的能力。支撑这些任务的是三个新构建的高质量希腊语金融数据集 GRFinNUM、GRFinNER、GRFinQA，每个都由具备金融与语言学专业能力的希腊语母语专家按严格统一的标注规范完成标注，并保证标注者之间的一致性；数据来源包括希腊语财务报告和大学考试，另有两个既有资源 GRFNS-2023 与 GRMultiFin 作为补充。另一部分是 Plutus-8B，材料称其为首个希腊语金融大模型，用希腊语领域特定数据微调，目的是检验在希腊语金融数据上微调究竟能带来多少提升。

评测规模值得单独一提：作者在 Plutus-ben 上系统评测了 22 个模型。模型谱系横跨多个开源与闭源系列，包括 LLaMA-3.2-1B、LLaMA-3-8b、LLaMA-3.1-8b、LLaMA-3-70B、Qwen2.5-1.5B、Qwen2.5-7B、Qwen2.5-32B、Qwen2.5-72B、Gemma-2-2B、Gemma-2-9B、Gemma-2-27B、Mistral-7B、Deepseek-V3、GPT-3.5-Turbo、GPT-4o-Mini、GPT-4o、GPT-4，以及金融或希腊语方向的 Finma-7B、FinLLaMA-8B、Meltemi-7B、Llama-Krikri-8B 和 Plutus-8B。这份名单本身就说明评测没有只挑小模型做对比，而是把通用大模型、金融微调模型和希腊语模型放在同一张雷达图上。材料还提到，Meltemi 是第一个现代希腊语大模型，但缺少金融领域适配；既有希腊语数据集聚焦通用 NLP 任务，捕捉不到金融应用所需的领域术语和数值推理。这意味着此前的希腊语模型能力与金融场景之间存在错位。

关键数字集中在性能对比上。材料给出的结论是 Plutus-8B 在 Plutus-ben 上取得最佳表现，相对 GPT-4 高出 15.38%，相对 GPT-4o 高出 46.34%，相对 Deepseek-V3 高出 93.55%。需要说明的是，材料并未交代这些百分比对应的具体任务、平均方式或统计口径，因此只能把它们理解为该基准上的整体领先幅度，不宜外推到其他希腊语或金融任务。另一组结论是定性的：对 22 个模型的综合评测显示，希腊语金融 NLP 依然困难，原因包括语言本身的复杂性、领域特定术语，以及金融推理能力的不足。作者由此强调三点：跨语言迁移存在局限；在希腊语上训练的模型需要金融专业知识；把金融大模型适配到希腊语文本并不容易。换句话说，通用能力的强弱并不能直接换算成希腊语金融场景下的表现。

这些结论对实践的含义，材料指向得比较明确。第一，跨语言迁移不能默认有效——多语言模型在希腊语金融文本上的表现差距是实测出来的，而不是假设出来的，因此在希腊语金融场景里直接套用英文或中文金融模型，需要先做基线测量。第二，领域适配与语言适配是两件事：Meltemi 解决了现代希腊语建模，但没有金融适配；Finma-7B、FinLLaMA-8B 这类金融模型又未必覆盖希腊语。Plutus-8B 的价值在于把两者叠加，并且这种叠加带来了可测量的收益。第三，可复现的评测本身是基础设施：五项任务、专家标注数据、统一规范，使得不同模型之间的比较有共同尺度。作者表示将公开 Plutus-ben、Plutus-8B 及相关数据集，以推动可复现研究并促进金融领域的多语言包容性，这对想进入希腊语金融 NLP 的团队而言，降低的是起步门槛而非难度。

材料显示，这项工作面向的是关注多语言金融 NLP、低资源语言评测以及金融大模型适配的研究者与工程团队。读完能拿走的东西大致有三样：一个明确的缺口陈述——希腊语金融此前既无专用基准也无专用模型；一套可复用的任务与数据设计，五项任务加三个专家标注数据集，另加两个既有资源；以及一组可对照的基线数字，22 个模型在同一基准上的表现，其中 Plutus-8B 相对 GPT-4、GPT-4o、Deepseek-V3 分别高出 15.38%、46.34%、93.55%。解读上需要注意边界：这些领先幅度是 Plutus-ben 这一基准内部的比较，材料没有给出各项任务的细分结果，也没有说明标注规模、数据量级和评测细节；希腊语金融 NLP 被描述为“依然困难”，说明基准本身并未被解决，公开的模型与数据更像是起点。若要把结论用于实际系统选型，仍应回到原始论文与公开数据集核对任务定义和评测设置。

Plutus: Benchmarking Large Language Models in Low-Resource Greek Finance Xueqing Peng The Fin AI USA [email protected] Triantafillos Papadopoulos Athens University of Economics and Business, Archimedes/Athena RC Athens, Greece [email protected] Efstathia Soufleri Archimedes/Athena RC Athens, Greece [email protected] Polydoros Giannouris The University of Manchester Manchester, UK [email protected] Ruoyu Xiang The Fin AI USA [email protected] Yan Wang The Fin AI USA [email protected] Lingfei Qian The Fin AI USA [email protected] Jimin Huang The Fin AI USA [email protected] Qianqian Xie The Fin AI USA [email protected] Sophia Ananiadou The University of Manchester Manchester, UK Archimedes/Athena RC Athens, Greece [email protected] Abstract Despite Greece’s pivotal role in the global economy, large language