Ebisu日语金融大语言模型基准评测

这份资料要回答的是：大型语言模型到底能不能理解“原生日语金融语言”，尤其是那些靠语境、句末形态和间接表达承载的态度与承诺。日语是黏着语、中心语后置，混合使用多种书写系统，金融沟通又高度依赖委婉表达与隐含承诺，这让拒绝、保留、同意之间的界线很难从字面判断。材料还指出，日本上市公司市值中外资持股在 FY2024 达到 32.4%，日语金融文本已在全球范围被阅读和处理，因此这不是只服务日本国内读者的题目。换句话说，现有跨语言与金融评测追求可比性和规模化监督，偏向短上下文、显式目标和稳定标签，正好容易漏掉这类语用与术语边界问题。

该工作构建了 EBISU 基准，包含两个专家标注任务。JF-ICR 面向投资者问答，识别隐含承诺与拒绝，数据为来自 4 家公司、跨 3 年的 94 组问答，标注为 5 类隐含立场，区分同意、模糊保留和拒绝。JF-TE 面向专业披露中的金融术语抽取，包含来自 10 份披露的 202 个 note-level 实例，共 2,412 个专家整理术语提及，归一化后覆盖 777 个唯一金融术语，重点考察嵌套复合词和书写变体造成的术语边界与语义范围。两个数据集都由受过金融训练、母语级日语标注者依据详细指南标注，每条独立双标注，分歧由资深专家裁定，并报告标注者间一致性及基于审计的质量检查。评测上，JF-ICR 以 Accuracy 为主，JF-TE 作为排序检索任务，在精确匹配下用 F1 和 HitRate@K（K=[1/5/10]）衡量；作者评估了 22 个开源与专有模型，数据与评测脚本公开。

关键发现是整体得分偏低，即使当前最强的系统在两个任务上也吃力。作者做了同模型家族内、规模匹配的比较，发现增大模型规模能稳定提升表现：JF-ICR 的 Accuracy 提升 +0.33，JF-TE 的 F1 提升 +0.38。但材料同时强调，这些收益仍然有限，并没有把任务推到容易解决的程度。换句话说，参数变多能带来方向一致的改善，却不足以弥补日语金融语用和术语边界带来的困难。

更值得注意的是语言与领域适配的效果并不稳定。按材料，日语适配模型在同等规模下并不总是优于英语对应模型；继续做金融领域预训练甚至可能让性能下降，JF-TE 上出现 -0.12 F1 的退化。作者据此指出，规模、日语适配和金融适配都留下了明显缺口；与既有基准的对比也显示，EBISU 同时覆盖日语、金融、语言现象、语用理解和金融文化知识，而现有基准往往只覆盖其中一部分。这意味着 EBISU 想补的是“原生语言文化 grounding”这一层，而不是再做一个通用金融问答模板。

这些结论的实践含义是，处理日语投资者问答和披露文本时，不能默认“更大的通用模型”或“日语/金融微调模型”就会自动读懂隐含态度与术语嵌套。对投资者沟通而言，拒绝和承诺常通过句末形态与语境间接表达，误判会直接影响问答分析和合规审阅；对披露处理而言，混合文字和嵌套复合词会让术语边界不稳定，进而影响抽取与排序。该工作公开数据与评测脚本，意味着后来者可以复现任务、比较模型，并把语用和术语边界作为单独的诊断维度。我的解读是，它更像一张“能力缺口地图”，而不是一个已经解决的方案。

适合做日语金融 NLP、LLM 评测、金融文档处理与跨语言金融信息提取的读者；读完可以拿走三样东西：两个任务的操作化方式、一套双标注与专家裁定的质量控制流程，以及 22 个模型在规模、日语适配、金融适配三个维度上的总体表现图景。边界也要看清：JF-ICR 只有 94 组问答、JF-TE 只有 202 个实例，覆盖的是作者选定的两类高难现象，不能代表日本金融语言理解的全部；材料给出的是总体趋势和部分增减数字，并未展开完整榜单与逐模型结论。因此，把它当作评测设计的参考和问题清单更合适，而不是当作某一模型能力的最终判决。

EBISU: Benchmarking Large Language Models in Japanese Finance Xueqing Peng2, Ruoyu Xiang3, Fan Zhang4, Mingzi Song5, Mingyang Jiang2, Yan Wang2, Lingfei Qian2, Taiki Hara1, Yuqing Guo2, Jimin Huang1,2, Junichi Tsujii6, Sophia Ananiadou1,7 1University of Manchester, 2The Fin AI, 3New York University, 4The University of Tokyo, 5Meiji Gakuin University, 6National Institute of Advanced Industrial Science and Technology (AIST), 7The National Centre for Text Mining Correspondence:[email protected] Abstract Japanese finance combines agglutinative, head- final linguistic structure, mixed writing sys- tems, and high-context communication norms that rely on indirect expression and implicit commitment, posing a substantial challenge for LLMs. We introduce EBISU, a benchmark for native Japanese financial language understand- ing, comprising two linguistically and cultur-