分辨率与对等控制的无人机电力线巡检VLM可信评估基准

视觉语言模型（VLM）在无人机电力线缺陷评估中常被报告优于任务专用视觉骨干，这一说法现在值得重新核对。原因不在模型本身，而在支撑结论的实验约定：测试文件、被评估条目、标签空间、复现次数、输入分辨率、侧信息，六项选择中任何一项没有被报告或控制，都可能改变排名方向。这份资料以 ElecVQA-Bench 为基地逐项审计上述选择，最终给出的不是“哪一族更强”的定论，而是一套可复用的对照协议，以及一句更克制的判断——现有证据支持的是基准审计层面的贡献，而非 VLM 优越性的一般主张。

ElecVQA-Bench 共 56,972 条，源自公开的 InsPLAD 数据集。作者围绕六个维度组织对照：划分方式、评估条目集、标签空间、复现、输入分辨率与侧信息，并为每一处跨家族比较附上明确判定。方法上既有在匹配测试文件上的重新打分，也有像素预算审计、crop 与 image 级别的重训练、按塔聚类的测试，以及 14 塔三种子复现。一个容易被忽略的前提是，VLM 一侧还额外获得资产名称、缺陷决策树和每资产候选选项列表，视觉分类器只拿到像素与固定标签集，因此材料把所有跨家族比较都定义为系统级比较，而非纯粹的模型能力比较。

最直观的发现来自划分。早期比较把两个家族放在不同测试文件上评分：视觉骨干用 7,851 条七类文件，VLM 用 2,021 条二分类文件，由此得到 13 到 15 分的 VLM 领先；把视觉骨干放回同一份 2,021 条文件、其他条件不变地重打分，差异消失。在匹配划分下，Swin Transformer 与最强适配 VLM 在二分类筛查上只差 0.03 分。分辨率是第二条线索：VLM 预处理器按 448 px 平铺，InternVL3.5-8B 在 T3 条目上平均使用 2.94 个 patch，聚合像素预算相当于 768 px 方图，而视觉骨干惯用 224×224。在七类缺陷分型上，把骨干提升到接近该预算的分辨率，对 InternVL3.5-8B 的差距从 +20.53 变为 −0.57 分（ResNet-50），从 +23.67 变为 +4.70 分（Swin-T）。

分辨率并不能解释全部。像素预算审计改动了 Qwen 7,284 个输入中的 4,472 个，使其宏召回移动 10.78 分；但源像素匹配的 InternVL 对照改动 4,699 个输入后，Qwen 仍在每个设置下领先 7.43 到 13.61 分，同时少用 56% 的视觉 token——换句话说，源像素和 token 预算都不足以解释两个 VLM 之间的差距。复现同样敏感：两 seed 全局复现使 Qwen 的二分类准确率和七类宏召回分别变化 0.86 和 1.02 分；14 塔三种子复现让塔级比较的符号在 seed 间反转，ResNet-50 在三个匹配 seed 中两个领先，seed 标准差为 0.5 分对 6.2 分。重新训练后 Qwen 在 crop 或 image 级别不再领先，common-six 宏召回为 0.9085，对 ResNet-50 的 0.9509。材料还记录，标签空间和评估条目集若不控制，比较结果可移动超过 10 分。

这些结果的含义是，跨家族排序对实验约定高度敏感，模型家族的差别未必大于划分构造与随机种子的影响。作者据此指出，没有任何划分机制能产生通过多重比较校正的家族级优势；这意味着在 UAV 巡检场景里，把 VLM 的领先当作既定前提去做选型，依据并不牢固。弃权是另一个实践盲点：基准提供显式的“cannot judge”选项，零样本模型大量使用它，有一个模型对 20% 的缺陷条目不判，而把弃权定价为零的风险函数会系统性奖励这种行为。材料还提示，成本敏感排序具有流行率条件性，在构造基准上得到的交叉成本比不能直接迁移到现场流行率，两者相差两个数量级。

读这份资料，能拿走一套可直接对照的评估清单：测试文件是否一致、条目集与标签空间是否对齐、分辨率与像素预算是否报告、复现了几次、模型是否拿到额外侧信息、弃权如何计入风险；它也提醒读结果的人，在把“VLM 更强”当作结论之前先追问这些约定。需要留意结论的边界：tower-disjoint 重训练只提供同一源数据集内新塔表现的有限检验，原始划分存在明显的源照片依赖，主要用于配对诊断比较；材料本身也把贡献定位为基准审计，而非对 VLM 能力的普遍判断。

Beyond Balanced Accuracy: A Resolution- and Parity-Controlled Benchmark for Vision–Language and Vision-Only Defect Assessment in UA V Power-Line Inspection Linghao Zhang 1,2, Siyu Xiang 1,2, Junwei Kuang 1,2, Peiyu Yi 1,2 1State Grid Sichuan Electric Power Research Institute, Chengdu 610041, China 2Power System Security and Operation Key Laboratory of Sichuan Province [email protected], [email protected] [email protected], [email protected] September 21, 2026 Abstract Vision–language models (VLMs) are often reported to outperform task-specific vision back- bones for unmanned aerial vehicle (UAV) power-line defect assessment. We test that claim on ElecVQA-Bench, a 56,972-item benchmark derived from the public InsPLAD dataset, across six evaluation choices: partition, evaluated item set, label space, replication, input resolution, and side information.