多网格量化大语言模型的网格博弈力量

微缩放（microscaled）4-bit 格式 NVFP4 与 MXFP4 是量化领域近来的重要进展：它们把张量切成通常 16 或 32 个值的小组，每组共享一个 scale，组内归一化后的数值由一份固定的低比特码本表示。于是关键设计问题变成：稀缺的 4-bit 预算究竟该分配给哪一套网格？现有的 INT4 均匀网格、FP4 E2M1、面向高斯权重的 NF4，以及 Lloyd–Max 和学习码本方法，基本都默认网格事先固定。这份资料研究一个正交的扩展：为每组值准备两套或更多 4-bit 网格，用 scale 中的一位或多位标记，从中挑出「更好」的那一套。硬件开始支持 NVFP4/MXFP4，使 4-bit 量化不仅服务推理也进入训练，这个问题的时机因此变得具体。

覆盖范围从理论一直延伸到 kernel。理论侧，作者形式化多码本分块（组）量化问题，指出它在一般情形下是 NP-hard，并给出竞争分析框架，借凹性论证把某个网格族在一个分布上可达到的损失，与同一分布上最佳单一可学习网格联系起来；同时证明在组非常大的极限下，多网格的优势会消失。实践侧，作者实例化并考察四个网格家族：MPO2、PO2(NF4)、PO2(Split87) 与 SFP4。评估分三类：拟合标准分布、标准开放模型的训练后量化（PTQ），以及 Llama-like 小模型的预训练，且同时覆盖 weight-only 与 weight+activation 两种设置。源码已在 github 公开。

理论分析给出的核心直觉是组大小的分水岭。组很大时，每个块看到的归一化分布几乎相同，一套精心挑选的网格就够了；而在实践中使用的 16 或 32 这类小组里，归一化后的组是异质的——可能是含离群值的 spiky 组，也可能是若干项量级相近的 flat 组，专门的双码本量化器可以依据组统计在网格间切换，利用这种二分。作者用 IF4 作对照：每组在 INT4 与 FP4 之间二选一确实有用，但次优，其误差大致比该模型上最佳单一可学习网格差 10%。他们同时指出，BOF4 的 signed-normalization 变体 BOF4-S 可看作网格对 (G,−G) 的双网格特例，只是选择器并非按误差最小来定，而是由最大幅值项的符号决定；因此 BOF4 能与 IF4 这类简单自适应对竞争，却可能输给一般的网格对。

实践侧最值得注意的是 PO2(NF4) 与 SFP4。PO2(NF4) 把标准 NF4 正态网格与一个学习到的（残差）网格配对，作者报告它能超过为该模型或该层单独学习的最佳网格，并把原因归于其自适应性质与正态先验的实际有效性；MPO2 则是在真实权重与激活的池化组上完全学习出的一对网格，PO2(Split87) 是显式零的非对称网格。主打的 SFP4 是一个三元组：保留标准 NVFP4 E2M1 码本，另外加入两个最优平移的 NVFP4 变体。关键之处在于，用 SFP4 做的 matmul 可以在 NVIDIA Blackwell TensorCore 上被正确解码，同时精度与一般学习网格、甚至某些网格对构造相比仍有竞争力。在标准开放模型的 PTQ 与 Llama-like 模型预训练中，自适应网格在 weight-only 和 weight+activation 两种设置下，相对单网格 FP4 都稳定提升精度。

这些结论对实践的含义比较直接。既然收益只出现在实际使用的小组尺寸上，那么在 MXFP、NVFP 这类小格式里多花一两位 scale 来标记网格选择，读起来是一笔用少量元数据换精度的交易；反过来，如果组开得很大，就不必为多网格付出实现复杂度。SFP4 的路线尤其值得注意：它不改动 E2M1 的取值，只增加偏移副本，因而对现有 Blackwell 张量核心流水线最友好，说明「可解码性」不构成障碍。换个角度说，网格设计从「选一套最好的固定码本」变成了「设计一个小而互补的码本集合，并让每组自己挑」，这为格式设计留出了新的自由度。

这份资料适合做量化格式、kernel 与训练/推理部署的工程师，也适合关心码本与舍入误差设计的研究者；读完可以拿走三样东西：PO2 问题的形式化与「大组无益」这一理论边界，一组可直接对比的网格家族构造，以及 SFP4 这种硬件可实现的样例。边界也需要说清楚：一般情形 NP-hard，理论结论主要落在极限分析与竞争分析框架上；经验评估限于标准开放模型的 PTQ 与 Llama-like 小模型的预训练，材料没有展开各基准的具体数值，唯一给出的量化对比是 IF4 相对最佳单一学习网格约 10% 的误差差距。作为预印本，这些结论还需更多独立复现来确认。

Grid Games: The Power of Multiple Grids for Quantizing Large Language Models Vage Egiazarian∗ ISTA Erik Schultheis∗ ISTA Andrei Panferov ISTA Earl Killian Aril Computer Torsten Hoefler ETH Zürich Dan Alistarh† ISTA & Red Hat AI Abstract A major recent advance in quantization is given by microscaled 4-bit formats such as NVFP4 and MXFP4, quantizing values into small groups sharing a scale, assuming a fixed floating-point grid. In this paper, we study the following natural extension: assume that, for each group of values, we are free to select the “better” among two or more 4-bit grids marked by one or more bits in the scale value. We formalize thepower-of-two-grids (PO2)problem, and provide theoretical results showing that practical small-group formats such as MXFP or NVFP can benefit significantly from PO2 grids, while the advantage vanishes for very large groups.