低比特量化：权重误差与部署容量

位宽不等于部署能力

把权重存储从 16 位压缩到 4 位，理论权重载荷可以缩小到四分之一，但量化尺度、分组元数据、对齐和未量化层会增加开销。KV cache 和激活也不会因为权重压缩而自动同比缩小。

部署到 NPU 还依赖算子覆盖、数据布局、动态形状和编译器支持。不能仅凭设备标称算力判断模型可用，更不能把 CPU 上运行的量化示例称为 NPU 加速实现。

对称量化的小例子

以下代码使用有符号整数范围 -7 到 7 演示量化误差。它不执行 nibble 打包，也不实现 AWQ、GPTQ 或任何硬件 kernel。

import assert from "node:assert/strict";
function quantize(values) {
  const max=Math.max(0,...values.map(Math.abs));
  const scale=max===0?1:max/7;
  const integers=values.map(x=>Math.max(-7,Math.min(7,Math.round(x/scale))));
  return {scale,integers,restored:integers.map(x=>x*scale)};
}
assert.deepEqual(quantize([0,0]).restored,[0,0]);
const q=quantize([-1,0,1]);
assert.deepEqual(q.integers,[-7,0,7]);
assert.ok(q.restored.every((x,i)=>Math.abs(x-[-1,0,1][i])<1e-10));

校准与回归测试

离群值会放大统一尺度，使小权重的分辨率下降。分组量化可以缓解，但需要额外元数据与加载支持。校准集应该覆盖真实输入分布，不应只使用短的英文问答去验证长中文代码场景。

验收应同时记录任务质量、首 token 延迟、持续速度、峰值内存和功耗。比较结果时固定上下文、输出长度、线程数和温控条件。量化失败可能表现为质量下降，也可能只是运行时不支持某个算子。

原始资料

LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale：离群值和低精度计算背景。本文的 4 位标量示例不是该方法的复现。

感谢阅读本文

如果你觉得内容有帮助，欢迎点赞支持或分享给同行开发者。

645 次阅读25 人赞过