大模型量化的基本原理是什么？

1. 数值精度映射

量化的数学本质是将连续的高精度浮点数值映射到有限的离散整数空间，通常使用仿射变换实现：Q(x) = clamp(round(x/s + z), q_min, q_max)。其中x为原始浮点数，s为缩放因子（scale），z为零点（zero-point），q_min和q_max为整数表示范围。反量化过程为D(Q(x)) = (Q(x) - z) × s，在推理时将低精度值还原参与计算。

2. 对称与非对称量化

对称量化的零点固定为0，计算效率高但对非对称分布的数据敏感；非对称量化的零点可调整，能更精确匹配数据分布但需要额外的零点存储和计算开销。实际应用中，权重量化多采用对称方式，激活量化则根据数据分布特性选择。

3. 量化粒度

量化粒度决定了scale和zero-point的共享范围，直接影响精度和计算效率。Per-Tensor量化整个张量共享一组参数，计算简单但精度较低；Per-Channel量化每个输出通道独立计算参数，精度更高适合权重量化；Per-Group量化将通道划分为多个组（典型group size为64或128），每组独立量化，在精度和效率间取得平衡，是AWQ、GPTQ等先进算法的基础。

4. 浮点与定点表示

深度学习中的数值表示主要分为浮点数（FP32/FP16/BF16/FP8）和定点整数（INT8/INT4/INT2）。FP16需要约140GB显存存储70B参数模型，INT8可压缩至70GB，INT4进一步降至35GB。FP8在NVIDIA Hopper架构（H100/H200）和Blackwell架构上获得硬件原生支持，可在Tensor Core上直接计算无需反量化，精度损失小于1%的同时推理速度比FP16快约33%。