Google Gemma 2 架构创新：滑动窗口交替注意力与软截断 Logit

轻量级模型的以小博大

Google Gemma 2 在 9B 和 27B 参数尺度上实现了极高的性能密度，甚至能够与参数量翻倍的大模型正面对抗。这一跃迁不仅来自于高质量知识蒸馏，还得益于模型底层对传统 Transformer 注意力公式的多项数学级微调。

Logit 软截断 (Soft-Capping) 与交替注意力层

Gemma 2 引入的核心创新包括：

1. Logit Soft-Capping（双曲正切软截断）：传统注意力矩阵中的 $QK^T / \sqrt{d_k}$ 在深层网络中可能数值过大导致 Softmax 梯度饱和。Gemma 2 在 Softmax 之前引入 $v \tanh(\text{logits} / v)$，将注意力 Logit 限制在 $[-v, v]$（通常 $v=50$ 或 $v=30$）区间，极大增强了训练数值稳定性；
2. 交替局部滑动窗口注意力 (Sliding Window Attention)：在网络中交替排列“局部滑动窗口层”（Window Size = 4096）与“全局注意力层”，在降低一半计算量的同时维持全局长程感受野；
3. 基于 Gemini 的知识蒸馏 (Knowledge Distillation)：小模型在训练时直接拟合超大旗舰模型的 Logits 概率分布，极大加速收敛。

Logit Soft-Capping 数学公式验证

import assert from "node:assert/strict";
function softCap(logit, cap = 50.0) {
  return cap * Math.tanh(logit / cap);
}
assert.ok(softCap(1000) <= 50.0);
assert.ok(softCap(-1000) >= -50.0);

原始资料与溯源链接

• Gemma 2 Technical Report：Google 官方发布的 Gemma 2 蒸馏与核心架构创新技术报告。