MiniMax abab 6.5：MoE 线性注意力变体与多模态全双工语音协同

打破自注意力的 $O(N^2)$ 计算诅咒

标准自注意力机制的计算与显存复杂度随序列长度呈二次方级上升，这在处理包含海量长音频流、连续语音对话的多模态场景中成为严重瓶颈。

MiniMax 推出的 abab 6.5 系列大模型在 MoE 结构中深度融合了线性注意力（Linear Attention）与高效局部注意力变体，成功将长序列注意力计算复杂度降低至近乎线性 $O(N)$。

线性注意力的核函数映射机制

线性注意力通过核技巧将注意力的矩阵乘法顺序重新结合： $$\text{Attention}(Q, K, V) = \phi(Q) (\phi(K)^T V)$$ 使得 $\phi(K)^T V$ 可以像循环神经网络的隐藏状态一样跨时间步递推更新，推理时不再需要完整缓存每个历史 Token 的 $K, V$ 张量，大幅节省了流式实时语音的延迟与显存开销。

结合原生端到端拟真语音合成（TTS），abab 6.5 能够像真人一样感知语调、呼吸声和实时打断。

纯 JS 模拟线性注意力的状态增量更新

import assert from "node:assert/strict";
function linearAttentionStep(sPrev, k, v) {
  return sPrev + k * v;
}
assert.equal(linearAttentionStep(10, 2, 5), 20);

原始资料与溯源链接

• MiniMax 技术动态与开放平台：关于 MoE 与全双工智能交互语音系统的官方架构介绍。