OpenAI o1/o3 推理时间计算扩展律：过程奖励模型与长思维链演化

从预训练扩展到测试期推理扩展 (Test-Time Compute)

在过去数年，大语言模型的性能提升主要依赖“预训练缩放定律（Chinchilla Scaling Laws）”——即增加参数量和预训练数据量。然而随着全球高质量人类文本的逐渐耗尽，边际效益开始递减。

OpenAI o1 与后续 o3 系列标志着全新范式的确立：Inference-Time Scaling（测试期计算扩展）。在给出最终结论之前，允许模型消耗更多的推理 Token，进行自主假设、纠错、反思和尝试多条推理分支，从而在复杂数学、逻辑证明和代码架构问题上达到人类专家级水平。

过程奖励模型 (PRM) 与树搜索机制

促成长思维链稳定展开的关键组件包括：

1. 结果奖励模型 (ORM) 的局限：传统的 ORM 仅根据最终答案的对错给出打分，面对百步复杂的推导容易产生奖励稀疏或归因错误；
2. 过程奖励模型 (PRM, Process Reward Model)：针对思维链中的每一个推导步骤（Step-level）给出正确性打分，使得蒙特卡洛树搜索（MCTS）或自适应束搜索（Beam Search）可以精准剪枝错误分支；
3. 隐式反思标记 (Self-Correction Triggers)：模型在遇到矛盾逻辑时，学会主动触发“Wait, let me rethink this”或“Let me double check the boundary condition”，形成自我纠正闭环。

纯 JS 模拟步骤级状态评估与分支剪枝

以下代码展示了过程奖励模型在多步长链推导中的状态评估与贪心剪枝逻辑：

import assert from "node:assert/strict";
function evaluateReasoningPath(steps, threshold = 0.6) {
  for (let i = 0; i < steps.length; i++) {
    if (steps[i].score < threshold) return { valid: false, failedAt: i };
  }
  return { valid: true };
}
const trajectory = [{ score: 0.9 }, { score: 0.8 }, { score: 0.3 }];
const r = evaluateReasoningPath(trajectory);
assert.equal(r.valid, false);
assert.equal(r.failedAt, 2);

生产落地的安全与成本考量

1. Token 消耗爆炸与延迟容忍度：长思维链可能单次响应消耗 5000+ 推理 Token，端到端延迟通常在 10~60 秒，需要异步任务队列与状态提示器支持；
2. 隐藏式 CoT 与知识产权保护：出于防止蒸馏攻击与用户体验平衡，前沿服务通常对原生思维链进行加密折叠或仅展示摘要；
3. 过度思考（Overthinking）风险：在简单的常识性问答中盲目拉长推理链不仅增加算力开销，还可能导致“画蛇添足”的逻辑谬误。

原始资料与溯源链接

• Learning to Reason with LLMs：OpenAI o1 系列模型的推理计算扩展律官方研究介绍。