拒绝“熵崩塌”和“熵爆炸”，这项研究让大模型学会“精确探索”，推理成绩飙升

量子位·2025年10月13日 19:30

推理模型训练新思路有了

大语言模型在RLVR训练中面临的“熵困境”，有解了！

2024年以来，以OpenAI o1、DeepSeek-R1、Kimi K1、Qwen3等为代表的大模型，在数学、代码和科学推理任务上取得了显著突破。这些进展很大程度上得益于一种名为RLVR （基于可验证奖励的强化学习）的方法。

该方法通过数学验证、单元测试等可自动判断对错的方式提供训练信号，替代了传统依赖人类评判的流程，使模型能够进行大规模、高效率的自我改进。

然而，RLVR在实践中始终面临“探索机制极易失衡”这一关键瓶颈——要么探索受限，陷入熵崩塌；要么探索失控，引发熵爆炸。

为突破这一瓶颈，来自上海人工智能实验室和复旦大学等机构的研究团队提出选择性熵正则化方法（SIREN），通过划定探索范围、聚焦关键决策、稳定训练过程的三重机制，实现了对探索行为的精准调控。

实验证明，该方法不仅在多项数学推理基准上取得了显著性能提升，更重要的是，它让模型的探索过程变得更加高效与可控。

下面详细来看——

核心困境：探索的“两难陷阱”

在RLVR训练中，研究人员期望模型能够持续探索多样化的解题路径，以避免过早陷入局部最优。

一个自然的想法是：引入熵正则化（entropy regularization）。

这是强化学习中鼓励探索的经典手段。其核心思想很简单：在优化目标中加入一项，鼓励模型在每一步生成时保持一定的“不确定性”，不要过早把概率全压在少数几个词上。

具体来说，就是计算每一步输出分布的熵（衡量“混乱程度”），再把整条推理轨迹的平均熵加到训练目标里，用一个系数𝛽控制探索强度。

以下公式分别为：熵的计算公式及熵正则的优化目标。

然而，这一策略在大型推理模型（LRM）的复杂场景下却极易走向两个极端：

探索受限（熵崩塌）

当𝛽太小，熵项几乎不起作用，模型迅速退化为近似确定性策略。平均熵迅速收敛，即发生熵崩塌。几轮训练后，所有回答都高度相似，陷入“舒适区”。这种熵崩塌现象不仅扼杀了模型的多样性，也使其推理能力在训练早期就触及天花板，无法充分释放潜力。

探索失控（熵爆炸）

反之，当𝛽稍大，模型便极易在庞大的动作空间（数十万个token）与超长的推理轨迹（上千步生成）中失控。根据熵的定义，当概率分布越“平”，熵就越高。而在如此庞大的词表中，哪怕只把一点点概率质量从高义词（如“因此”）挪到无意义词（如“<”“#@$%”），也能带来显著的熵增。

更糟的是，在自回归生成中，这种不确定性会沿着轨迹逐步累积——早期几步的微小混乱，会迅速放大为整条推理链的失控。最终使得模型为了“拉高熵”，在每个位置、对每个token都分配一点概率，导致生成内容充斥无意义符号，逻辑断裂、语义崩坏——这就是典型的熵爆炸（entropy explosion）。

传统方法会失效的根本原因在于：熵正则化的激励是“无差别”的——它假设所有token、所有位置都同等值得探索。但LRM的生成过程具有鲜明的结构性：

在每个生成步骤上，仅有概率排名靠前的少数token具备语义合理性，其余绝大多数token概率趋近于零且无实际意义；

在整个生成序列中，仅有少数承担逻辑枢纽作用的关键词（如逻辑连接词、变量名、结论引导词）真正影响推理走向，而大量用于句法填充的常规词则应保持高确定性，以维持推理连贯性。

正因忽略了这种“探索价值的非均匀分布”，传统熵正则化不仅难以有效引导探索，反而容易引发训练不稳定，甚至背离提升推理能力的初衷。

下图表明，训练前模型的概率分布高度集中，且只有少量位置在逻辑上关键，值得探索；过度探索后概率被摊薄，生成内容混乱。