攻克AI推理难题！清华团队提出学习“新范式”

【导语】大语言模型（LLM）能否真正推理尚存争议，现有强化学习（RL）方法在提升其推理能力时，常面临奖励信号弱、数据成本高、泛化能力差等难题。清华大学KEG团队提出的ReST-RL新范式，通过融合改进GRPO算法与价值模型辅助的解码方法，在编程基准测试中展现出更优的推理能力、训练效率与稳定性，为LLM强化学习提供了新思路，但其跨领域泛化能力仍需进一步验证。

大语言模型（LLM）真的会推理吗？业内对此争论不休。

这是因为，当前的 LLM 在面对复杂代码、多步逻辑和抽象任务时依然经常“翻车”，表现出逻辑跳跃、步骤混乱、答非所问等诸多问题。

靠人教？太慢。靠奖励？信号太弱。靠验证？数据太贵。如何兼顾推理能力、训练效率与通用性，已成为业内难题。

针对这些难题，清华大学计算机科学与技术系知识工程研究室（KEG）团队提出了一种统一的 LLM 强化学习（RL）新范式——ReST-RL。该方法通过将改进的 GRPO 算法与精心设计的由价值模型（VM）辅助的测试时解码方法相结合，在提升 LLM 推理(lǐ)能(néng)力(lì)的(de)同(tóng)时(shí)，也(yě)兼(jiān)顾(gù)了(le)效(xiào)率(lǜ)、稳(wěn)定(dìng)性(xìng)与(yǔ)可(kě)拓(tà)展(zhǎn)性(xìng)。

实(shí)验(yàn)结(jié)果(guǒ)显(xiǎn)示(shì)，在(zài) APPS、BigCodeBench 和(hé) HumanEval 等(děng)不(bù)同(tóng)级(jí)别(bié)的(de)知(zhī)名编(biān)程(chéng)基(jī)准(zhǔn)上(shàng)，ReST-RL 的(de)性(xìng)能(néng)优(yōu)于(yú)其(qí)他(tā)强(qiáng)化(huà)训(xun)练(liàn)基(jī)线(xiàn)（如(rú)原(yuán)始(shǐ) GRPO 和(hé) ReST-DPO），以(yǐ)及(jí)解(jiě)码(mǎ)和(hé)验(yàn)证(zhèng)基(jī)线(xiàn)（如(rú) PRM-BoN 和(hé) ORM-MCTS）。

这(zhè)表(biǎo)明(míng)，ReST-RL 在(zài)增(zēng)强(qiáng) LLM 策(cè)略(è)的(de)推(tuī)理(lǐ)能(néng)力(lì)方(fāng)面(miàn)潜(qián)力(lì)巨(jù)大(dà)，且(qiě)为(wèi) LLM 的(de)强(qiáng)化(huà)学(xué)习(xí)路径提(tí)供(gōng)了(le)新(xīn)思(sī)路。

现(xiàn)有RL方法难实现真正推理

越来越多的研究表明，RL 能够提升 LLM 的推理能力，这一方向也成为当前的研究热点。

其中一些方法采用在线 RL，即数据采样与模型更新同步进行，代表性方法为群体相对策略优化（GRPO）；其它方法则主张通过离线采样与筛选机制获取训练数据，这一范式通常被称为自训练，其代表方法是强化自训练（ReST）。尽管训练机制不同，这两类方法均能有效提升 LLM 的推理能力。

奖励模型（RMs）因其在输出验证中的重要作用，正受到越来越多(duō)的(de)关注(zhù)。已(yǐ)有(yǒu)研(yán)究(jiū)表(biǎo)明(míng)，对(duì) LLM 最(zuì)终(zhōng)输(shū)出(chū)进(jìn)行(xíng)验(yàn)证(zhèng)的(de)结(jié)果(guǒ)奖(jiǎng)励(lì)模(mó)型(xíng)（ORM）可(kě)以提升推理准确性。多种过程奖励模型（PRMs）也被用于为中间步骤提供反馈，其验证效果优于 ORM。

然而，这些方法仍存在不足。一方面，以 GRPO 为代表的在线 RL 算法，常因奖励信号差异微弱而导致训练效果不理想。尽管部分研究尝试通过设计逐步奖励或引入简单的动态采样机制缓解该问题，但这往往带来更高的计算成本与较差的泛化能力，也使 RL 算法更为复杂。另一方面，尽管 PRMs 在验证输出方面优于 ORMs，但其训练过程通常依赖高质量的标注数据。由于数据标注成本较高，PRM 的训练数据难以扩展，从而限制了其准确性与可靠性。

有(yǒu)研(yán)究(jiū)提(tí)出(chū)通(tōng)过(guò)蒙(méng)特(tè)卡(kǎ)洛(luò)模(mó)拟(nǐ)（Monte Carlo simulations）估(gū)计(jì)并(bìng)收(shōu)集过(guò)程(chéng)奖(jiǎng)励(lì)。但(dàn)是(shì)，这(zhè)些(xiē)方(fāng)法(fǎ)难(nán)以(yǐ)推(tuī)广(guǎng)至(zhì)更(gèng)复(fù)杂(zá)的(de)推(tuī)理(lǐ)任(rèn)务(wu)，其(qí)对(duì)结(jié)果(guǒ)匹(pǐ)配(pèi)机(jī)制(zhì)的(de)依(yī)赖(lài)也(yě)限(xiàn)制(zhì)了(le)适用范围。

总体来看，现有方法难以在数据采集成本、泛化能力、强化效果与训练效率之间实现全面平衡。

ReST-RL：训练、推理双重优化

ReST-RL 为解决训练奖励差异和 PRM 准确性问题，提供了新的可能。该方法由两个主要部分组成，分别是 ReST-GRPO（基于群体相对策略优化的强化自训练方法） 和 VM-MCTS（基于价值模型的蒙特卡洛树搜索）。

图｜ReST-RL 框架

ReST-GRPO 采用优化后的 ReST 算法执行 GRPO，从而提升策略在复杂推理任务中的能力。该方法利用策略本身对训练数据进行筛选与组合，有效缓解了 GRPO 奖励失效的问题，增强了策略生成可靠推理轨迹的能力。

LLM 的输出解答及其对应的奖励中蕴含着丰富信息，反映其在目标任务域中的优势与短板，这些信息可用于过滤掉无效的训练数据。

研究团队采用标准差评估奖励的多样性。对于其所有解答的奖励标准差低于预设阈值 σ₀ 的提示语，将其从训练集中剔除。训练过程聚焦于那些(xiē)高(gāo)奖(jiǎng)励(lì)的解答轨迹，并最终利用其部分解状态构建新的训练数据。

与普通 GRPO 相比，ReST-GRPO 能够显著提升训练过程中的奖励方差。

图｜策略训练过程中组奖励标准差的分布。

VM-MCTS 则用于 LLM 测试阶段解码。其中，价值模型（VM）的作用类似于 PRM，不仅提供验证信号，还能引导 LLM 策略探索更有潜力的推理路径。VM 的价值目标用于评估包含最后一步在内的整个部分状态，而非单一动作或步骤。它自然地反映了策略从当前局部状态到达高奖励终态zan的潜力，可在解码过程中为策略提供辅助。

在为 VM 收集训练数据时，他们采用 MCTS 方法，以在探索不同推理路径和利用高潜力中间状态之间取得平衡。一旦收集到足够的价值目标数据，即可训练 VM 去预测各类状态的价值。

使用该方法训练得到的 VM 能够准确预测当前策略下部分状态的预期奖励。该算法通过价值估计来决定应当探索和解码哪些路径，从而提高搜索的效率与准确性。

研究团队通过大量编码问题实验，验证了所提出 RL 范式及其各组成部分的有效性，证明 ReST-RL 不仅能够增强 LLM 策略的推理能力，同时在效率、成本和泛化性等方面实现了较好的平衡。

结果表明，ReST-RL 及其组件在性能上全面优于其他强化学习基线方法（如原始 GRPO 和 ReST-DPO），以及解码与验证基线方法（如 PRM-BoN 和 ORM-MCTS）。

在相同训(xun)练步数下进行测试对比表明，ReST-GRPO 相较于原始 GRPO 和 DAPO 拥有更高的训练效率。

在解码验证预算相同的条件下，VM-MCTS 及其 VM 在准确性方面，优于此前基于公开数据训练的 Math-Shepherd 风格 PRM 或 ORM。

图｜训练效率与预算内验证能力的测试。

局限与未来方向

尽管各项实验证明了 ReST-RL 的有效性，但该方法仍存在一定的局限性。

例如，研究尚未在代码推理以外的任务（如数学推理和常识推理）中对其进行验证。虽然该方法框架并不局限于代码任务，但在其他场景下的应用可能需要重新设计合适的奖励机制和实验超参数。

另外，部分实验设置对最终结果的具体影响也尚未得到系统性分析。

研究团队还表示，价值模型在域外任务中的准确性仍缺乏充分研究，后续工作将进一步探索 ReST-RL 在更广泛任务中的泛化能力。

封面图为版权图库图片，转载使用可能引发版权纠纷