北京交通大学征询团队悄默声推出了一版 o1午夜电影网，况且扫数源代码、精选数据集以及孳生模子王人开源！
名为O1-CODER，专注于编码任务。
团队以为编码是一个需要 System-2 念念维样貌的典型任务，触及严慎、逻辑、一步步的问题料理经过。
而他们的战术是矍铄化学习（RL）与蒙特卡洛树搜索（MCTS）相联结，让模子大约贬抑生成推理数据，晋升其 System-2 智力。
执行中，团队有以下几点过错发现：
当推理正确时，基于伪代码的推理显赫晋升了代码生成质料
将监督微调（SFT）与平直偏好优化（DPO）相联结大约晋升测试用例生见遵循
自我对弈强化学习为推理和代码生成创造了连接校正的轮回机制
具体来说，团队接收了测试用例生成器，在经过 DPO 后达到 89.2% 的通过率，比拟运转微调后的 80.8% 有显赫晋升；Qwen2.5-Coder-7B 接收伪代码设施终显著 74.9% 的平均采样通过率，晋升了 25.6%。
网友直呼很需要这么的模子。
O1-CODER，究竟长啥样？
熟女控
六步，逐渐优化 o1
应用于代码生成的自我对弈强化学习濒临两大挑战：
扫尾评估，即如何评判生成代码的质料。与围棋等任务不同，评估代码需要在测试环境中运行并考证。
界说念念考和搜索步履，即细则经过奖励的对象和粒度。
关于第一个挑战，团队忽视检修一个测试用例生成器（TCG），左证问题和尺度代码自动生成测试用例，为强化学习提供尺度化的代码测试环境和扫尾奖励。
关于第二个挑战，他们遴荐"先念念考后活动"的样貌：先通过详备的伪代码念念考问题，再基于伪代码生成最终的可实行代码。
这种样貌的上风在于适应性（吞并伪代码可对应不同的具体终了）和可控粒度（通过鼎新伪代码的细节进程界限推理 / 搜索步履的粒度）。
具体来说，征询团队忽视了一个包含六个形状的框架：
检修测试用例生成器（TCG），为代码测试提供尺度化的环境
愚弄 MCTS 生成包含推理经过的代码数据
迭代微调战术模子，先生成伪代码，再生成完好代码
基于推理经过数据运回荡经过奖励模子（PRM）
在 TCG 提供的扫尾奖励和 PRM 提供的经过奖励的双重领导下，通过强化学习和 MCTS 更新战术模子
愚弄优化后的战术模子生成新的推理数据，复返第 4 步迭代检修
两阶段检修测试用例生成器
在执行部分，征询东谈主员详备先容了测试用例生成器的检修经过。
分为两个阶段：监督微调（SFT）和平直偏好优化（DPO）。
SFT 阶段的主要标的是确保生成器的输出得当预界说形状，以便准确瓦解和索取生成的测试用例。检修数据来自 TACO 数据集。
DPO 阶段的标的是领导模子生成得当特定偏好的测试用例，进一步提高生成器的性能和可靠性。
这里接收了带有东谈主工构建样本对的 DPO 设施，构建了一个偏好数据集。
执行标明，SFT 阶段事后，TCG 在尺度代码上生成的测试用例通过率达到 80.8%，DPO 阶段进一步晋升至 89.2%，大幅改善了生成器产出可靠测试用例的智力。
伪代码推理，领导模子进行深度推理
很是值得一提的是，征询者引入了基于伪代码的教导设施，将其手脚领导模子进行深度推理的"瓦解用具"。
他们为此界说了三个过错步履：
使用伪代码界说算法结构：勾画主要函数的结构和接口，把捏任务的全体框架
细化伪代码：逐渐明确每个函数的具躯壳式、逻辑和操作
从伪代码生成代码：将伪代码的结构和逻辑精确翻译为可实行代码
在 MBPP 数据集上进行的初步执行标明，尽管全体通过率（Pass@1）有所着落，但Average Sampling Pass Rate（ASPR）显赫提高。
标明联结伪代码显赫改善了推理经过的质料，很是是在细化通向正确输出的旅途方面。这为后续的自监督微统一强化学习提供了精采的源流。
自我对弈 + 强化学习
征询东谈主员详备刻画了如何使用蒙特卡洛树搜索（MCTS）来构建形状级别的经过奖励数据。
这个经过触及到为每个问题造成一个推理旅途，该旅途由一系列推理形状构成，并最终产生一个可实行的代码。在 MCTS 的旅途探索中，使用伪代码教导战术来领导推理经过。当达到结尾节点时，就造成了一个完好的伪代码推理旅途。
结尾节点的奖励值是基于两个过错推敲盘算的：编译得胜率（compile）和测试用例通过率（pass）。
这些推敲被用来评估生成的代码的质料和正确性。
奖励值被反向传播到旅途上的扫数前序节点，为每个形状分拨一个奖励值。通过这种样貌，构建了推理经过数据集，为战术模子的运回荡和检修提供了基础。
经过奖励模子（PRM）的任务是为现时形状分拨一个奖励值，以臆测其对最终谜底的孝敬。
在数据合成经过中使用的树搜索设施不错组织成点式（point-wise）和成对式（pair-wise）两种数据形状。
基于这些经过考证的正确推连气儿，战术模子赢得运回荡。
接下来，经过奖励模子（PRM）开头发扬作用，评估每一步推理对最终谜底的孝敬。在测试用例生成器（TCG）提供的扫尾奖励和 PRM 提供的经过奖励的双重领导下，战术模子通过强化学习贬抑校正。
更新后的战术模子被用来生成新的推理数据，补充到现存数据集中，造成自我对弈的闭环。这个数据生成 - 奖励建模 - 战术优化的迭代轮回，确保了系统推贤惠力的连接晋升。
论文相连：https://arxiv.org/pdf/2412.00154
参考相连：https://x.com/rohanpaul_ai/status/1864488583744377271?s=46&t=iTysI4vQLQqCNJjSmBODPw午夜电影网
