Episode Details
Back to Episodes
【第296期】（中文）d1: 扩散LLM的强化学习推理
Published 11 months, 1 week ago
Description
Seventy3：借助NotebookLM的能力进行论文解读，专注人工智能、大模型、机器人算法方向，让大家跟着AI一起进步。
今天的主题是：
d1: Scaling Reasoning in Diffusion Large Language Models via Reinforcement Learning
Summary
这篇研究论文探讨了如何提升扩散大语言模型（dLLMs）的推理能力，此类模型与传统的自回归（AR）LLMs不同，采用非自回归的粗到细文本生成方式。作者提出了 d1 框架，通过结合监督微调（SFT）和一种名为 diffu-GRPO 的新型强化学习（RL）算法来训练预训练的掩码 dLLMs。实验结果表明，与基线模型及单独的 SFT 或 diffu-GRPO 方法相比，d1 显著提升了模型在数学和逻辑推理任务上的表现。此外，该研究还讨论了随机掩码等设计选择如何提高训练效率和稳定...去小宇宙查看完整单集简介
前往小宇宙评论区与主播互动
今天的主题是：
d1: Scaling Reasoning in Diffusion Large Language Models via Reinforcement Learning
Summary
这篇研究论文探讨了如何提升扩散大语言模型（dLLMs）的推理能力，此类模型与传统的自回归（AR）LLMs不同，采用非自回归的粗到细文本生成方式。作者提出了 d1 框架，通过结合监督微调（SFT）和一种名为 diffu-GRPO 的新型强化学习（RL）算法来训练预训练的掩码 dLLMs。实验结果表明，与基线模型及单独的 SFT 或 diffu-GRPO 方法相比，d1 显著提升了模型在数学和逻辑推理任务上的表现。此外，该研究还讨论了随机掩码等设计选择如何提高训练效率和稳定...去小宇宙查看完整单集简介
前往小宇宙评论区与主播互动