一文搞懂DeepSeek - AI强化学习和蒸馏技术

DeepSeek-R1在Introduction部分提到，R1通过结合冷启动数据、多阶段训练管道和纯强化学习，显著提升了大型语言模型的推理能力，实现了与OpenAI的o1系列模型相当的性能，并通过蒸馏技术将推理能力传递给更小的模型。

DeepSeek-R1在Contributions部分重点提到两个贡献：

（1）训练后：在基础模型上进行大规模强化学习。通过在基础模型上直接应用大规模强化学习，成功开发出具备自我验证和长思维链等推理能力的DeepSeek-R1。

（2）蒸馏：小模型同样强大。同时证明了大模型的推理模式可被有效蒸馏到小模型中，实现性能显著提升。

一、Post-Training:大规模强化学习

LLMs的推理能力仅通过强化学习来激励？DeepSeek-R1-Zero表明大型语言模型（Large Language Models）的推理能力可以仅通过强化学习来激励，而无需监督微调。

DeepSeek直接在基础模型上应用强化学习（Reinforcement Learning，简称RL），而不依赖于监督微调（Supervised Fine-Tuning，简称SFT）作为初步步骤。这种方法使模型能够探索用于解决复杂问题的思维链（Chain of Thought，简称CoT），从而开发出DeepSeek-R1-Zero。DeepSeek-R1-Zero展示了自我验证、反思和生成长思维链等能力，为研究领域树立了重要里程碑。

不依赖于监督微调（SFT），仅通过强化学习（RL）来激励大语言模型，来激发LLMs的推理能力。这一技术创新突破为该领域的未来发展铺平了道路。第一次来自中国的0-1技术创新让硅谷骚动，让英伟达市值暴跌。

开发DeepSeek-R1的流程是什么？R1流程包含两个强化学习阶段，旨在发现改进的推理模式并与人类偏好保持一致，同时还包含两个监督微调阶段，作为模型推理和非推理能力的基础。DeepSeek相信，该流程将通过创建更好的模型为行业带来益处。

二、蒸馏：小模型同样强大

蒸馏（Distillation）让小模型也同样强大？大模型的推理模式可以被蒸馏到小模型中，与通过小模型上的强化学习发现的推理模式相比，这种方法能获得更好的性能。

开源的DeepSeek-R1及其应用程序接口API将有助于研究界在未来蒸馏出更好的小型模型。DeepSeek-R1系列蒸馏的小模型在多个基准测试中的评估结果显著优于之前的开源模型，其中DeepSeek-R1-Distill-Qwen-32B等表现尤为突出，其性能可与o1-mini相媲美，且DeepSeek已向研究界开源了基于Qwen2.5和Llama3系列的15亿、70亿、80亿、140亿、320亿和700亿等多个参数规模的检查点。

蒸馏，让小模型同样强大。又一王炸级别的0-1技术创新，难怪硅谷一帮大佬坐不住了。因为这一技术创新被国内外技术人员进行了验证，大家发现按照R1论文的方法可以成功基于DeepSeek-R1蒸馏出性能与o1-mini相媲美的小模型。再一次膜拜梁文峰大神。

如何蒸馏DeepSeek-R1-Distill-Qwen-32B？通过选择DeepSeek-R1作为教师模型，Qwen-32B作为学生模型，并准备大规模文本数据集，经过教师模型推理、学生模型训练、损失函数设计与优化算法选择等步骤，最终评估与调优得到性能优异的学生模型DeepSeek-R1-Distill-Qwen-32B。

一、确定模型角色

• 教师模型：选择性能卓越、知识丰富的DeepSeek-R1作为指导者。
• 学生模型：选用参数适中、易于蒸馏的Qwen-32B作为学习者。

二、准备数据集

• 数据收集：整合涵盖广泛领域的高质量文本数据，为蒸馏过程奠定基础。
• 数据预处理：严格筛选和处理数据集，确保蒸馏效果不受数据质量影响。

三、模型训练与蒸馏

1. 教师模型推理：DeepSeek-R1输出软标签和中间层特征，作为Qwen-32B的学习标杆。
2. 学生模型训练：Qwen-32B模仿DeepSeek-R1的决策，继承其知识和经验。
3. 损失函数设计：采用KL散度或交叉熵等，衡量学生模型与教师模型的输出差异。
4. 优化算法选择：选用SGD或Adam等算法，更新学生模型参数，最小化损失函数。

四、模型评估与调优

• 模型评估：利用独立测试数据集，比较学生模型与教师模型的表现，评估蒸馏效果。
• 模型调优：根据评估结果，调整超参数、优化损失函数等，提升蒸馏效果。

来源：架构师带你玩转AI