近年来，大语言模型（LLM）的进展加速，尤其是在推理能力方面，模型逐步接近人工通用智能（AGI）的目标。OpenAI、Anthropic 和 Google 等公司推出的先进语言模型，在推理任务中的表现不断突破。而随着推理能力的重要性日益增加，研究者们开始探索各种技术来提升模型的推理效果，包括强化学习（RL）、后训练和微调等技术。

本文将详细介绍我们在推理能力提升方面的创新性工作——DeepSeek-R1。我们首先通过强化学习（RL）直接训练基础模型，从而大幅提升了其推理能力，接着通过多阶段训练流程和蒸馏技术优化了该模型，最终达到与 OpenAI-o1-1217相当的推理表现。

1. 研究背景

在大语言模型的演化过程中，后训练技术已经成为提升模型性能的重要手段。通过强化学习进行的后训练，不仅能够改善模型的推理能力，还能确保模型在特定任务上表现更符合人类偏好。尽管目前强化学习方法在推理能力的提升上取得了一些成功，但这些方法往往依赖大量的监督数据或初始微调，而我们希望通过一种新的方法，在没有监督微调（SFT）的情况下，利用强化学习提高推理能力。

OpenAI 的 o1 系列模型通过链式思维推理（Chain of Thought, CoT）等方法，在推理任务上取得了巨大进展。然而，如何在没有监督数据支持的情况下提高推理能力，依然是一个未解的难题。为此，我们提出了 DeepSeek-R1，一个通过强化学习直接提升推理能力的模型。

2. 方法概述

我们的工作围绕如何利用强化学习（RL）在不依赖监督微调的情况下，提升大语言模型的推理能力展开。我们设计了两个关键模型：DeepSeek-R1-Zero 和 DeepSeek-R1。

2.1 DeepSeek-R1-Zero：通过强化学习提升推理能力

DeepSeek-R1-Zero 是我们设计的第一个版本，它通过大规模强化学习训练，直接从基础模型开始优化推理能力，而不依赖于监督微调。通过RL，DeepSeek-R1-Zero 学会了复杂的推理行为，例如自我验证、反思和链式思维等能力。

我们使用了基于规则的奖励系统来指导模型训练，主要包括两类奖励：

• 准确性奖励：用于评估模型输出是否正确。
• 格式奖励：强制模型在思考过程和答案之间使用明确的结构格式，增强可读性。

DeepSeek-R1-Zero 在 AIME 2024 基准测试中，Pass@1 分数从 15.6% 提升至 71.0%，通过多数投票进一步提高至 86.7%。这一成绩证明了我们基于强化学习的方法在提升推理能力方面的有效性。

2.2 DeepSeek-R1：优化和提升推理能力

尽管 DeepSeek-R1-Zero 在推理任务中取得了不错的成绩，但在可读性和语言一致性方面还存在一些问题。为了进一步提升这些方面，我们提出了 DeepSeek-R1 模型，结合了多阶段训练和冷启动数据来解决这些挑战。

冷启动数据：为了避免 DeepSeek-R1-Zero 中出现的语言混杂问题，我们首先使用少量高质量的冷启动数据对模型进行微调。这些数据通过人工后处理优化了输出格式，增强了可读性，使得模型生成的推理过程更加清晰。

多阶段训练：在强化学习阶段后，我们进一步对模型进行拒绝采样和监督微调，结合大量的推理任务数据，以确保模型不仅具备推理能力，还能够在写作、事实问答等非推理任务中表现良好。

通过这一流程，DeepSeek-R1 在多项基准测试中超过了 OpenAI-o1-1217的表现，成为业界先进的推理模型之一。

2.3 蒸馏：赋予小型模型推理能力

为了使小型语言模型也能够具备像 DeepSeek-R1 那样强大的推理能力，我们采用了蒸馏技术，从 DeepSeek-R1 中提取推理模式并将其转移到更小的模型中。我们使用 Qwen 和 Llama 系列作为基础模型，进行监督微调，从而显著提升这些小型模型的推理能力。

这些蒸馏模型在 AIME 2024、MATH-500 等基准测试中的表现优于许多现有的小型开源模型，证明了蒸馏技术可以有效地将大模型的推理能力转移到小型模型中。

3. 实验与评估

我们在多个标准基准测试上对 DeepSeek-R1 及其蒸馏模型进行了评估。以下是我们的一些关键实验结果：

• AIME 2024：DeepSeek-R1 在 AIME 2024 测试中达到了 79.8% 的 Pass@1 分数，超越了 OpenAI-o1-1217。
• MATH-500：DeepSeek-R1 在数学推理任务中的表现也十分出色，达到了 97.3%的准确率。
• 编码任务：在编程任务中，DeepSeek-R1 展现出了与专业程序员相当的水平，获得了 Codeforces 上 2,029 的 Elo 评分。
• MMLU：DeepSeek-R1 在 MMLU 和 MMLU-Pro 基准测试中，分别取得了 90.8% 和 84.0%的得分，超过了 DeepSeek-V3。

这些结果表明，DeepSeek-R1 在多个推理任务中的表现超过了现有的许多语言模型，并展示了其广泛的适应性和出色的推理能力。

4. 总结与展望

DeepSeek-R1 的成功验证了通过纯强化学习提升大语言模型推理能力的潜力。通过创新的冷启动数据、多阶段训练和蒸馏技术，我们能够将推理能力从大模型有效地转移到小型模型，并在多个领域取得了优异成绩。

未来，我们将继续优化模型的训练流程，进一步提高模型的效率和可解释性，并探索如何将这种方法推广到更广泛的应用场景中。此外，我们还将继续开源 DeepSeek-R1 和其蒸馏模型，推动这一领域的进一步发展。

DeepSeek-R1 代表了通过强化学习提升推理能力的一个重要里程碑，为大语言模型的推理任务开辟了新的发展道路。