DeepSeek-R1蒸馏模型是什么？

DeepSeek在推出DeepSeek-V3后，又发布了革命性的模型DeepSeek-R1，这个模型在多个基准测试中超越了OpenAI的SOTA推理模型OpenAI-o1，引起了广泛关注。

除了DeepSeek-R1，该团队还发布了其他多个模型，包括：

• DeepSeek-R1-Zero：DeepSeek-R1的原始版本，虽然容易犯错，但更具创意。
• DeepSeek-R1-Distill-Qwen系列：包括1.5B、7B、14B和32B版本。
• DeepSeek-R1-Distill-Lama系列：包括8B和70B版本。

本文将详细探讨这六个蒸馏模型。

什么是蒸馏？在机器学习（ML）中，模型蒸馏是一种将知识从大型复杂模型（教师模型）转移到较小、更简单模型（学生模型）的技术。目标是创建一个较小的模型，保留较大模型的大部分性能，同时在计算资源、内存使用和推理速度方面更高效。这对于在资源受限的环境（如移动设备或边缘计算系统）中部署模型尤为有用。

您可以在下面的帖子中了解整个过程：

什么是DeepSeek-R1蒸馏模型？DeepSeek-R1蒸馏模型是通过蒸馏过程创建的较大DeepSeek-R1模型的更小、更高效版本。蒸馏涉及将更大、更强大的模型（在本例中为DeepSeek-R1）的知识和推理能力转移到更小的模型中。这使得较小的模型在推理任务上实现了有竞争力的性能，同时计算效率更高，部署更容易。

由于DeepSeek-R1模型拥有671B个参数，无法在消费级设备上运行，因此推出了蒸馏模型。

1. 蒸馏的目的：蒸馏的目标是使DeepSeek-R1等大型模型的推理能力能够被更小、更高效的模型所利用。这对于有限的计算资源特别有用，但仍然需要高推理性能。蒸馏模型旨在保留DeepSeek-R1发现的强大推理模式，即使它们的参数较少。考虑到DeepSeek-V3的巨大体积，普通用户难以使用，因此这次发布了蒸馏版本。

2. 蒸馏过程：蒸馏模型是通过使用DeepSeek-R1生成的800000个推理数据样本对较小的基础模型（如Qwen和Llama系列）进行微调而创建的。蒸馏过程涉及对推理数据的监督微调（SFT），但不包括额外的强化学习（RL）阶段。这使得该过程对于较小的模型来说更高效、更容易实现。

3. 蒸馏模型变体：本文开源了基于不同规模的Qwen和Llama架构的几个蒸馏模型。这些变体包括：DeepSeek-R1-Distill-Qwen-1.5B、DeepSeek-R1-Distill-Qwen-7B、DeepSeek-R1-Distill-Qwen-14B、DeepSeek-R1-Distill-Qwen-32B、DeepSeek-R1-Distill-Llama-8B、DeepSeek-R1-Distill-Llama-70B。

4. 蒸馏模型的性能：经过提炼的模型在推理基准测试中取得了令人印象深刻的结果，通常优于GPT-4o和Claude-3.5-Sonnet等较大的非推理模型。例如：

   • DeepSeek-R1-Distill-Qwen-7B在AIME 2024上达到了55.5%的Pass@1，超越了QwQ-32B预览版（最先进的开源模型）。
   • DeepSeek-R1-Distill-Qwen-32B在AIME 2024上达到了72.6%的Pass@1，在MATH-500上达到了94.3%的Pass@1，其表现明显优于其他开源模型。
   • DeepSeek-R1-Distill-Llama-70B在AIME 2024上达到了70.0%的Pass@1，在MATH-500上达到了94.5%的Pass@1，创造了密集模型的新纪录。

5. 蒸馏模型的优点：效率：蒸馏模型比原始DeepSeek-R1更小，计算效率更高，使其更容易在资源受限的环境中部署。推理能力：尽管尺寸较小，但由于DeepSeek-R1传递的知识，提取的模型保留了很强的推理能力。开源可用性：经过提炼的模型是开源的，允许研究人员和开发人员在各种应用程序中使用和构建它们。

6. 与RL训练模型的比较：本文将蒸馏模型与使用大规模RL训练的模型（例如DeepSeek-R1-Zero-Qwen-32B）进行了比较，发现蒸馏通常会以较低的计算成本产生更好的性能。例如，在推理基准测试中，DeepSeek-R1-Distill-Qwen-32B的表现优于DeepSeek-R2-Zero-Qwen-34B，这表明对于较小的模型来说，蒸馏是一种更经济、更有效的方法。

如何使用DeepSeek-R1蒸馏模型？

1. 使用Ollama（在本地使用模型）

   

2. 使用vLLM（pip安装vLLM）

   vllm serve deepseek-ai/DeepSeek-R1-Distill-Qwen-32B --tensor-parallel-size 2 --max-model-len 32768 --enforce-eager

DeepSeek-R1蒸馏模型弥合了高性能和效率之间的差距，使更广泛的受众能够获得高级推理能力。此次发布标志着人工智能民主化和前沿推理模型在现实世界中的应用迈出了重要一步。如果您使用的是消费级PC，我建议您尝试蒸馏型号，因为原始的R1型号很大，可能不适合。