Open R1 是一個由 Hugging Face 發起的DeepSeek-R1的完全開源再現項目，目的是完全復現 DeepSeek R1 模型的訓練過程。項目的目標是構建 DeepSeek-R1 流程中缺失的部分，為研究和工業界提供一個完整的推理優化訓練管道。

項目的目標

• 復現 DeepSeek-R1 的訓練流程：通過開源的方式，詳細展示如何從知識蒸餾到強化學習，再到多階段訓練，逐步復現 DeepSeek-R1 的訓練流程。

• 提供完整的實現：項目包括完整的推理優化訓練管道，確保用戶可以輕松使用和修改模型。

項目的組成

• 訓練數據和腳本：提供用于訓練的開源數據集和訓練腳本，方便用戶進行實驗和驗證。

• 文檔和示例：詳細的文檔和示例代碼，幫助用戶快速上手和理解模型的使用。

Open R1 項目還特別關注以下幾個方面：

數據收集和訓練代碼：雖然 DeepSeek-R1 的模型權重是開放的，但其訓練所用的數據集和代碼并未公開。Open R1 計劃系統性地重建 DeepSeek-R1 的數據和訓練管道，以驗證其聲稱的效果，并推動開放推理模型的邊界。

多階段訓練：項目的計劃包括從基礎模型到監督微調（SFT）再到強化學習（RL）的多階段訓練過程，旨在展示如何通過合成數據集來微調現有或新模型，以便將其轉化為推理模型。

跨領域應用：除了數學數據集，Open R1 還希望探索其他領域的潛力，例如代碼和醫學等科學領域，這些領域的推理模型可能會產生顯著影響。

Open R1這個項目如何操作？

第1步：用DeepSeek-R1蒸餾高質量語料庫，來復制R1-Distill模型，看看效果是不是像DeepSeek說的那么好。

第2步：復制DeepSeek用來構建R1-Zero的純強化學習（RL）pipeline。

第3步：通過多階段訓練，從基礎模型過渡到RL版本。

Open R1項目：https://huggingface.co/blog/open-r1

Open R1代碼：https://github.com/huggingface/open-r1