在本地和雲端部署DeepSeek R1 671B模型

今天我們要嘗試一個頗具挑戰性的任務：在本地或云端部署DeepSeek R1的官方671B參數模型，這無疑是目前最強大的開源AI模型之一。儘管我的硬件條件遠不及要求，我們還是要試一試能否實現“小雞扛大砲”的壯舉。

首先要申明一點，很多人以為本地部署DeepSeek R1不如雲端智能，其實是因為他們下載的不是最強版本的開源模型。常見的7B、8B、14B，甚至是70B參數的模型，都是由Qwen和Ollama從DeepSeek R1擴建出來的密集型小模型，性能與真正的671B原版模型不是一個層次上的。

硬件要求：

CPU：推薦32核英特爾或AMD驍龍系列。

內存：至少512GB。

GPU : 最低4塊A100，80GB顯存。

存儲：至少2TB。

網絡: 10GB寬度。

由於我的電腦配置為64GB內存，Windows 11專業版，首先嘗試用虛擬內存來彌補內存不足。

步驟如下：

安裝Ollama - 一個免費的開源程序，支持模型部署。下載並安裝Ollama的Windows版本。

下載模型- 使用Ollama來下載DeepSeek R1 671B模型，過程運行約一小時。需要科學上網確保下載速度。

虛擬內存調整——由於內存不足，我嘗試通過增加虛擬內存的方式來繞過限制。在系統設置中，我將虛擬內存初始設為350GB，最大設為450GB，並重啟電腦。

經過這些調整，模型確實下載完成，但運行時內存仍然不夠，顯示我還差400多GB的內存需求。

接下來，我們嘗試在雲端部署，使用專業的雲GPU服務。選擇了很多NVIDIA H100或A100顯卡，但由於需求高，配置都已售出。最終選擇了西雅圖的8張H100顯卡套餐，雖然硬盤空間略小，但內存和顯存足以支持模型運行。

雲端部署命令：

安裝Ollama。

下載DeepSeek R1 671B模型。

使用Docker安裝Open WebUI來調用模型。

在雲端，模型可以順利運行，但調用API需要實名制，這讓很多人望而卻步。

通過這次嘗試，我們成功在本地和雲端部署了DeepSeek R1 671B模型，儘管本地運行速度極慢，證明了即使硬件不夠，創新和嘗試仍然有可能實現，只是效率和性能會大打折扣。

儘管對於那些需要高性能的用戶來說，雲端部署是一個更現實的選擇，成本更高。