在 PC 和行動裝置上本地運行 DeepSeek R1 的指南

來自中國的DeepSeek R1人工智慧模型的問世,在人工智慧領域引起了極大的轟動,尤其是其宣稱超越OpenAI的o1模型。雖然 DeepSeek R1 可以在線上免費使用,但這種便利性帶來了各種隱私問題。如果您熱衷於保護您的數據,但又想利用這個人工智慧模型的強大功能,那麼在您的設備上本地運行它是一個很好的選擇。

DeepSeek R1 提供多種模型變體,包括參數為 1.5B、7B、14B、32B 的精簡版本,以及龐大的 671B 旗艦模型。為了有效操作 14B 及以上的大型型號,您的機器必須配備強大的 CPU、GPU 以及專用的 NPU。即使對於較輕的型號,僅擁有 8 GB 的 RAM 也對於確保流暢的體驗至關重要。

使用 LM Studio 在電腦上執行 DeepSeek R1

LM Studio 提供了最用戶友好的選項之一,可在各種作業系統(包括 Windows、macOS 和 Linux)上本地運行 DeepSeek R1。

**LM Studio 支援的系統包括:**

  • **Mac:**相容於運行 macOS 13.4 或更高版本的 Apple Silicon Chips(M1、M2、M3、M4)
  • **Windows**:支援 x64 和 ARM 架構(例如 Snapdragon X Elite)
  • **Linux:**需要具有 64 位元架構的 Ubuntu 20.04 或更新版本

雖然 LM Studio 建議至少使用 16 GB 的 RAM 以獲得最佳效能,但對於較小的模型,使用 8 GB 也可以。如果您擁有 192 GB 或更多,您甚至可以毫無問題地運行完整的 671B 型號。

  • 首先,導覽至lmstudio.ai並選擇適合您系統的「下載」按鈕。
下載 LM Studio
  • 請按照與您的作業系統相關的安裝指南進行操作。
  • 安裝後,啟動 LM Studio 並選擇「跳過入職」。
LM Studio 入職
  • 從左側的導覽選單中選擇“搜尋”圖示。
在 LM Studio 中搜尋模型
  • 現在,搜尋要下載的模型。根據您的需要,您可以選擇 DeepSeek R1 Distill(Qwen 7B)或 1.5B 型號。確保您擁有下載頁面上指定的足夠儲存空間。點擊“下載”按鈕即可啟動流程。
在 LM Studio 中下載模型
  • 下載後,點選『載入模型』按鈕,就會彈出聊天視窗。
載入模型
  • 在聊天視窗中輸入您的查詢並與本機模型互動。您可以追蹤狀態列右下角顯示的資源使用量指標。
與 DeepSeek R1 聊天
  • 若要調整模型設置,請點選頂部模型名稱旁的「設定」圖示。
模型設定

利用 LM Studio 在您的電腦上本地運行 DeepSeek R1 非常簡單,不需要終端命令——對於剛接觸該技術的人來說這是一個理想的選擇。儘管存在像 Ollama 這樣的替代方案,但它們需要終端技能。

使用 PocketPal AI 在行動裝置上本地運行 DeepSeek R1

如果您希望在行動裝置上操作 LLM 模型,我強烈推薦 PocketPal AI。該應用程式為在 iOS 和 Android 平台上運行 LLM 模型提供了無縫體驗。

  • 從App Store或 Play Store下載 PocketPal AI 應用程式。
  • 啟動應用程式並點擊“轉到模型”。
  • 點選螢幕右下角的「+」圖示。
  • 選擇「從 Hugging Face 新增」。
  • 在搜尋欄中輸入“DeepSeek R1”以找到您想要安裝的模型並選擇它。
  • 點擊可用 GGU 檔案之一旁的下載圖示。
  • 下載完成後,返回主畫面並選擇已下載模型旁的「載入」圖示。
  • 您的模型將會加載,使您能夠開始聊天。您可以從左側選單存取您的聊天記錄或修改模型設定。

就是這樣!無論您選擇哪種設備,利用 LM Studio 或 PocketPal AI,您都可以輕鬆地在本地設定和運行 DeepSeek R1 模型。

常見問題

1.運行 DeepSeek R1 的系統需求是什麼?

要運行 DeepSeek R1,對於 1.5B 和 7B 等較小型號,您應該至少擁有 8 GB 的 RAM。對於較大的模型,建議有16 GB或更大。強大的 CPU 和 GPU 以及充足的儲存空間對於最佳效能也至關重要。

2.我可以在行動裝置上運行 DeepSeek R1 嗎?

是的!您可以使用 PocketPal AI 應用程式在行動裝置上執行 DeepSeek R1,適用於 iOS 和 Android。該應用程式可讓您搜尋模型並將其直接下載到手機上。

3.在線上使用 DeepSeek R1 時是否有隱私問題?

是的,在線上運行 DeepSeek R1 可能會引發隱私問題。透過選擇在您的裝置上本地運行模型,您可以減輕這些風險,因為您的資料不會被傳送到外部伺服器。

來源和圖片

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *