把 AI 跑在自己的電腦上，最大的價值是「資料主權」：對話內容、上傳的文件都留在本機，不經過任何雲端服務——這對處理敏感資料的使用者來說，本身就是一種資安防護。本文整理一套 Windows 環境的完整建置 SOP，無 Linux 或程式背景也能照著完成。
適用對象與完成後你擁有
| 📋 適用對象 | ✅ 完成後你擁有 |
|---|---|
|
Windows 10 / 11 一般使用者 無 Linux / 程式背景 想在本機跑大型語言模型 需要模型可查詢網路資料 |
Gemma 4 26B 本機推論 瀏覽器聊天介面（Open WebUI） DuckDuckGo 即時網路搜尋 完全離線也能使用（搜尋除外） |
硬體與軟體需求
| 項目 | 說明 |
|---|---|
| 作業系統 | Windows 10（1903 以上）或 Windows 11 |
| GPU | NVIDIA RTX 系列，建議 VRAM ≥ 8 GB（RTX 5070 Ti 擁有 16 GB，完全足夠） |
| VRAM 需求 | gemma4:26b（MoE）約需 14–16 GB｜gemma4:e4b 只需 6 GB |
| RAM | 建議 ≥ 16 GB |
| 硬碟空間 | 安裝軟體約 5 GB，模型本身約 18 GB，建議剩餘 ≥ 30 GB |
| 網路 | 初次下載需要網路；下載完成後本機推論可完全離線 |
| NVIDIA 驅動 | 需安裝最新驅動（前往 nvidia.com/drivers 下載） |
STEP 1安裝 NVIDIA 最新驅動
確保 GPU 能被 Ollama 正確識別，這是跑模型最重要的前提。
- 前往 NVIDIA 驅動下載頁面：nvidia.com/drivers
- 選擇你的 GPU 型號（例如 RTX 5070 Ti）和作業系統
- 下載並執行安裝程式，選「快速安裝」即可
- 安裝完成後重新開機
💡 確認：安裝完成後，開啟「工作管理員」→「效能」→「GPU」，確認有顯示你的 NVIDIA 顯卡。
STEP 2安裝 Ollama
Ollama 是管理和執行 AI 模型的引擎，安裝後會在背景運作。
- 開啟瀏覽器，前往 ollama.com/download
- 點選「Download for Windows」，下載 OllamaSetup.exe
- 執行安裝程式，一路點「Next」完成安裝（不需要系統管理員權限）
- 安裝完成後，右下角工作列會出現 Ollama 圖示
⚠️ 注意：安裝過程中如果防毒軟體跳出警告，請選擇「允許」或「信任」。
STEP 3下載 Gemma 4 26B 模型
透過 Ollama 下載 Google 的 Gemma 4 26B 模型（MoE 架構，只需 14–16 GB VRAM）。
- 按下 Win + R，輸入 cmd，按 Enter 開啟命令提示字元
- 輸入以下指令並按 Enter（下載約 18 GB，請耐心等候）：
ollama pull gemma4:26b
- 等到出現「success」或「pull complete」字樣即完成
- 確認模型已下載：
ollama list
- 應可看到 gemma4:26b 出現在清單中
💡 提示：若想改用資源需求更低的版本，可改輸入 ollama pull gemma4:e4b（僅需 6 GB VRAM，適合較舊顯卡）。
STEP 4安裝 Docker Desktop
Docker Desktop 用來執行 Open WebUI 的容器，提供瀏覽器聊天介面。
- 前往 docker.com/products/docker-desktop
- 點選「Download for Windows」並執行安裝程式
- 安裝過程選擇「Use WSL 2 instead of Hyper-V」（預設已勾選）
- 安裝完成後重新開機
- 重開機後 Docker Desktop 會自動啟動，等待右下角出現 Docker 圖示且狀態顯示「Engine running」
⚠️ 注意：若出現「WSL 2 安裝未完成」提示，請依畫面指示前往 Microsoft 網站下載安裝 WSL2 更新套件，然後重新啟動。
STEP 5啟動 Open WebUI 容器
Open WebUI 是一個瀏覽器聊天介面，支援連接 Ollama 並內建網路搜尋。
- 開啟 PowerShell（按 Win + X，選「Windows PowerShell」）
- 貼上以下這一整行指令（注意：必須是同一行，不能換行），按 Enter 執行：
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=http://host.docker.internal:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
- 等待下載完成（約數分鐘），出現一串英數字元（Container ID）即成功
- 開啟瀏覽器，前往 http://localhost:3000
- 第一次進入需要建立帳號：填入任意 Email 和密碼（純本機帳號，不會傳出去）
💡 提示：之後每次使用只需確保 Docker Desktop 在執行，開瀏覽器輸入 http://localhost:3000 即可。
STEP 6設定連網搜尋功能
啟用 DuckDuckGo 搜尋，讓模型可以查詢網路上的最新資訊。
- 登入 Open WebUI 後，點右上角大頭照圖示
- 選擇「Admin Panel（管理員面板）」
- 點左側選單的「Settings（設定）」
- 在左側找到「網頁搜尋」並點擊
- 將「網頁搜尋」開關切換為開啟（綠色）
- 「網頁搜尋引擎」選擇「DDGS」（DuckDuckGo，免費，不需 API Key）
- 點右下角「儲存」按鈕
✅ 完成：回到聊天頁面，輸入框旁邊會出現地球 🌐 圖示。點擊啟用後發問，模型就會先搜尋網路再回答。
STEP 7連接 Ollama 模型
確認 Open WebUI 已正確連接到 Ollama，讓你可以在聊天介面選用 Gemma 4 模型。
- 在 Open WebUI 中，點右上角大頭照 → Admin Panel → Settings → 連線
- 確認「Ollama API」欄位顯示：http://host.docker.internal:11434
- 若欄位是空的，手動輸入上述網址後按儲存
- 回到聊天頁面，點上方模型選擇下拉選單
- 選擇「gemma4:26b」即可開始使用
常見問題排解
| 問題 | 解決方式 |
|---|---|
| Ollama 偵測不到 GPU | 確認已安裝最新 NVIDIA 驅動。開啟 cmd 輸入 nvidia-smi，確認有顯示 GPU 資訊。 |
| docker 指令無法執行 | 確認 Docker Desktop 已啟動且右下角圖示顯示「Engine running」。 |
| 瀏覽器無法開啟 localhost:3000 | 等待 30–60 秒讓容器完全啟動。或在 Docker Desktop 的 Containers 頁面確認 open-webui 狀態為「Running」。 |
| 模型下載中途中斷 | 重新執行 ollama pull gemma4:26b，Ollama 會自動從中斷點繼續下載。 |
| Open WebUI 看不到模型 | 確認 Admin Panel → 連線 的 Ollama API 網址正確。同時確認 Ollama 有在背景執行。 |
| 回應速度很慢 | 開啟工作管理員確認 GPU 使用率有提升。若 GPU 使用率為 0%，代表模型在用 CPU 跑，需重新確認 NVIDIA 驅動。 |
| WSL 2 相關錯誤 | 前往 https://aka.ms/wsl2kernel 下載並安裝 WSL 2 Linux 核心更新套件，然後重新啟動。 |
快速參考：日常使用流程
- 確認 Ollama 在執行（右下角系統列有 Ollama 圖示）
- 確認 Docker Desktop 在執行（系統列有 Docker 圖示，顯示 Engine running）
- 開啟瀏覽器，前往 http://localhost:3000
- 登入帳號，選擇模型 gemma4:26b
- 若需要連網搜尋，點聊天框旁的 🌐 地球圖示啟用
- 開始對話！
軟體版本與下載連結
| 項目 | 說明 |
|---|---|
| Ollama | ollama.com/download（最新版本，Windows 一鍵安裝） |
| Gemma 4 26B | 透過 Ollama 指令下載：ollama pull gemma4:26b |
| Docker Desktop | docker.com/products/docker-desktop |
| Open WebUI | 透過 Docker 自動下載，無需手動安裝 |
| NVIDIA 驅動 | nvidia.com/drivers |
本 SOP 適用於 2025–2026 年度版本。軟體版本更新後，安裝畫面可能略有不同，但流程大致相同。