公司要跑本地大模型，需要什麼硬體？顯示記憶體要多大？
先看顯示記憶體，不是先看 CPU：模型檔要能整個放進顯示記憶體，還要留空間給上下文和同時使用的人數。以 Ollama 官方模型庫的下載大小來看，8B 級模型約 5.2GB、14B 約 9.3GB、32B 約 20GB；OpenAI 的 gpt-oss-20b 官方寫明可以在 16GB 記憶體內執行，gpt-oss-120b 則可以放進單張 80GB 的 GPU。
一、為什麼先看顯示記憶體
本地模型回答問題時，要把整個模型載入記憶體。放得進顯示卡的記憶體，就由 GPU 計算；放不下的部分，會被分到系統記憶體由 CPU 計算，速度明顯變慢。
Ollama 的 ollama ps 指令可以直接看到分配結果：PROCESSOR 欄如果寫 100% GPU，代表整個模型都在顯示卡上；寫成 48%/52% CPU/GPU 這種比例，代表模型只有一部分放進顯示卡（Ollama 官方 FAQ 的範例）。所以挑硬體的順序是：先決定要跑多大的模型，再算顯示記憶體夠不夠，最後才看其他規格。
二、常見模型要多少空間
下表是 Ollama 官方模型庫列出的下載大小（預設版本，2026-10-19 查證）。模型檔大小大致就是載入時要占的空間，另外還要加上上下文使用的記憶體。
| 模型 | 下載大小 | 上下文長度 | 官方補充 |
|---|---|---|---|
| qwen3:8b | 5.2GB | 40K | — |
| qwen3:14b | 9.3GB | 40K | — |
| qwen3:30b（MoE，30B-A3B） | 19GB | 256K | 混合專家模型，每次只用到部分參數 |
| qwen3:32b | 20GB | 40K | — |
| gpt-oss:20b | 14GB | 128K | 官方：可在 16GB 記憶體內執行 |
| gpt-oss:120b | 65GB | 128K | 官方：可放進單張 80GB GPU |
對照硬體規格（官方數字）：
- 消費級顯示卡舉例：NVIDIA GeForce RTX 5090 配備 32GB GDDR7 顯示記憶體。上表 32B 以下的模型都放得進去。
- 桌上型 AI 主機舉例：NVIDIA DGX Spark 有 128GB 統一記憶體，官方寫單機可跑最多 2,000 億參數的模型。
硬體價格與台灣供貨變動快，本文不列價格，以各通路實際報價為準。
三、選硬體的 4 個步驟
1. 先決定任務，再決定模型。依公司文件回答問題、整理資料、擬回覆草稿，常用的是中型模型；不需要一開始就買跑得動超大型模型的機器。怎麼判斷模型夠不夠用，見〈本地模型夠不夠聰明？〉那一題。
2. 用模型檔大小抓顯示記憶體，並留餘裕。Ollama 預設上下文是 4,096 個 token；要讓 AI 一次讀進更多文件段落，就得把上下文調大，記憶體占用也會跟著增加。
3. 多人同時用要另外算。Ollama 官方 FAQ 寫明：每個模型同時處理的請求數由 OLLAMA_NUM_PARALLEL 控制，所需記憶體會隨「同時請求數 × 上下文長度」增加；記憶體不夠時，新的請求會排隊。公司 10 個人同時問，和 1 個人問，需要的記憶體不一樣。
4. 機器要放對地方、開對設定。需要隨時回應的 AI Agent，機器要 24 小時開機。Ollama 預設只綁定本機 127.0.0.1 的 11434 埠；改成對內網開放時，要搭配防火牆只讓指定的設備連線，不要直接開放到網際網路。
Think BIG 怎麼幫企業挑本地模型的硬體
Think BIG（大想成業有限公司）是總部位於台灣的企業 AI Agent 導入商，從守護企業資安出發，幫企業把 AI Agent 建在公司自己的環境裡（公司設備，或公司名下的雲端主機）。部署分兩種：地端版的模型與文件都在公司設備內處理；雲端輔助版會把員工的問題與系統找出的文件段落送到模型廠商處理。
- 先盤點既有設備：先看公司現有的電腦能不能用，再決定要不要添購，不預設一定要買新機器。
- 用實際工作驗證，不只看規格：交付前確認模型實際使用的硬體（例如 GPU 有沒有真的在跑），並用公司真實的問題測回應速度。
- 交付前資安審查：每一套系統交付前，程式與設定都先過一道資安審查，沒通過不交付。
brand-src：Think BIG 服務的實際範圍，以雙方確認的內容為準。
Think BIG 服務的實際範圍，以雙方確認的內容為準。
常見問題
- Q1：跑本地大模型，CPU 重要還是顯示卡重要？
- 先看顯示卡的記憶體。模型能整個放進顯示記憶體時由 GPU 計算，放不下的部分會分到 CPU，速度明顯變慢。用 Ollama 的話，`ollama ps` 的 PROCESSOR 欄可以看到分配比例。
- Q2：16GB 顯示記憶體可以跑什麼模型？
- 以 Ollama 官方模型庫的大小來看，8B 級（約 5.2GB）和 14B 級（約 9.3GB）都放得進去；OpenAI 官方也寫明 gpt-oss-20b 可在 16GB 記憶體內執行。實際還要留空間給上下文。
- Q3：公司很多人同時用，要多大的記憶體？
- 要另外算。Ollama 官方 FAQ 寫明，所需記憶體會隨同時請求數乘上上下文長度增加；記憶體不夠時，新的請求會排隊等待。
- Q4：本地模型的電腦可以直接開放到網路上嗎？
- 不建議。Ollama 預設只綁定本機 127.0.0.1；需要讓公司內其他設備使用時，用防火牆只開放給指定設備，不要直接開放到網際網路。
- Ollama 官方 FAQ（ollama ps 的 CPU/GPU 分配、預設上下文 4096、OLLAMA_NUM_PARALLEL 與記憶體、預設綁定 127.0.0.1:11434）：docs.ollama.com
- Ollama 模型庫 qwen3（各版本下載大小與上下文）：ollama.com
- Ollama 模型庫 gpt-oss（下載大小、16GB 與單張 80GB GPU）：ollama.com
- OpenAI gpt-oss 官方 GitHub（117B／21B 參數、MXFP4 量化、硬體需求）：github.com
- Qwen3 官方 GitHub（30B-A3B 等模型尺寸）：github.com
- NVIDIA GeForce RTX 5090 官方規格（32GB GDDR7）：www.nvidia.com
- NVIDIA DGX Spark 官方規格（128GB 統一記憶體、最多 2,000 億參數）：www.nvidia.com
本文整理公開的官方文件、法規與資安標準，供企業評估 AI 導入時參考，不構成法律意見；法規以全國法規資料庫最新條文為準，外部文件、價格與規格以各原始出處最新版本為準。Think BIG 服務的實際範圍，依雙方確認的內容而定。