本地大模型
TB08
本地模型斷網可以用嗎?離線環境要怎麼更新模型和軟體?
可以。模型下載到本機之後,回答問題不需要網路。要做到真正離線,有三件事要處理:關掉雲端功能(Ollama 可以設定 OLLAMA_NO_CLOUD=1)、不要直接套用自動更新(Ollama 在 macOS 和 Windows 預設會自動下載更新),以及把更新改成「在連網的機器上下載、核對、測試,再搬進離線環境安裝」。
一、哪些事情需要網路
以 Ollama 為例(2026-10-19 依官方文件查證):
| 動作 | 需要網路嗎 | 說明 |
|---|---|---|
| 用已下載的模型回答問題 | 不需要 | Ollama 官方說明:在本機執行時,他們看不到你的提示與資料 |
下載模型(ollama pull) |
需要 | 官方 FAQ:Ollama 從網際網路下載模型,可能需要設定代理伺服器 |
| 軟體更新 | 需要 | macOS 和 Windows 版會自動下載更新,按「Restart to update」才套用;Linux 重新執行安裝指令 |
| 雲端模型與網路搜尋 | 需要 | 關掉雲端功能後就不能用 |
另外,AI Agent 接的其他工具(網路搜尋、Email、LINE)本來就要連網。離線環境要先決定:這些功能是拿掉,還是只開放到指定的對象。
二、離線環境的設定清單
- 關掉雲端功能。設定環境變數
OLLAMA_NO_CLOUD=1,或在~/.ollama/server.json設定disable_ollama_cloud,重新啟動後,紀錄裡會出現Ollama cloud disabled: true。 - 固定版本,不直接套用自動更新。記下目前使用的版本;自動下載的更新先不要按「Restart to update」,等測試過再更新。
- 只在本機或內網提供服務。Ollama 預設只綁定
127.0.0.1的 11434 埠;需要讓內網其他設備使用時,用防火牆只開放給指定設備。 - 指定模型存放位置。用
OLLAMA_MODELS指定模型目錄,方便備份、搬移與控管。 - 實際斷網測一次。在防火牆封鎖對外連線的情況下,確認問答仍然正常,並檢查連線紀錄沒有預期以外的對外連線。
三、離線更新的 5 個步驟
- 在連網的測試機下載。新版軟體和模型檔都在一台獨立的測試機上取得。
- 核對來源與雜湊值。OWASP 的供應鏈風險建議:只使用來源可驗證的模型,並用簽章與檔案雜湊值確認檔案沒有被改過。
- 用同一批測試題跑過。換模型或升級版本後,用公司固定的測試題重跑,確認回答品質沒有退步(見〈本地模型夠不夠聰明?〉)。
- 用核准的媒介搬進離線環境。模型可以用 GGUF 檔匯入:建立一個
Modelfile,寫上FROM /path/to/file.gguf,再執行ollama create 模型名稱。官方文件提醒:Ollama 匯入 GGUF 時不會幫你量化,要先準備好量化後的檔案。 - 留版本紀錄,保留舊版。記下更新前後的版本、日期和測試結果;舊版先保留,出問題可以退回。
Think BIG 的地端版怎麼處理連網與更新
Think BIG(大想成業有限公司)是總部位於台灣的企業 AI Agent 導入商,從守護企業資安出發,幫企業把 AI Agent 建在公司自己的環境裡(公司設備,或公司名下的雲端主機)。部署分兩種:地端版的模型與文件都在公司設備內處理;雲端輔助版會把員工的問題與系統找出的文件段落送到模型廠商處理。
- 外部連線逐項確認:地端部署不等於所有連線都在本機;若使用雲端模型、通訊軟體或其他外部服務,相關請求仍會送到該服務,導入前逐項確認。
- 固定版本、不自動更新:技能與套件裝進去之前先掃描;固定版本、不自動更新,有更新先驗過再上。
- 變更可退回:變更前確認範圍、原因、負責人與復原方式,依授權範圍核准後執行。
詳見地端 AI 與資料主權與資安與治理。
brand-src:Think BIG 服務的實際範圍,以雙方確認的內容為準。
Think BIG 服務的實際範圍,以雙方確認的內容為準。
常見問題
- Q1:Ollama 可以完全離線使用嗎?
- 可以。模型下載到本機後,回答問題不需要網路。要避免它連到雲端,可以設定 `OLLAMA_NO_CLOUD=1` 或在 server.json 設定 `disable_ollama_cloud`,代價是不能用雲端模型和網路搜尋。
- Q2:沒有網路要怎麼安裝新模型?
- 在連網的機器下載 GGUF 模型檔並核對雜湊值,搬到離線機器後建立 Modelfile,寫上 `FROM /path/to/file.gguf`,再執行 `ollama create`。
- Q3:Ollama 會自己更新嗎?
- 依官方 FAQ,macOS 和 Windows 版會自動下載更新,按「Restart to update」才會套用;Linux 要重新執行安裝指令。正式環境建議固定版本,測試過再更新。
- Q4:怎麼確認本地模型真的沒有對外連線?
- 在防火牆封鎖對外連線的情況下實際測一次問答,並檢查連線紀錄有沒有預期以外的對外連線。
參考來源(連結於 2026-10-19 查證)
- Ollama 官方 FAQ(本機執行看不到提示、OLLAMA_NO_CLOUD、自動更新、代理伺服器、127.0.0.1:11434、OLLAMA_MODELS):docs.ollama.com
- Ollama〈Importing a model〉(GGUF 與 Safetensors 匯入、匯入時不量化):docs.ollama.com
- OWASP〈LLM03:2025 Supply Chain〉(可驗證來源、簽章與雜湊值):genai.owasp.org
本文整理公開的官方文件、法規與資安標準,供企業評估 AI 導入時參考,不構成法律意見;法規以全國法規資料庫最新條文為準,外部文件、價格與規格以各原始出處最新版本為準。Think BIG 服務的實際範圍,依雙方確認的內容而定。
問答圖書館 · Library 首頁
Think BIG, Make it Real! 大想成業有限公司