本地大模型有什麼優勢？企業把 AI 放在公司裡跑的 5 個好處
本地大模型最大的優勢，是「資料去哪裡由公司自己決定」：模型裝在公司設備上，問題、文件和回答都在公司內處理，不必送到外部模型廠商。另外還有四個好處：斷網也能用、模型版本由公司決定什麼時候換、使用紀錄留在公司手上、可以依機密等級分開使用。不過每一項好處都有前提：要關掉對外連線、要有人維護，也有缺點要一起評估。
一、5 個好處
| 好處 | 為什麼 | 前提 |
|---|---|---|
| 1. 資料不必送出公司 | 本機模型工具的官方說明寫明：在本機執行時，開發方看不到你的提示和資料；改用它的雲端模型時，提示和回覆才會送到它的服務處理。設備放在台灣，資料也可以留在台灣處理；個資法第 21 條規定，非公務機關國際傳輸個人資料，在涉及國家重大利益、接受國個資保護法規不完善等情形，可以被主管機關限制。 | 關掉工具的雲端功能；LINE、Email 等外部通路逐項確認，因為經過它們的訊息仍會出門；備份、監控、更新服務如果放在境外，也要一起列入。 |
| 2. 斷網也能用 | 模型下載到本機後，推論不需要網路，可以放在不連外的環境。 | 更新改成在連網機器下載、驗證後再搬進去，見本地模型斷網可以用嗎？ |
| 3. 版本由公司決定 | 模型檔放在公司設備上，什麼時候換版本由公司決定，換之前可以先用自己的測試題驗證。 | 有些本機工具的桌面版會自動下載軟體更新，要改成手動、固定版本。 |
| 4. 紀錄留在公司 | 誰問了什麼、AI 讀了哪些文件，紀錄都存在公司設備上。個資法施行細則第 12 條把「使用紀錄、軌跡資料及證據保存」列為可採取的安全維護措施之一。 | 紀錄本身也有個資，要設權限與保存期限。 |
| 5. 可依機密等級分開使用 | 機密與個資放在地端處理，一般工作可以另外用雲端。國科會〈行政院及所屬機關（構）使用生成式 AI 參考指引〉第四點也把封閉式地端部署列為「依機密等級分級使用」的選項（見下一節）。 | 先訂好資料分級規則；地端環境要先確認安全。 |
二、公部門怎麼看「地端」
國科會研擬、行政院會 2023 年 8 月 31 日通過報告並請國科會函頒各機關參考的〈行政院及所屬機關（構）使用生成式 AI 參考指引〉，第四點寫到：承辦人不得向生成式 AI 提供涉及公務應保密、個人及未經機關同意公開的資訊；但封閉式地端部署的生成式 AI 模型，須確認系統環境安全性後，方得依機密等級分級使用。
這份指引約束的是政府機關，民間企業不受它拘束；但它說明了一件事：同樣是生成式 AI，「送到外面處理」和「在自己的環境裡處理」，在處理機密資料時被當成兩種情況。而且就算是地端，也要先確認環境安全，不是裝好就能用。
三、這些好處要成立，先做到 3 件事
- 確認真的沒有連出去。 地端部署不等於所有連線都在本機；雲端模型、通訊平台、外部服務都會讓請求送出。資料逐段送到哪裡，見用 AI 查公司文件，雲端版跟地端版的資料各會送到哪裡？
- 有人負責維護。 NIST SP 800-40 第 4 版把修補更新定位為「預防性維護」，是使用科技必要的經常性工作；本機模型、作業系統和周邊軟體都一樣要更新。
- 硬體跑得動。 顯示記憶體不夠，模型會跑得很慢或改用較小的模型，見公司要跑本地大模型，需要什麼硬體？
本地大模型也有缺點：前期硬體成本、能力通常比不上最新的雲端大模型、要有人維護。是否適合，要把優點和缺點一起評估。
Think BIG 的兩種部署方式
Think BIG（大想成業有限公司）是總部位於台灣的企業 AI Agent 導入商，從守護企業資安出發，幫企業把 AI Agent 建在公司自己的環境裡（公司設備，或公司名下的雲端主機）。部署分兩種：地端版的模型與文件都在公司設備內處理；雲端輔助版會把員工的問題與系統找出的文件段落送到模型廠商處理。
- 導入前先列資料流向：應用程式、模型、知識庫索引、原始文件、紀錄與備份各放在哪裡，導入前逐項列出。
- 外部通路逐項確認：地端部署不等於所有連線都在本機。若加開 LINE 等外部通路，經過該通路的訊息會經過該服務；導入前逐項列給客戶確認。
- 固定版本、不自動更新：使用的第三方套件先審查來源與授權、固定版本、不自動更新；交付前先過資安審查，沒通過不交付。
詳見地端 AI 與資料主權與資安與治理。
brand-src：Think BIG 服務的實際範圍，以雙方確認的內容為準。
Think BIG 服務的實際範圍，以雙方確認的內容為準。
常見問題
- Q1：本地大模型的優點是什麼？
- 最大的優點是資料去哪裡由公司自己決定：問題、文件和回答都在公司設備內處理。另外還有斷網也能用、模型版本由公司決定、使用紀錄留在公司、可以依機密等級分開使用。
- Q2：用本地大模型，資料就一定不會外流嗎？
- 不一定。地端部署不等於所有連線都在本機：如果開了工具的雲端功能，或經過 LINE、Email 等外部通路，相關訊息仍會送出。要逐項確認對外連線，並設好權限與紀錄。
- Q3：政府機關可以用本地大模型處理機密嗎？
- 依國科會〈行政院及所屬機關（構）使用生成式 AI 參考指引〉第四點，承辦人不得向生成式 AI 提供應保密、個人及未經同意公開的資訊；但封閉式地端部署的生成式 AI 模型，須確認系統環境安全性後，方得依機密等級分級使用。
- Q4：本地大模型可以完全離線使用嗎？
- 可以。模型下載到本機後，推論不需要網路；要做的是關掉工具的雲端功能，並把更新改成在連網機器下載、驗證後再搬進離線環境。
- 行政院院會議案：行政院及所屬機關（構）使用生成式 AI 參考指引（2023-08-31）：www.ey.gov.tw
- 國科會新聞稿附指引全文，第四點（行政院會 2023-08-31）：www.ey.gov.tw
- 個人資料保護法 第 21 條（國際傳輸）｜全國法規資料庫：law.moj.gov.tw
- 個人資料保護法施行細則 第 12 條（安全維護措施）｜全國法規資料庫：law.moj.gov.tw
- NIST SP 800-40 Rev. 4：Guide to Enterprise Patch Management Planning: Preventive Maintenance for Technology（2022）：nvlpubs.nist.gov
- 本機模型工具官方 FAQ（本機執行時不傳送提示、關閉雲端功能、桌面版自動更新）：docs.ollama.com
- Think BIG〈RAG 知識問答〉（地端部署不等於所有連線都在本機）：thinkbigtw.com
本文整理公開的官方文件、法規與資安標準，供企業評估 AI 導入時參考，不構成法律意見；法規以全國法規資料庫最新條文為準，外部文件、價格與規格以各原始出處最新版本為準。Think BIG 服務的實際範圍，依雙方確認的內容而定。