本地大模型有什麼缺點？什麼情況反而該用雲端
本地大模型有 5 個要誠實面對的缺點：前期要買硬體；能力通常比不上最新的雲端大模型，因為公司設備跑得動的模型多半比最大的模型小；要有人負責維護、更新和監控；用量很少或需求起伏大時，設備常常閒著，不划算；電力、散熱、機房空間、硬體折舊換代，以及備份與災難復原的責任，都回到公司身上。另外，放在地端也不會自動解決提示注入、權限設定這些問題。所以資料可以出門、用量小、需要最新能力，或公司沒有人能維護時，雲端反而合適；常見做法是依資料分級混用。
一、5 個缺點
| 缺點 | 為什麼 | 可以怎麼降低 |
|---|---|---|
| 1. 前期硬體成本 | 模型要整個放進顯示記憶體才跑得順，模型越大，需要的設備越貴；雲端是用多少付多少，不用先買設備。 | 先挑一個流程試，用實際用量決定規格，見公司要跑本地大模型，需要什麼硬體？ |
| 2. 能力有落差 | Stanford《AI Index 2025》指出，開放權重模型和封閉模型在部分基準上的差距，一年內從 8% 縮小到 1.7%（2024 年的數據）。差距在縮小，但公司設備跑得動的，通常不是最大的那幾個開放模型。 | 用公司自己的題目測，不看排行榜，見本地模型夠不夠聰明？ |
| 3. 要有人維護 | NIST SP 800-40 第 4 版把修補更新定位為預防性維護、使用科技的經常性成本。本機模型、作業系統、驅動程式和周邊套件都要有人更新、監控和備份。 | 一開始就寫清楚誰負責、多久檢查一次；固定版本，更新前先測。 |
| 4. 用量少或起伏大時不划算 | 設備的容量是固定的：平常用得少，設備就閒著；尖峰時同時使用的人多，回應會變慢。 | 先估平常與尖峰的使用量，再決定地端、雲端或混用。 |
| 5. 資產責任回到公司 | 設備要電力、散熱和放置空間；硬體會折舊，幾年後要換代；資料的備份與災難復原（設備壞了、機房出事時怎麼還原）也由公司負責，不再由雲端業者承擔。 | 導入前把電力與散熱、汰換時程、備份地點與還原演練一起列入規劃。 |
第 4、5 點是實務上的判斷，不是上述資料的結論。
二、地端不會自動變安全
模型放在公司裡，解決的是「資料要不要送出去」；OWASP 2025 年版 LLM 十大風險裡的很多項，跟模型放在哪裡無關。例如提示注入（LLM01）：AI 讀到的文件或網頁藏有指令，地端模型一樣會受影響；過度代理（LLM06）：AI Agent 拿到太大的權限，地端一樣會出事。這些要靠權限設計、人工核准和測試，見提示注入是什麼？與AI Agent 的權限要怎麼設？
三、什麼情況雲端反而合適
以下是實務上的判斷：
- 資料可以出門。 處理的是公開資料、行銷文案這類不含個資與機密的內容。
- 用量小或還在試。 還不確定會不會天天用，先用雲端試，比先買設備穩。
- 需要最新能力。 工作需要最新雲端大模型才做得到的能力，而地端模型用自己的題目測過確實不夠。
- 沒有人能維護。 公司沒有人或廠商負責更新和監控，地端設備放著不管，風險反而更高。
- 需求起伏很大。 偶爾一次要處理大量資料，平常幾乎不用。
四、混用：依資料分級
常見做法不是二選一，而是依資料分級：機密和個資走地端，一般工作走雲端。國科會研擬、行政院會 2023 年 8 月 31 日通過報告的〈行政院及所屬機關（構）使用生成式 AI 參考指引〉第四點也是類似的思路：一般情況不得把應保密與個人資訊交給生成式 AI，封閉式地端部署則須確認環境安全後依機密等級分級使用。怎麼分級，可以參考員工把公司資料貼進 ChatGPT，會有什麼風險？；本地大模型的優點，見本地大模型有什麼優勢？
Think BIG 兩種部署都做
Think BIG（大想成業有限公司）是總部位於台灣的企業 AI Agent 導入商，從守護企業資安出發，幫企業把 AI Agent 建在公司自己的環境裡（公司設備，或公司名下的雲端主機）。部署分兩種：地端版的模型與文件都在公司設備內處理；雲端輔助版會把員工的問題與系統找出的文件段落送到模型廠商處理。
- 用測試題決定，不只看展示：由熟悉業務的人建立測試問題、正確依據與可接受的回答範圍，逐題核對，再決定地端模型夠不夠用。
- API 帳號開在公司名下：選雲端輔助版時，用公司自己的帳號向模型廠商申請 API，適用該廠商的服務條款；費用與用量紀錄都在公司手上。
- 換模型要重新驗證：更換模型時須重新驗證流程與輸出品質，既有配置能否沿用依實際測試結果確認。
brand-src：Think BIG 服務的實際範圍，以雙方確認的內容為準。
Think BIG 服務的實際範圍，以雙方確認的內容為準。
常見問題
- Q1：本地大模型有什麼缺點？
- 主要有 5 個：前期硬體成本；能力通常比不上最新的雲端大模型；要有人負責維護、更新和監控；用量少或需求起伏大時，設備容量固定，不划算；電力、散熱、機房空間、硬體折舊換代與備份災難復原的責任回到公司。另外，地端也不會自動解決提示注入與權限問題。
- Q2：本地模型跟雲端大模型差多少？
- 要看任務。Stanford《AI Index 2025》指出，開放權重模型和封閉模型在部分基準上的差距一年內從 8% 縮小到 1.7%（2024 年的數據）；但公司設備跑得動的通常不是最大的模型，實際差多少要用公司自己的題目測。
- Q3：什麼情況用雲端比較好？
- 資料可以出門、用量小或還在試、需要最新能力而地端測過不夠、公司沒有人能維護，或需求起伏很大時，雲端通常比較合適。
- Q4：地端和雲端可以混用嗎？
- 可以。常見做法是依資料分級：機密和個資走地端，一般工作走雲端。分級規則要寫清楚，讓員工知道哪些資料可以送到雲端。
- Stanford HAI, The 2025 AI Index Report（2024 年數據：開放權重與封閉模型差距由 8% 縮小到 1.7%）：hai.stanford.edu
- NIST SP 800-40 Rev. 4：Guide to Enterprise Patch Management Planning: Preventive Maintenance for Technology（2022）：nvlpubs.nist.gov
- OWASP Top 10 for LLM Applications 2025（LLM01 提示注入、LLM06 過度代理）：genai.owasp.org
- 行政院院會議案：行政院及所屬機關（構）使用生成式 AI 參考指引（2023-08-31）：www.ey.gov.tw
- 國科會新聞稿附指引全文，第四點（2023-08-31）：www.ey.gov.tw
本文整理公開的官方文件、法規與資安標準，供企業評估 AI 導入時參考，不構成法律意見；法規以全國法規資料庫最新條文為準，外部文件、價格與規格以各原始出處最新版本為準。Think BIG 服務的實際範圍，依雙方確認的內容而定。