本地模型夠不夠聰明？怎麼判斷能不能用在公司？

一、為什麼排行榜不夠

排行榜測的是通用能力，你的公司要的是「照我們的文件、用繁體中文、回答我們的問題」。OpenAI 的評估最佳實務也是這樣建議：評估要針對任務設計，測試資料要反映真實使用的情況；它列出的常見錯誤包括只看通用的學術指標、測試資料不像真實流量，以及「看起來能用」就當作通過。

所以判斷本地模型夠不夠用，不是問「哪個模型比較強」，而是問「在我們這 50 題上，它答對幾題、錯在哪裡、錯的代價多大」。

二、本地模型「變笨」，常見的 3 個設定原因

在下結論之前，先排除這些和模型能力無關的問題：

1. 上下文太短，文件放不進去。Ollama 預設上下文是 4,096 個 token。用 AI 查公司文件時，系統會把找到的段落放進上下文；放不下的部分會被截掉，模型就只能憑不完整的資料回答。可以用 OLLAMA_CONTEXT_LENGTH 或 num_ctx 調大，但記憶體占用也會增加（見〈本地大模型需要什麼硬體？〉）。
2. 模型沒有完整放進顯示卡。ollama ps 的 PROCESSOR 欄如果出現 CPU/GPU 混合比例，代表模型有一部分在 CPU 上算，回應會明顯變慢。這是速度問題，不是聰明程度問題，但常被誤判成「本地模型不好用」。
3. 推理設定沒有調。部分模型可以調整推理強度，例如 OpenAI 的 gpt-oss 可以在系統提示裡設定 low、medium、high 三種推理等級；需要多想幾步的題目，用低推理等級測就不公平。

三、5 步驟比較測試

1. 收集題目。從員工實際會問的問題、客服紀錄、內部信件裡挑 30～50 題。三種題目都要有：文件裡答得出來的、文件裡沒有應該說「不知道」或轉人工的、這個使用者沒有權限看的。
2. 寫標準答案和依據。每一題寫下正確答案，以及答案出自哪一份文件的哪一段。
3. 同條件各跑一次。本地模型和雲端模型用同一批文件、同樣的檢索設定、同樣的題目。
4. 逐題評分。分成「正確、部分正確、錯誤、該拒答卻亂答」四類，並記錄回應時間。錯在哪裡比總分重要。
5. 事先訂門檻。例如「文件裡答得出來的題目要答對多少比例」「該拒答的題目一題都不能亂答」，達到才採用。之後換模型或改設定，用同一批題目重測。

測完之後，常見的結論不是「全部本地」或「全部雲端」，而是哪些工作交給本地模型、哪些資料允許的工作才用雲端輔助版。