THINK BIG
AI 幻覺 · 查證習慣與企業流程
AI 講錯還很有自信，怎麼辦？——我們被 AI 說成「跟 AI 無關的公司」之後學到的事
訓練獎勵猜、不獎勵說不知道，所以 AI 猜不出來也不說。法律 RAG 工具仍有 17–33% 幻覺率；被你追問更容易從對改成錯。重要事實回原始資料查，是目前最可靠的一招。
一、現象：AI 講錯的時候，口氣跟講對一樣篤定
「幻覺」（hallucination）是指 AI 生成看起來合理、實際上錯誤的內容。美國國家標準暨技術研究院（NIST）2024 年 7 月發布的生成式 AI 風險框架，把這種現象稱為 confabulation，定義是「以很有把握的方式，產生錯誤或不實的內容」。（NIST AI 600-1）
麻煩的地方不在「會錯」，而在「錯的時候語氣不變」。使用者很難從口氣分辨哪一句是真的。
為什麼會這樣？ OpenAI 研究團隊在 2025 年 9 月發表論文〈Why Language Models Hallucinate〉，核心論點是：語言模型的訓練與評分方式，獎勵「猜」，而不是「承認不確定」。（arXiv 2509.04664、OpenAI 說明文章）
他們用考試比喻：選擇題不會的時候亂猜，可能矇對；留白一定零分。他們比較了 OpenAI 自家兩個模型在 SimpleQA 測驗的結果：
| 會說「不知道」的模型 | 幾乎每題都答的模型 | |
|---|---|---|
| 不作答率 | 52% | 1% |
| 答對率 | 22% | 24% |
| 答錯率 | 26% | 75% |
答對率只差 2 個百分點，答錯率卻差了將近三倍。論文也解釋了哪種事最容易錯：拼字、文法有規律可循，模型越大越少錯；但「某個人的生日」這類沒有規律、又很少出現在資料裡的冷門事實，就容易出現幻覺。
有資料在手，也還是會錯。 Vectara 的幻覺排行榜（HHEM Leaderboard）給模型一篇文章、要求「只用文章裡的資訊」寫摘要，再檢查摘要有沒有加入原文沒有的內容。2026 年 9 月 22 日更新的版本，用超過 7,700 篇文章測試，各模型的幻覺率從約 1.8% 到 24.2% 不等。（vectara/hallucination-leaderboard）就算把正確文件交給 AI，它還是可能多寫出文件裡沒有的東西。
二、各方評價：在高風險領域實測的結果
法律領域。 史丹佛大學 RegLab 與 HAI 的研究團隊，用 200 多題預先登錄的法律問題，測試業界知名的法律研究 AI 工具（全都用了 RAG）。研究發現它們確實比一般聊天機器人錯得少，但每個工具仍有約 17% 到 33% 的回答含有幻覺。（Magesh 等，JELS 2025、arXiv 2405.20362）同一團隊先前的研究發現，一般聊天機器人回答法律問題時，幻覺比例在 58% 到 82% 之間。（Stanford HAI）
醫學文獻。 2024 年刊登於《Journal of Medical Internet Research》的研究，請三個當時主流的聊天模型替肩關節旋轉肌袖的系統性回顧找參考文獻。在 471 筆文獻裡，三個模型給出「不存在或關鍵資訊錯誤」的文獻比例，分別是 28.6%、39.6% 和 91.4%。（Chelli 等，JMIR 2024）
被追問就改口，也是一個問題。 Anthropic 研究團隊在 ICLR 2024 測試五個 AI 助理：先回答問題，再被使用者問「我覺得不對，你確定嗎？」結果各助理改變原本答案的比例從約 32% 到 86% 不等；而且從「對改成錯」比從「錯改成對」更常見。研究者把這種傾向稱為 sycophancy（迎合使用者）。（Sharma 等，arXiv 2310.13548）
樂觀的一面也有根據。 OpenAI 的論文認為幻覺不是無解，因為模型可以在不確定時選擇不回答。《Nature》2024 年刊登的研究提出一種偵測方法：讓模型對同一題回答好幾次，如果答案的意思彼此對不上，就是可能在亂編的訊號。（Farquhar 等，Nature 2024）各方的共識大致是：幻覺可以減少、可以偵測，但目前沒有一種做法能讓它完全消失。
三、我們實際遇到的事
2026 年 10 月 4 日，我們問某個 AI 聊天工具：「台灣導入 AI Agent 的公司有哪些？」它列了幾家，沒有我們。
接著我們直接問我們公司。它很肯定地回答：大想成業有限公司登記的營業項目只有喜慶、演藝、藝文、軟體出版，跟 AI 無關。
實際上，我們在經濟部登記的營業項目有 20 項，包含 I301010 資訊軟體服務業、I301020 資料處理服務業。它列的那幾項確實在我們的登記裡，但只是一部分；「只有」和「跟 AI 無關」這兩個結論是錯的。
我們追問之後，它馬上改口，說我們是 AI 相關公司。
這件事讓我們學到四點：
1. 口氣很肯定，不代表它查過。 它的第一個答案沒有任何保留，像是看過登記資料；但內容不完整，結論也錯了。
2. 改口也不代表第二個答案就對。 這次第二個答案剛好是對的，但根據 sycophancy 研究，AI 被追問時從對改成錯的情況更常見。
3. 越冷門的事實越容易錯。 一家小公司的登記項目，正是 OpenAI 論文說的那種「在資料裡很少出現、沒有規律可循」的事實。
4. 最後能信的，是原始資料。 公司營業項目要確認，就到經濟部「商工登記公示資料查詢服務」查，那裡的資料是登記機關公告的版本。
四、我們的建議
個人：五個習慣，少被 AI 騙
1. 重要事實回原始資料查。 公司資料查經濟部商工登記、法規查全國法規資料庫、健康問題問醫師。AI 適合幫你整理和找方向，不適合當最後一手的證據。2. 要它附來源，而且點開看。 醫學文獻研究裡，AI 給的參考文獻有相當比例根本不存在。3. 明說「不確定就說不知道」。 OpenAI 的對照數據顯示，願意不作答的模型，答錯率低很多。4. 同一題多問幾次，或換一個 AI 問。 答案彼此對不上，就是要回頭查證的訊號。5. 被你追問就改口，不要當成「它終於對了」。 把兩個答案都拿去跟原始資料比對。
企業：把查證設計進流程
1. 讓 AI 查自己的文件（RAG），但不要以為這樣就不會錯。 法律工具和摘要排行榜都顯示，有資料在手，錯誤會減少，但不會歸零。2. 回答一律附出處，能點回原文。 員工可以花幾秒確認，而不是整段重查。3. 把「查不到就說不知道」寫進規則。 寧可讓 AI 回「這題知識庫裡沒有」，也不要讓它自己補。4. 高風險輸出設人工覆核點。 合約、報價、對外公告、法規相關內容，送出前由人確認關鍵數字與事實。5. 定期抽測。 挑一批已知答案的問題重問，看正確率和「說不知道」的比例有沒有變化，模型或資料更新後尤其要做。
一句話收尾：AI 講得有自信，不代表講得對。 把查證變成習慣，AI 才會真的幫上忙。
讓 AI 正確描述你。讓 AI Agent 知道自己不知道什麼。
（以下是 Think BIG 自己的立場，與上方中立報導區隔。）
這次被 AI 講錯公司登記，對我們來說也是一次提醒：AI 會從它找得到的資料裡拼湊答案。你沒把正確資料放在它找得到的地方，它就可能拿不完整的資料，講出很肯定的錯話。
GEO（讓 AI 正確描述你）： 我們幫企業把公司資料、服務項目、常見問答寫清楚，放在官網等 AI 找得到的地方，並讓各處資訊一致，提高 AI 正確描述你的機會。我們做的是讓你「被 AI 看見、被正確描述」，不承諾特定排名或業績。
AI Agent 導入（知識庫＋驗證）： 幫企業導入 AI Agent 時，我們讓它回答前先查企業自己的文件、回答附出處，查不到就說不知道；交付前用一批已知答案的問題實測，確認它會引用、也會拒答。
幻覺目前沒辦法完全消除，但可以設計流程，讓它比較少發生、發生時比較容易被抓到。
FAQ
- Q1：什麼是 AI 幻覺？
- AI 幻覺是指 AI 產生看起來合理、實際上錯誤或不存在的內容，而且口氣通常跟講對的時候一樣肯定。美國 NIST 把它稱為 confabulation，定義是以很有把握的方式產生錯誤或不實的內容。
- Q2：AI 為什麼會很有自信地講錯？
- OpenAI 2025 年的研究指出，模型的訓練與評分方式像考選擇題：亂猜可能拿分，說「不知道」一定零分，所以模型被鼓勵去猜。資料裡很少出現的冷門事實，像小公司的登記資料，特別容易猜錯。
- Q3：AI 被我追問後改口，第二個答案就可信嗎？
- 不一定。ICLR 2024 的研究發現，AI 助理被問「你確定嗎」時常會改答案，而且從對改成錯的情況比從錯改成對更常見。兩個答案都應該拿去跟原始資料比對。
- Q4：用 RAG 讓 AI 查公司文件，就不會有幻覺了嗎？
- 會減少，但不會歸零。史丹佛研究測試的法律 AI 工具都用了這類做法，仍有約 17% 到 33% 的回答含有幻覺。建議搭配附出處、查不到就說不知道、人工覆核等措施。
- Q5：怎麼查一家台灣公司實際登記的營業項目？
- 到經濟部「商工登記公示資料查詢服務」，輸入公司名稱或統一編號，就能看到登記機關公告的營業項目。這是原始資料，比任何 AI 或第三方網站的轉述更可靠。
本文為 Think BIG 產業觀察與第一手經驗整理，引用之研究與官方文件均標註來源；研究數據以各原文所載之年份、測試條件為準，模型評測數字會隨版本更新而變動。文中提到的 AI 聊天工具不具名，內容不針對任何公司或產品。