上一章看到了：聊天程式可以把先前對話或取回的資料，交給模型 (Model) 參考。但結尾也留下一句話：提供了依據，仍不保證回答正確。為什麼？

先看一個簡單例子。你提供一張公告：「星河讀書會在星期六下午兩點舉行」，再問「讀書會在星期幾舉行？」。假設得到這個回答：

「讀書會一定在星期五舉行。」

句子很通順，語氣也很肯定，卻把星期六說成星期五。這章要理解的是：AI 明明能寫出像樣的答案，為什麼還會把內容說錯？

先分清：能解題，和每次都答對

預測下一個 token 是訓練目標，不表示模型內部只能記住常見接法。 例如要根據故事回答「被移動的鑰匙現在在哪」，利用物品與位置的關係，就可能幫助它預測符合故事的文字；這類能力需要用新的例子檢查。

如果你正疑惑「接文字為什麼能學會解題」，先讀〈語言模型是什麼〉中「預測下一個 token，為什麼可能學會解題？」一節。那裡用三個鑰匙故事分開任務、學習與檢查，再連到既有的泛化 (Generalization) 章節。

本章接著問：即使模型具備一些解題能力，為什麼仍可能把這次公告的星期說錯？ 我們要看的，是能力的可靠範圍與這次答案的依據。

能把一句話接完，和把日期答對，是兩件事

回想前面的生成過程：大型語言模型 (Large Language Model, LLM) 根據這次輸入與已學到的參數 (Parameters)，計算下一個 token 的候選機率 (Probability)，選出一個，接回文字，再繼續。

在本例中，「讀書會一定在星期五舉行」和「讀書會一定在星期六舉行」，都是讀得通的句子。要分辨哪句符合公告，還得把答案的星期和公告的星期對起來。

模型能學到事實，也能依前文回答問題；它不是只能胡亂接字。但逐步產生文字這個流程，本身沒有保證每一句都通過事實核對。 即使正確的公告就在輸入裡，也仍可能沒有正確利用它。

「這個 token 機率很高」究竟在說什麼？

候選機率回答的是：「在這段前文之後，模型替下一個 token 分配多少比例？」它不是「整句回答在現實中為真的機率」。

兩者連比較的對象都不同：一個在比較下一個文字片段，一個要檢查完整主張與證據。在本例裡，要判斷的是星期是否符合公告，不能拿某個 token 的機率代替。

所以，即使生成時每次都選最高機率的候選，也沒有另外完成星期核對。選取方式會影響生成結果，不等於多了一個保證正確的步驟。機率轉換與選取的細節，可回看〈候選分數怎麼變成機率？〉。

先只改一件事，看看差別

保留星期六的公告，先把答案從「一定是星期五」改成「我猜是星期五」。星期有變正確嗎？再只把答案中的星期五改成星期六，看看什麼才真正改變了。

沒有資料，和資料證明它錯了，也要分開

剛才公告寫星期六，答案卻寫星期五，兩者可以直接對照出矛盾。現在把公告改成只有：「星河讀書會的地點在社區圖書室」。

這份公告沒有寫星期。只靠這份資料，既不能支持「星期五」，也不能證明「星期五」一定錯。 答案可能碰巧正確，也可能錯；還缺能判定的依據。

反過來，答案與公告一致，也只代表它符合這份公告。公告本身若過時或寫錯，一致仍不代表符合現況；完整答案若另加了沒有依據的細節，也要分開檢查。

為什麼不知道時，還能講得這麼肯定？

「一定是」「根據資料可知」也是模型產生的文字。模型可以學到這些說法怎麼用，句子裡的肯定語氣，卻不是一次獨立查核的證明。保守語氣也不是內容正確的保證。

回到訓練 (Training)：一般文字預訓練 (Pretraining) 會用原文中的下一個 token 作為目標，不是替原文的每項事實附上「已查證正確」標籤。因此，學得會文字規律、知道許多事情，仍可能在缺少資訊、資料有誤或運用資訊時出錯。

後續訓練與評估 (Evaluation) 也會影響回答習慣。例如，只按答對題數給分、答錯與不回答都零分的制度，可能鼓勵在不確定時給出猜測。這是研究指出的一種成因，不能據此判定每一次錯誤都來自同一原因。

把看似合理卻不正確的生成內容，常稱為幻覺 (Hallucination)。這個名稱不是說模型有人的感官經驗，也不代表它有意欺騙；這裡關心的是答案是否正確、是否有資料支持。

從「缺資料」到「有依據」，中間還有哪些步驟？

本例有兩個不同的問題：公告沒寫星期時，需要補足資訊；公告明明寫星期六卻答星期五時，則是答案沒有符合已提供的資料。兩種情況不能都用「多放一點文字」解釋。

外部搜尋、檢索增強生成 (Retrieval-Augmented Generation, RAG) 或其他工具，可以協助取得資料。但找到資料、把它提供給模型、正確使用它、檢查答案是否受它支持，仍是不同步驟。後續章節會先追「相關資料怎麼找」，再談文件問答的完整流程。

這章先留下三個分開的判斷：文字讀得通嗎？資料支持它嗎？資料本身可靠且適用嗎？ 語氣不能替代後面兩個判斷。

參考：Hugging Face：下一個 token 的預測目標、Why Language Models Hallucinate 原始研究、OpenAI 對研究的說明（2026-10-08 查核）。本章限於常見生成式 LLM 的文字回答；研究分析的機制不替任何個別產品或本練習提供正確率。練習只比較預先標記的星期，不是通用事實查核器。