你問 AI：「依公司現行出差規定，兩天的餐費最多可報多少元？」現行規定是每天 300 元，答案應該是 600 元，它卻回答 400 元。

是模型 (Model) 算錯了，還是它看到的規定就不對？只看最後的 400 元，分得出來嗎？

前幾章把外部文件接進回答流程；上一章也看到，文件中的要求可能把回答帶偏。這一章要把整段交接打開：哪一步先出了差錯，就從那一步找修正方向。

先打開紀錄，看看 400 元怎麼來的

假設這次流程留下了以下紀錄：

這一次，第一個不符要求的地方是文件版本。 模型照拿到的 200 元算出 400 元，乘法沒有錯；但使用者問的是現行規定。只要求模型「再仔細算一次」，沒有把每天 200 元換掉，不能解決這個問題。

把取回的文件換成 v1，才讓模型有機會依每天 300 元回答。這是修資料供應的環節，不是讓模型重新訓練 (Training)。

文件對了，還有哪裡可能出錯？

再看兩個不同的交接：

第一列不是沒找到文件，而是找到了，卻沒放進這次輸入。文件存在資料庫或已被程式讀到，都不等於模型看到了。

第二列的資料交接沒有漏，回答仍可能錯。該看的是回覆如何產生、計算有沒有核對，而不是把文件再找一遍。

不知道規定時不亂猜，和有依據卻答錯，也要分開記錄。本題要求回答金額，所以前者仍是「未完成」，但不能把它當成憑空編出錯誤數字。

換文件、補資料、核對答案，解決的是不同問題

練習每次只套用一個修正，原問題與四個案例都不換：

• 換文件：改拿現行 v1。修的是舊資料，沒有補上另一案例漏掉的輸入。
• 補資料：把已取回的規定放進輸入。若原本取回的是 v0，補進去仍是舊規定。
• 核對答案：呈現前，程式依另外確認的現行規定算出 600 元，攔下不一致的數字。它沒有更換舊文件，也沒有替模型產生正確回答。

最後一項刻意使用獨立確認的規定。若檢查程式也直接相信錯誤的「每天 200 元」，它可能判定 400 元沒問題。檢查本身用什麼依據，同樣需要確認。

攔下錯誤，只表示這次沒把錯誤金額呈現出去；還不等於使用者已拿到 600 元的答案。 像上一章擋下修改操作，也不代表原問題已經回答完成。

這些紀錄能縮小要查的範圍，但不是看見一次失敗就證明唯一原因。真實流程可能同時有舊文件、輸入漏放與計算錯誤；先修一處，再看同一案例的後續紀錄，才能繼續追。

怎麼知道改完是真的有幫助？

如果只挑剛剛修好的那題展示，很容易覺得「系統已經修好了」。還要把原本答得對的案例與其他失敗案例一起跑回來，確認改善了什麼、留下什麼，有沒有把原本正常的情況弄壞。

這樣先定好問題、成功條件，再用案例檢查系統的做法，叫評估 (Evaluation)。本章的成功條件很具體：依現行 v1 回答兩天 600 元。資料找對、錯誤被擋或回答很肯定，都不能各自代替這個條件。

練習的四個案例只是幫助理解分工。真實評估還要涵蓋不同問題、資料缺漏與權限情況；留一些沒有拿來反覆修改系統的新案例，再檢查它是否仍能處理。模型每次產生的結果可能不同，同一題也可能需要重複檢查，不能用這裡固定的「答對幾個」推論真實產品的可靠度。

本題金額可以直接用程式核對；長篇摘要或模糊規定可能需要人工檢查，也可以請另一個模型協助，但它的判斷仍可能錯，不能把評分模型當成永遠正確的裁判。完成任務後的實際結果也要查：若任務是修改紀錄，不能只看它說「已修改」，還要看紀錄真的變了沒有。

下次看到 AI 答錯，可以先問：它拿到什麼資料？這次輸入裡真的有嗎？回覆和依據對得上嗎？使用者最後拿到什麼？ 這四個問題，把「AI 不準」變成可以逐步查證的具體交接。

參考：Microsoft 的檢索與回答分開檢查、Anthropic 的任務條件、執行紀錄與實際結果。查核日期：2026-10-10。本章案例為自製示意，不是模型效能比較；耗時、費用及完整產品評估另行討論。