AI 為什麼有時要「想一下」？多想幾步，到底多了什麼？
AI 為什麼有時要「想一下」？多想幾步，到底多了什麼？
你問 AI 一個問題，有時很快就看到答案，有時畫面卻先顯示「思考中」。同一個 AI，為什麼不能馬上回答？它多花的那些時間，究竟在做什麼？
上一章說，常見聊天語言模型 (Language Model) 逐個產生 token，已經產生的內容會影響下一步。它也可以先產生用來解題的中間內容，讓後面的計算使用，再產生給你的答案。
先看一個小例子，理解多出來的「中間內容」有什麼用；稍後再回到真實 AI 的思考與 effort 設定。這裡談的是語言模型的一種解題方式，不是所有 AI 的共同流程。
先別急著給答案：要算出什麼，才能算下一步？
3 人，每人買 2 張票，每張 80 元，整筆訂單折抵 40 元。最後付多少元？
可以直接寫出「440 元」，也可以先把問題拆成三個小問題：
| 這一步先解決什麼？ | 算出的結果 | 下一步怎麼用它？ |
|---|---|---|
| 總共買幾張？ | 3 × 2 = 6 張 | 用 6 張算原價 |
| 折抵前多少錢？ | 6 × 80 = 480 元 | 用 480 元扣折抵 |
| 最後付多少？ | 480 − 40 = 440 元 | 作為最終答案 |
多出的不是新的題目資料，而是根據題目算出的結果：6 張、480 元。 前一步留下的結果，把後一步要處理的事情變得更單純。
先猜：把 3 人換成 2 人，哪一步最先變？後面還能直接沿用 480 元嗎？
按「加上下一步結果」，看題目下方如何逐步留下算式。再把人數換成 2 人，從頭比較：變的是哪個條件？哪些中間結果跟著改變？
模型逐個產生 token，怎麼也能做這件事？
假設模型先產生「總共 6 張票」。接下來的計算便不只依據原題，還能使用剛才產生的「6 張票」。再產生「原價 480 元」之後，這個結果也能成為後續依據。
| 時刻 | 此時可供後續計算使用的內容 |
|---|---|
| 開始 | 原題 |
| 留下第一步結果 | 原題＋總共 6 張票 |
| 留下第二步結果 | 原題＋總共 6 張票＋原價 480 元 |
| 產生答案 | 根據以上內容，算出折抵後 440 元 |
模型仍然在逐個產生 token。差別在於，它在最終答案之前，多生成了一些可以繼續使用的解題內容。 產生這些 token 需要執行模型計算，所以能增加這次解題所用的運算量。
每一步使用的仍是同一個模型。改變的是這一題已經留下了哪些內容，以及接著要根據什麼繼續計算；模型內部的數值不會因此重新學習。
這種利用中間步驟解題的過程，稱為推理 (Reasoning)。讓模型產生一串中間解題步驟的方式，常稱為思維鏈 (Chain of Thought)。研究在一些算術、常識與符號任務中觀察到幫助，但不表示所有題目都需要長過程，也不表示列出步驟就必然正確。
畫面只顯示「思考中」，那些內容在哪裡？
前面的算式是方便閱讀的教學例子。真實推理模型可以在給出答案前，或回答與工具呼叫之間，生成不直接顯示給使用者的推理 token (Reasoning Tokens)，用於拆解問題、考慮不同做法或檢查結果。
因此，最後只回覆一句「440 元」，不代表這次只生成了那一句的 token。 解題用的中間內容與最後顯示的回答，可以是不同部分。
產品可能顯示思考摘要，但摘要不是完整內部紀錄。事後請 AI 寫一段解釋，也不能直接當成剛才實際計算過程的逐字重播。另外，等待也可能來自排隊、網路或工具執行；單看等了多久，無法確定模型推理了多少。
effort 調高，就是讓這次回答多做一些推理工作
有些服務提供推理強度 (Reasoning Effort)，也就是你可能看過的 effort 設定。以 OpenAI 的設定為例，較高強度會引導模型在這次任務投入更多推理；較低強度偏向速度與較少 token 用量。
使用的仍是已經訓練 (Training) 好的模型 (Model)；調高 effort 不會現場重新訓練，也不會永久增加參數 (Parameter)。 改變的是回答這一題時投入的工作，稱為增加推論時計算 (Inference-Time Compute)。推論 (Inference) 就是使用已訓練好的模型進行計算。
「怎麼把中間步驟用好」也需要模型具備相應能力，推理模型通常還接受過針對解題方式的訓練；只給任意模型更長的輸出空間，不會自動得到可靠推理。
effort 也不是精確的碼表：設高不等於固定想十步、固定花幾秒，或固定使用多少 token。實際工作量還與題目、模型和產品實作有關，各供應商的設定也不完全相同。
多想，為什麼仍然會錯？
如果第一步把 3 × 2 寫成 5，後面即使很認真地算「5 × 80 − 40」，仍會得到錯誤答案。中間步驟可以幫忙，也可能把前面的錯誤帶下去；檢查結果有機會發現問題，但不是保證。
還有另一種情況：題目只說「有優惠」，卻沒提供優惠金額。多做計算也不能確定應該扣多少，必須先取得缺少的資料。這可接著讀〈模型只能處理 token，怎麼用工具讀文件？〉。
所以，多想的價值在於有機會拆開複雜問題、利用中間結果與檢查做法；是否真的改善，要看實際任務表現，不能只看過程長短或語氣肯定。
使用補充：什麼時候值得多想？
需要連接多個條件、規劃步驟或檢查程式問題時，可以比較不同 effort 的結果與等待時間；簡單改寫不一定需要同樣投入。先確認模型拿到了必要資料，再看增加推理是否值得，沒有所有任務通用的最佳檔位。
參考：思維鏈研究（2023，v6）、OpenAI 推理訓練與推論時計算研究（2024，o1 歷史研究，非現行產品選用指南）、OpenAI 推理 token 與 effort 官方說明。查核日期：2026-10-11。購票例子是自製教材，沒有用它證明真實模型調高 effort 必然變好。