返回章節列表
第2站 · 2.2
再拆機制
token 與上下文
為什麼不能把所有對話都塞給 AI?
這一章在講什麼
用 token 預算理解上下文 (Context) 容量,再比較不同裁切策略留下哪些訊息。
你已經知道:模型 (Model) 依這次提供的上下文 (Context) 回答,而文字可以用 token 計量。接下來的問題是:上下文能一直增加嗎?
**上下文視窗 (Context Window)**是模型一次可容納的內容範圍。文字對話的既有訊息、新問題與本輪輸出都需要空間;程式提供的 系統指示 (System Prompt)、工具定義等也可能占用容量。系統指示與一般使用者訊息的用途和權限不同,不能只因都占空間就視為同一種訊息。
容量足夠只代表放得下,不保證模型正確利用每段資訊。檔案大小、輸出長度與上下文容量也可能是不同限制。
超出時如何處理,要看產品與設定。有的請求會報錯,有的系統先摘要,有的刪除較舊內容。整則丟棄是其中一種程式策略,不是模型必然的行為。
先預測:內容超出預算 300 token,策略是從最舊的整則訊息開始刪,而最舊一則有 800 token,刪完會留下多少空間?
Token 預算實驗室開新分頁使用完整版 ↗
載入範例對話,調低上限,觀察哪些訊息被標為丟棄。保持內容和上限不變,切換裁切策略,比較是否放得下及留下哪些內容。這是本地策略模擬,沒有發出模型請求。
刪掉 800 token 後就比上限少了 500 token。因為刪除單位是整則訊息,通常不會剛好貼齊上限。
這個算式只適用於所述的裁切條件。換成「不裁切」,超量依然存在;保留 system 時,可刪訊息也不同。改用摘要則要另外評估摘要保留了什麼,不能套用整則丟棄的結果。
真正重要的是:剩下的上下文是否仍有完成任務所需的資訊? 如果會議時間那一則被刪掉,即使總數已低於上限,也不能期待模型憑空知道新時間。
超量 300 token,刪除最舊的 800-token 訊息後,餘裕是多少?什麼條件改變時,不能再沿用這個答案?
參考:Claude 的上下文說明。查核日期:2026-09-22。裁切實驗依本工具實作,不代表特定產品預設策略。