模型 (Model) 如何組成聊天服務?
〈LLM 如何製作?〉走到終點,已經有可載入使用的模型 (Model)。但你打開 ChatGPT、Gemini 或 Claude 時,還能看到先前對話、上傳文件,有時它也能使用工具。
一個負責計算的模型,怎麼成為這種完整聊天服務?這些額外工作是誰做的?
先沿一個問題看分工:你問公司內部助理「公司明天幾點上班?」。模型會生成文字,卻不因此知道這家公司的最新規定。服務程式需要決定提供哪些資料,再把結果交回畫面。
畫面上的一句話,怎麼交給模型?
介面先接收你輸入的問題。服務程式整理這次要提供的內容,依設計可以包含原本要求、先前對話或其他已取得的材料,再呼叫模型計算。
模型收到的這份內容叫上下文 (Context)。模型產生回應後,服務程式把它顯示出來,也可以存進對話紀錄,供下一次再使用。
介面收到問題 → 服務整理本次內容 → 模型生成 → 服務接收結果 → 介面顯示
在〈一次回答的流程〉裡,我們拆的是中間「模型生成」這一段。本章把它的前後交接補齊;對話歷史實際怎麼重新提供,另由〈對話與記憶〉追蹤。
模型沒見過公司文件,誰把資料找來?
系統可以先取得公司文件,把相關段落和「公司明天幾點上班?」一起交給模型。
這種先找資料,再讓模型根據提供的內容回答的做法,叫檢索增強生成 (Retrieval-Augmented Generation, RAG)。在這個流程裡:
| 部件 | 這次負責的工作 |
|---|---|
| 找資料的程式 | 取得可能有答案的公司文件段落 |
| 整理輸入的程式 | 把問題與段落一起提供給模型 |
| 語言模型 (Language Model) | 根據真正收到的內容生成文字 |
| 介面與服務 | 顯示回答,依設計附上來源 |
這次加進文件,改變的是輸入材料;它沿用前面學到的模型能力。文件有沒有找對、版本是否有效、回答是否符合依據,仍要分別檢查。如何從許多文件中挑段落,留到〈相關文件如何找到〉深入。
要計算或讀檔時,工具在哪裡?
需要計算總額或讀取文件時,真正執行動作的是工具程式。依應用設計,服務可以先安排查詢;也可以讓模型提出工具名稱與參數,再由程式檢查並執行,把結果帶回後續輸入。
模型提出要做什麼、程式實際做了什麼、模型後來收到什麼,是三個可以分開追蹤的步驟。〈模型怎麼用工具讀文件?〉會逐次展開這個交接。本章先把工具放在整套服務裡。
這是固定案例的流程示意,不執行真實模型。選「依文件回答」,比較有文件、沒有文件時,真正交給模型的內容差在哪裡;點每一步看材料與產物。再切到「建立辨識能力」與「辨認新照片」,對照製作與使用的分工。
用照片辨識對照:建立能力與使用能力
聊天服務使用的模型,需要先有可用的能力;照片辨識也有建立與使用這兩個階段。這張圖保留前面 AI 導論中的「有沒有貓」案例:
| 環節 | 在照片例子中做什麼? |
|---|---|
| 準備 | 決定任務,整理照片與標記,另留照片檢查 |
| 訓練 (Training) | 用照片及標記調整模型計算中的數值 |
| 檢查 | 確認能否處理沒用來調整模型的新照片 |
| 使用 | 載入已保存的模型,處理這次要辨認的照片 |
做應用的人可以使用別人訓練的模型。這和前章「直接用現成模型」的分工相同:製作工作有人做過,現在接上處理本次資料的程式。照片如何變成計算材料,則由〈AI 怎麼看圖片?〉繼續拆解。
把部件放回完整服務
| 部分 | 負責什麼? |
|---|---|
| 資料 | 提供訓練、檢查或這次使用的材料,用途各自不同 |
| 訓練程式 | 根據資料建立或調整模型 |
| 模型 | 使用目前能力處理真正收到的輸入 |
| 服務程式 | 整理對話、取得資料、呼叫模型與工具、處理結果 |
| 介面 | 讓人提出問題、提供材料、看到結果 |
六篇全貌導覽走到這裡。接著可回到七單元目錄,選一個想深入的問題。
- 想知道學習還能使用哪些依據:讀〈沒有人逐筆給答案,AI 也能學嗎?〉。
- 想看模型裡的計算如何接起來:讀〈神經網路到底在算什麼?〉。
- 想理解聊天資料怎麼來:讀〈AI 為什麼記得前面說過的話?〉。
- 想追外部動作的完整交接:讀〈模型怎麼用工具讀文件?〉。
工具成功、文件存在、模型產生流暢回答,是不同環節的結果;完整服務需要逐一檢查它們,不能只用最後一句話判定全部正常。
參考:Google 機器學習概覽、Hugging Face 模型的訓練與使用、RAG 原始研究。本次分工整理於 2026-11-05 核對;照片與公司上班時間是教學案例,活動只呈現固定流程,不執行真實模型。