語言模型 (Language Model) 是什麼,LLM 的「大」是指什麼?
前一章用糖果收據說明模型 (Model) 如何接收輸入、使用數值計算輸出。接著把這個概念帶到文字:我們說「聊天產品背後有一個 LLM」時,這個 LLM 到底是什麼?它為什麼可以接文字、做摘要,也能用來回答問題?
這章先看它的工作與位置。只需知道模型是接收輸入、計算輸出的系統;內部數值怎麼運算,留到後面的章節。
先從「這段文字接下來可能是什麼」開始
看這段還沒寫完的提醒:「今天下雨,出門記得帶」。接下來可能是「傘」,也可能接出其他內容。
語言模型 (Language Model, LM) 學習文字之間的規律,用來估計一段文字中,哪些內容比較可能出現。常見的生成式語言模型會根據已有文字,一步一步產生後面的內容。
模型不是先看到整份標準答案,再把它搬到畫面上。它使用訓練 (Training) 時調整好的內部數值,處理本次輸入並計算後續內容。這些數值不是人逐句寫好的「問題與答案清單」。
這是常見生成式模型的入門路線;語言模型也有預測文字中被遮住內容等其他形式,不是全部都以相同方式向後接文字。
接文字,怎麼變成摘要或回答?
文字不只有文章正文,也可以包含要求、範例或問題。對已具備相應能力的模型,把這些內容一起交給它,生成的文字就可能成為不同任務的結果。
沿用同一份材料:「今天下雨,出門記得帶傘。」
| 本次交給模型的內容 | 想得到的結果 |
|---|---|
| 還沒寫完的「今天下雨,出門記得帶」 | 接續後面的文字,例如「傘。」 |
| 「請用短句摘要」加上完整材料 | 一句較短的提醒 |
| 完整材料加上「依這段提醒,出門要準備什麼?」 | 根據材料回答問題 |
任務變了,但都可以透過「提供文字 → 生成文字」完成。 這不表示模型只要會接一句話,就自然能把每個任務做好。訓練材料、訓練目標與後續調整會影響它的能力,結果仍需檢查。
也不是所有處理文字的模型都是語言模型。例如,一個只把信件分成「垃圾信/正常信」的分類模型 (Classification Model),不一定在預測文字如何接續。反過來,LLM 也可以被用來做分類;任務名稱與模型種類是兩件事。
預測下一個 token,為什麼可能學會解題?
這裡的 token 是模型處理文字的小片段,不一定等於一個字或一個詞。具體怎麼切,留到〈token 是什麼?〉再看;這裡先問:預測後面的文字,為什麼可能需要解題?
你可能會想:如果只是在接文字,為什麼能回答問題?先看這段故事:
小明把鑰匙放進抽屜。後來,小華把鑰匙拿出來,放進書包。現在,鑰匙在__。
「在」後面可以接很多地點。但要填出符合這個故事的「書包」,就要用上前面「鑰匙被移動了」的資訊。只知道哪些詞常接在一起,還不足以穩定回答不同的故事。
現在只改第二句,把「放進書包」換成「放進衣櫃」。句子最後仍是「現在,鑰匙在__」,符合故事的答案卻變成衣櫃。
輸出形式仍是接文字,但要接得符合內容,可能需要追蹤物品、位置和變化。「預測下一個 token」規定了最後要預測什麼,沒有規定內部只能記住常見接法。
這種能力是怎麼學出來的?
假設一段訓練原文寫到「現在,鑰匙在書包」。程式可以先讓模型看答案之前的文字,再預測後面的 token;原文接下來的內容,就是用來比較的目標。
如果預測與原文不同,訓練程式會依誤差調整模型裡的數值。這些可調整的數值稱為參數 (Parameter);具體怎麼調,後面的訓練章再拆開看。
再把人物、物品、地點和移動順序換掉,模型就不能靠記住「鑰匙一定接書包」應付所有例子。能利用「哪個物品被移到哪裡」的關係,便可能幫助它在更多例子上預測得更準。
所以,學習預測文字的過程,有機會同時學到可以重複用來解題的關係。 這不是說訓練程式事先寫好了每一種解法,也不是說多給資料就一定會學會;模型仍可能記住句子,或依賴碰巧有用的線索。
文字材料還包含翻譯、知識說明、計算過程和程式。不同內容提供不同的學習線索;具備相應能力的模型,便可能用同一種「文字輸入 → 文字輸出」形式完成多種任務。
GPT-3 的原始研究曾在翻譯、問答等任務中,只透過輸入文字提供要求或少量示範,不為每個任務重新調整參數,就觀察到可用的表現;同一研究也記錄了失敗與評估上的問題。這是「語言模型能做多種任務」的實驗證據,不是所有任務都可靠的保證。閱讀原始研究
怎麼知道它學會了,而不是剛好接對?
答對剛才一個故事,還不能判定它學會追蹤位置。只挑最後出現的地點,有時也能碰巧答對。可以再換成:
小明把鑰匙放進抽屜。小華把鉛筆放進書包。現在,鑰匙在__。
這次最後出現的地點仍是書包,但鑰匙沒有被移動,符合故事的答案是抽屜。這能檢查「總是挑最後一個地點」這個捷徑,卻仍不能用兩題證明所有情況都會成功。
要評估能力,需要用沒有參與訓練、且涵蓋不同情況的資料檢查,並留意是否混入看過的材料。這就是後面〈訓練時全答對,為什麼遇到新資料還是會錯?〉會談的泛化 (Generalization):把學到的規律用到新資料上。
為什麼這可以成為 AI 的一條路?
人工智慧 (Artificial Intelligence, AI) 包含讓電腦進行辨識、解題與規劃等工作的不同方法。語言模型的路線是:利用文字訓練,再檢查它能否把學到的規律用於不同問題。
「怎麼訓練」與「最後能做什麼」是兩個層次。 用下一個 token 作為訓練目標,不表示能力只能停在接一句客套話;反過來,回答得像人,也不直接證明它具有人的理解或意識。
先把這三件事分開:預測文字是訓練目標;解題能力要靠不同任務的結果檢查;能做一些任務,不代表每一次回答都正確。最後這個問題,可接著讀〈AI 講得很肯定,為什麼還是會錯?〉。
本節研究來源:GPT-3(2020,arXiv:2005.14165)與黑白棋序列模型研究(ICLR 2023,arXiv:2210.13382 v5);2026-10-08 查核。鑰匙題是教學用例,不是上述研究的實驗題或真實模型評測。
LLM 的「大」,大在哪裡?
大型語言模型 (Large Language Model, LLM) 是規模很大的語言模型。現代 LLM 通常使用深度學習 (Deep Learning),也就是用多層神經網路 (Neural Network) 建立計算;它是 AI 中的一類模型,不是 AI 的全部。
最常用來描述模型規模的,是參數 (Parameter) 的數量。參數就是放在模型計算裡、可以透過訓練調整的數值。模型中有多少個這樣的數值,和一篇回答寫幾個字,是不同的量。
| 說法 | 在數什麼? |
|---|---|
| 參數數量 | 模型內可調整的數值有多少個 |
| 訓練資料量 | 用來學習的材料有多少 |
| 訓練計算量 | 為了調整模型,執行了多少計算 |
| 本次輸入長度 | 這一次提供多少內容;不會因輸入變長就增加模型參數 |
例如在參數數量的標示中,B 是 billion(十億):7B 表示約 70 億個參數,70B 表示約 700 億個。這是數量的讀法,不是模型能力的分數,也不是參數值本身。
「大型」沒有一個所有情境通用的固定門檻。參數規模是常見指標;大量資料與計算也是建立這類模型的重要條件,不能把三種規模當成同一個數字。
更多參數代表要保存更多數值;使用相同數值儲存格式時,權重 (Weight) 所需空間會增加。但更大不保證每一個任務都更好:資料品質、計算結構、訓練方式與任務需求都會影響表現。先知道這些量各指什麼,再談具體模型的取捨。
先把模型放回熟悉的聊天用途
使用 ChatGPT、Gemini 或 Claude 的聊天介面時,產品程式可以把要求、提醒或先前訊息整理成輸入,再交給語言模型。下面的練習會讓你看見同一段提醒如何成為接續、摘要或問答的材料。
先記住模型處理的是「這次真正收到的內容」。哪些歷史或文件會被送入,以及外部工具由誰執行,留到〈模型如何組成聊天服務?〉完整追蹤。這些產品名稱有時也用於模型系列,討論時仍要辨認是在談產品,還是某個模型版本。
先看「接續文字」,再切到「整理摘要」與「聊天問答」:真正交給模型的文字多了什麼?把下雨提醒換成晴天提醒,比較輸入與案例結果;聊天案例再多看產品如何整理材料。手機可在案例、模型、產品三個面板間切換。
接下來:先追一次回答
現在已知道 LLM 的工作目標,以及預測文字為什麼可能帶來任務能力。
全貌導覽下一篇是〈LLM 如何產生回答?〉,看一句輸入如何逐步長成回答;再讀〈大量文字,怎麼變成一個可以使用的 LLM?〉,追這種能力如何製作。
參考:Google 語言模型與 LLM 詞彙定義、Google 參數定義、Hugging Face 語言任務與 LLM、Hugging Face 語言模型的訓練與使用(2026-10-04 查核)。