第 1 章 · 語言模型基礎：它到底在做什麼

在學會「用」AI 之前，先花 15 分鐘搞懂它「是什麼」。這一章不寫任何程式，但會幫你建立一個正確的心智模型——之後你會發現，很多人用錯 AI、被 AI 唬到，都是因為誤解了這一章的東西。

💡 這一章的目標：讀完後你能用一句話回答「LLM 到底在做什麼」，並且理解它為什麼會亂講、為什麼同一個問題答案會不一樣、為什麼不會算數學。

一句話：它是個「猜下一個字」的高手

大型語言模型（LLM，Large Language Model）的核心，其實只做一件事：

看著前面已經有的文字，猜「下一個字」最可能是什麼。

就這樣。你給它「今天天氣真」，它算出下一個字最可能是「好」；接著把「今天天氣真好」再丟回去，猜下一個字是「，」……一個字一個字接龍，接出一整段話。

聽起來很笨對吧？但當這個「接龍遊戲」用整個網際網路的文字訓練到極致，它就會為了把下一個字猜準，被迫「順便」學會文法、常識、推理、寫程式、翻譯……因為要正確接出「台灣的首都是」後面那個字，它就得真的「知道」答案是台北。

💡 關鍵心態：它不是在「查資料庫」或「理解世界」，它是在根據學過的模式，計算機率最高的下一個字。這個區別，是理解後面所有現象的鑰匙。

三個一定要懂的名詞

Token（詞元）— 模型眼中的「字」

模型不是一個「字」一個「字」處理，而是切成 token（詞元）。一個 token 可能是一個字、半個英文單字、或一個標點。粗略記：英文大約 1 個 token ≈ 4 個字母，中文大約 1 個字 ≈ 1～2 個 token。

為什麼你要在乎？因為 API 是按 token 計費的，而且模型「一次能看多少字」也是用 token 算的。

Context Window（上下文窗口）— 它的「工作記憶」

模型一次能「看到」的 token 數量有上限，這個上限叫 context window（上下文窗口）。你可以想成它的短期工作記憶：所有你給的指令、對話歷史、貼上的文件，全部都要塞進這個窗口。

現代模型的窗口很大（動輒 20 萬～100 萬 token，等於幾百頁書），但它不是無限的，而且「塞越多不一定越好」——這正是第 3 章 Context 工程要處理的問題。

Embedding（嵌入）— 把意思變成一串數字

模型把每個 token 轉成一長串數字（一個向量），這串數字代表它的「意思」。神奇的是，意思相近的詞，數字也相近——「貓」和「狗」的向量距離，會比「貓」和「石油」近。

這個「用數字表示意思」的能力，是第 6 章 RAG（語意搜尋）的基礎，先記著。

它是怎麼「學會」的：三個階段

一個能對話的模型，不是一步到位，而是經過三個階段養成的。用「培養一個實習生」來比喻：

flowchart LR
    A[預訓練<br/>讀遍整個網路] --> B[監督微調 SFT<br/>教它怎麼對話]
    B --> C[對齊 RLHF<br/>教它怎麼有幫助又安全]
    C --> D((能對話的<br/>助理))

💡 你平常用的 ChatGPT、Claude，都是走完這三步的成品。第 1 步給它「知識」，第 2、3 步給它「教養」。

為什麼同一個問題，答案每次都不一樣？

因為模型猜下一個字時，不是永遠選機率最高的那個，而是「按機率抽籤」。控制這個抽籤有多隨機的旋鈕，最常見的叫 temperature（溫度）：

• 溫度低（接近 0）：幾乎每次都選機率最高的字 → 回答穩定、保守、可重現。適合抽取資料、分類、寫程式。
• 溫度高：比較敢選機率沒那麼高的字 → 回答有變化、有創意，但也更容易失控。適合腦力激盪、寫故事。

⚠️ 重要觀念：LLM 天生就有隨機性。所以「同樣的 prompt 每次結果一樣」在 AI 世界不是理所當然的——這也是為什麼第 10 章「評估」這麼重要：你不能只跑一次就相信它。

誠實面對它的三大限制

這是新手最該先知道、卻最少人講清楚的部分。

1. 幻覺（Hallucination）：它會「一本正經地胡說八道」

因為它的本質是「猜機率最高的下一個字」，當它不知道答案時，也還是會很流暢地掰一個出來——語氣一樣自信。它不是在騙你，它根本不知道自己不知道。

⚠️ 這是目前 LLM 最危險的特性：捏造的法條、不存在的論文、錯誤的 API。永遠要對「聽起來很合理但你無法查證」的內容保持懷疑。第 6 章的 RAG 就是為了「讓它有根據地回答」而生。

2. 知識截止（Knowledge Cutoff）

模型的知識停在它「讀完圖書館」的那一刻（訓練資料的截止日）。之後發生的事——最新新聞、你昨天寫的文件——它天生不知道。要它知道，就得在 prompt 裡餵給它（第 3、6 章）。

3. 不擅長精確計算與數數

它是「語言」模型，不是計算機。要它算 48273 × 9182、或數一段文字裡有幾個字母 r，常常會錯——因為它是在「猜一個看起來對的答案」，不是真的在運算。解法：讓它呼叫計算機工具（第 4 章），而不是硬算。

進階：推理模型（Thinking Models）

近年出現一種「會先想再答」的模型（俗稱 reasoning / thinking model）。它在給出最終答案前，會先產生一段內部的「思考過程」，把難題拆解、逐步推導，再下結論。

• 好處：在數學、程式、複雜規劃這類需要多步推理的任務上，準確度大幅提升。
• 代價：比較慢、比較貴（那段思考也要算 token）。

實務原則：簡單任務用一般模式，難任務才開啟思考。你不需要用大砲打小鳥。

模型版圖：先有個地圖

你會聽到很多名字，先大致分兩類就好：

💡 選型沒有標準答案：在乎「最強、最省事」選閉源；在乎「資料不能外流、要地端」選開源自架。第 10 章會再談成本與選型。

重點回顧

• LLM 的本質是猜下一個字——不是查資料、不是理解世界，是算機率。
• Token 是計費與長度的單位；Context Window 是它的工作記憶；Embedding 是「用數字表示意思」。
• 它經過預訓練 → 微調 → 對齊三階段養成：先有知識，再有教養。
• 它天生有隨機性（temperature 控制），所以答案會變、需要評估。
• 三大限制要牢記：幻覺、知識截止、不擅長精確計算。這三點決定了後面所有工程手段的存在理由。

理解了「模型是什麼」，下一章我們來學「怎麼跟它好好講話」——這就是 Prompt 工程。