在 上一章我們探索了神奇的圖書館，並認識了它的主要組成部分：圖書館員（自我注意）、寬敞的閱讀室（編碼器）和靈活的創作區（解碼器）。讓我們深入圖書管理員的日常工作，看看他們如何運用這些不可思議的工具，將簡單的句子轉化為深刻的理解。
圖書管理員的一天
讓我們跟隨圖書管理員一起處理這個句子：「貓坐在墊子上」
2.1 當一個句子進入資料庫（編碼器） 時
「叮咚」- 圖書館的門鈴響了，一張紙條滑入收件匣。圖書館員立即前往閱讀室（編碼器）閱讀訊息：「貓坐在墊子上」。
2.2 接收句子 (輸入處理)。
圖書管理員首先為每個單字貼上兩個特殊標籤：
- 意義標籤 (單字嵌入)：每個單字會轉換成代表其意義的獨特代碼。例如，「cat」可能會變成 [0.2、-0.6、0.9、...]。
- 位置標籤 (位置編碼)：每個字詞也會收到一個標籤，指示其在句子中的順序。這就像是在書架上為每個單字指定特定的位置，以確保順序正確。
現在，句子轉換成一連串具有位置資訊的數字。
2.3 快速閱讀整本書（自我注意機制）
圖書管理員有一種非凡的能力，可以一次讀完整個句子，立刻掌握所有字詞之間的關係。他們彷彿可以看到連接字詞的線條，粗細不同的線條代表連接的強度。
讓我們窺探一下圖書管理員的心思，他們專注於 "sat "這個詞：
- 連接「sat」和「cat」的線條很粗（強連結），因為貓正在做這個動作。
- 連接 "sat 「和 」on 「的線也很粗，因為 」sat on "組成了一個有意義的短語。
- 連接 "sat 「和 」the "的線條很細（弱連結），因為冠词和動詞沒有什麼直接關係。
這個「注意力網路」可讓圖書館員了解每個字詞在整體上下文中的角色。
2.4 多角度理解（多頭注目）
我們的圖書館員擁有另一項令人印象深刻的技能：他們可以同時從多個角度分析句子。這就像是戴著不同的眼鏡，每一副眼鏡都能揭示出句子獨特的一面：
- 文法眼鏡：圖書管理員看到「The」和「cat」構成主語，而「sat」是動詞。
- 意指眼鏡：他們了解「貓」是做動作的人，而「墊子」是動作發生的地方。
- 情境眼鏡：他們認識到 "sat on "是表示貓的位置的短語。
透過結合這些觀點，圖書館員可以獲得對句子全面且細微的了解。
2.5 資訊精煉 (Feed-Forward Network)
在掌握了關係和觀點之後，圖書管理員會深入研究每個字詞。例如，在檢視「cat」時，他們可能會注意到：
- 它是句子的主語。
- 這是一個名詞。
- 是執行動作的人。
- 很可能是寵物。
這個過程有助於圖書管理員對每個字詞的意義和功能有更豐富的了解。
到目前為止，我們已經探討了這些關鍵概念：
- 單詞嵌入
- 位置編碼
- 自我注意機制
- 多頭注意
- 前進網路
2.6 重複讀取 (多層架構)
就像品味一本好書一樣，圖書管理員多次重溫同一個句子，每層閱讀都能提供新的角度。
- 第 1 層（表面理解）：基本句子結構和詞義。
- 第二層（語言特徵）：押韻（"cat 「和 」mat「）和常用詞組（」sat on"）。
- 第三層（深層意義）：貓兒優雅地坐在墊子上的場景，隱含著安詳舒適的氛圍。
這種層次分明的方法，即使是簡單的句子，也能獲得豐富而深入的理解。
2.7 記筆記（剩餘連線）
圖書管理員會做詳細的筆記，在原始資訊上累積新的見解。對於 「貓」，筆記可能會這樣發展：
- 第 1 層：「cat」- 一個表示貓科動物的英文字。
- 第二層：句子的主語。
- 第 3 層：動作的執行者。
- 第四層：可能是寵物。
- 第 5 層：與 "mat" 押韻。
這種分層的「蛋糕」式知識在保留原意的同時，也增加了理解的層次。
2.8 整理筆記 (圖層規範化)。
每次他們重讀句子時，圖書館員都會仔細整理他們的筆記，確保清晰度和一致性。這就像是為每個單字建立一個結構良好的索引卡，讓資訊的存取和處理變得更容易。
2.9 回覆與建立 (解碼器)
有了這種深入的了解，圖書管理員現在可以回答問題 (「墊子上是誰？」)，甚至可以建立新的內容！他們可以翻譯、總結、產生文字、分析情感，甚至描述圖像 (經過適當的訓練)。
於 2017 年首次推出的 Transformer 持續演進，為各種以語言為基礎的 AI 應用程式提供動力。它見證了人類語言的優雅和力量，捕捉於一行行的程式碼和演算法的魔力。
