聞いたことはあるけどよくわからない、不思議なブラックホールのように感じている方も多いのではないでしょうか。今日は、この重要な概念であるLLM（大規模言語モデル）をわかりやすく説明します。さっそく見ていこう！
Transformerは、2017年にVaswaniらによって発表された画期的なディープラーニングモデルである。その鍵はSelf-Attention Mechanismであり、シーケンシャルなデータを扱うために特別に設計されており、自然言語処理（NLP）のゲームを完全に変える。
単にテキストを翻訳するだけでなく、記事を生成したり、質問に答えたり、さらには会話を成立させたりする「言語翻訳機」だと考えてほしい。だからこそ、Transformerは現代のNLPタスクで圧倒的な力を発揮するのだ。
それを理解するために、スーパー司書の話から始めよう。
昔々、魔法の図書館がありました。その図書館には、今日の主役であるトランスフォーマーというスーパー司書がいた。この司書は並外れた能力を持ち、様々な言語の文章を素早く理解・処理し、質問に答え、さらには新しいコンテンツを創造する。この司書を追いかけ、トランスフォーマーの働きを探ってみよう。
図書館と司書
ライブラリアンの旅（研修プロセス）
1.1 見習い：大量リーディング（事前研修）
司書は生まれつきすべての言語を知っているわけではない。彼らは常に大量の本を読んで学んだ。翻訳や質問に答えようとするたびに、機械のチューター（訓練アルゴリズム）と人間のチューター（教師あり微調整）が、何が正しくてどこを改善すべきかを教えてくれる。この絶え間ない練習とフィードバックによって、司書は徐々にスキルを向上させていった。
1.2 専門能力開発：専門トレーニング（微調整）
司書はまず、一般書を大量に読むことで幅広い知識を得る（事前訓練）。その後、特定の分野の文献を扱う必要があれば、その分野の本を集中して読み、知識構造を調整する（ファインチューニング）。
1.3 司書の超能力（トランスフォーマーの長所）
司書は訓練を終えると、次のような超能力を得る：
- 並列処理（自己注意）：司書は本の全ページを同時に読むことができ、その読書スピードは信じられないほど速い。
- 多角的な注意: 司書はさまざまな角度から情報をとらえることができる。虫眼鏡、顕微鏡、望遠鏡を使って同時に花を観察し、質感、細胞、周囲の環境を見るようなものだ。
- 遠距離恋愛：彼らは本の最初と最後の情報を簡単に結びつけることができる。
- 柔軟なアプリケーション：翻訳、要約、Q&Aなど、すべてに対応できます。
1.4 司書の悩み（トランスフォーマーの限界）
- メモリ制限(コンテキストの長さ): 彼らの能力にもかかわらず、司書は一度に限られた量のテキストしか処理できません。読者が一度に10冊以上の分厚い本を渡すと（1024語の制限など）、司書は後の内容を見逃すかもしれません-ChatGPTが長い会話で前のトピックを「忘れる」のはそのためです。
- 計算リソース:この読み取り方法は、多くのエネルギー(GPUコンピューティングリソース)を必要とします。
- 解釈可能性：図書館員は、なぜ特定の結論に至ったのか説明できないことがある（AIのブラックボックス）。
- 幻覚：学んでいない知識でも、自信満々に無意味なことを話すことがある（幻覚）。
1.5 ライブラリーの構造（トランスフォーマーの全体的なアーキテクチャ）。
私たちのスーパーライブラリーは大きく2つのパートに分かれている：
閲覧室（エンコーダー）：ここは図書館員が入力テキストを読み、理解する場所である。
作業プロセス：
- 入力テキストを単語カードに分割（トークン化）→「機械学習が好き」を4つのヒントカードに分割。
- 関係を蛍光ペンでマークする（自己注意）→ "学習 "と "機械 "の間に強いつながりを見つける。
- 時間ラベルの追加（位置エンコーディング）→「I → love → machine → learning」ではなく、「I → love → machine → learning」であることを確認し、正しい順序を確保する。
実例: "IFCの高さは？"と入力した場合。
エンコーダーは探偵のようなものだ：
- IFC」（件名）を丸で囲む。
- 背の高さ」と数値単位をリンクさせる（動詞-目的語構造）。
- これは発言ではなく「質問」としてマークする。
ライティング・ルーム(デコーダー):図書館員が理解に基づいて新しいコンテンツを作成する場所です。
作業プロセス：
- ライブラリアンのレポート（エンコーダー出力）を参照。
- 合理的な単語ブロックを徐々に綴っていく（自動回帰的生成）→最初に "IFC "と入れ、次に "50階 "ではなく "412メートル "を選ぶ。
- いつでも流暢さをチェック（マスクド・アテンション）→"412キログラム "のような矛盾した組み合わせを生み出さないようにする。
実例：。
- IFC "にロックインして数値で答える（エンコーダーのレポートを見てください）。
- 量化詞として「体重」ではなく「身長」を選ぶ。
- 単位 "メートル "と値 "412 "を合わせる。
最終生成：IFCの高さは412メートルです。
この2つの部屋は密接につながっており、トランスフォーマーのエンコーダーとデコーダーの部分が連動しているように、司書はいつでも2つの部屋を行き来することができる。
トランスフォーマーが流暢に会話できる秘密は、このような部屋の垣根を越えたコラボレーションにある！
1.6 他のライブラリとの比較（他のモデルとの比較）。
- トラディショナル・ライブラリー（RNN）：司書は、最初から最後まで飛ばさずに順番に読まなければならない。
- 改善された伝統的なライブラリ（LSTM）：ライブラリは、より長いコンテンツを記憶することができますが、まだ順番に読む必要があります。
- スーパーライブラリー（トランスフォーマー）：ライブラリアンはすべてのコンテンツを同時に見ることができ、どの部分にも自由に焦点を合わせることができます。
さて、これで誰もがこの図書館の構造と司書の能力を理解したはずだ！しかし、ライブラリアンは実際にどのように働いているのだろうか？次回はライブラリアンの仕事について詳しく説明し、実際のTransformerのアーキテクチャがどのように連携しているのかを探っていこうと思う。
