nu

LLM の仕組み

—

by

nu
in

現在、SVG は動作しません。ダウンロードして下さい。

zip

embedding_animationダウンロード

attention_animationダウンロード
training_animationダウンロード
llm_animationダウンロード

LLMの文章生成プロセス

LLM の仕組み – インタラクティブ解説

LLM (大規模言語モデル) の仕組み

LLMの文章生成プロセス
確率分布を計算中…
1. 入力 2. 確率分布 3. 確率的に1つ選ぶ 4. 出力に追加 5. 1に戻る これまでの文脈: (これまでの文脈) 次のトークン候補と確率: 選択されたトークン: 出力 (生成されたテキスト):
Step 1 / 36

/aaa

アテンション

アテンション機構 - AIの文脈理解

アテンション機構 - AIの文脈理解

Step 1: 同じ単語、違う意味
「Amazon」という同じ単語でも、文脈によって全く異なる意味を持ちます。
同じ「Amazon」でも意味が違う！ 文章1: 私 は Amazon に 旅行 したい → 南米の熱帯雨林 （地名・場所） 文章2: 私 は Amazon で 本 を 買った → オンラインショップ （ECサイト・企業） ❓ AIはどうやって文脈を理解するのか？ 同じ「Amazon」でも、周りの単語によって意味が変わる 答え: アテンション機構 Transformerモデルの心臓部
Step 1 / 8

エンベディング

単語埋め込み (Word Embedding) - AIの言葉の理解

AIの「言葉の図書館」- 単語埋め込み (Word Embedding)

Step 1: 図書館の比喩
図書館では関連するテーマの本が近くに並べられています
SF / サイエンスフィクション 小説 / フィクション 料理 / グルメ 健康 / 栄養 歴史 / ノンフィクション 関連テーマは 近くに配置 図書館: 関連する本は近くに並ぶ
Step 1 / 7

AI のトレーニング方法

AIのトレーニング方法 - 穴埋め問題

AIのトレーニング方法

ひたすら解く「穴埋め問題」

Step 1: 穴埋め問題とは
AIが文脈を読む力を身につける方法は、私たちが学生時代に解いた穴埋め問題によく似ています。「私 は Amazon で 本 を [____]」のような文章の空欄を予測させます。
穴埋め問題で学ぶAI 問題文: 私 は Amazon で 本 を ???? AIの学習方法 AIにこのような穴埋め問題を大量に解かせることで、 言葉の繋がり方やパターンを学習させます。 この空欄には何が入る？ → 「買った」が正解！ 学習の4ステップ ① 回答 ② 採点 ③ 修正 ④ 収束 このサイクルを何兆もの単語に対して繰り返す
Step 1 / 7
Step 2
1 / 4
Step 5
1 / 5

コメント

コメントを残す

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です