AIのトレーニング方法
ひたすら解く「穴埋め問題」
Step 1: 穴埋め問題とは
AIが文脈を読む力を身につける方法は、私たちが学生時代に解いた穴埋め問題によく似ています。「私 は Amazon で 本 を [____]」のような文章の空欄を予測させます。
穴埋め問題で学ぶAI
問題文:
私
は
Amazon
で
本
を
????
AIの学習方法
AIにこのような穴埋め問題を大量に解かせることで、
言葉の繋がり方やパターンを学習させます。
この空欄には何が入る? → 「買った」が正解!
学習の4ステップ
① 回答
② 採点
③ 修正
④ 収束
このサイクルを何兆もの単語に対して繰り返す
① AIの回答:全単語の確率を同時出力
訓練データ:
私 は Amazon で 本 を 買った。
AIへの入力:
私 は Amazon で 本 を
????
正解:
買った
💡 正解は元の文章から自動取得(人間がラベル付けする必要なし)→「自己教師あり学習」
⚠️ 重要:AIは単語を1つずつ試すのではありません!
AIは一度の計算で「全ての単語に対する確率」を同時に出力します
学習初期のAI出力(確率分布)
行った
0%
買った
0%
読んだ
0%
見た
0%
その他...
0%
一度の計算
で全て出力
採点に使う情報
正解「買った」の確率は?
10%
低すぎる!
→パラメータ調整が必要
❌ よくある誤解 vs ✅ 実際の仕組み
❌「買った」が見つかるまで単語を試し続ける → 間違い!
✅ 全単語の確率を一度に計算し、正解の確率が低ければパラメータを調整
→ 次のステップで、この確率分布をどう採点するか見ていきます
② アルゴリズムの採点
AIの出力: 各単語の確率分布
AIは「次の単語として各単語がどれくらい正しいか」を確率で出力します
この確率が正解に対してどれだけ高いかで点数が決まります
学習初期: 正解の確率が低い
行った
45%
買った
10%
読んだ
20%
見た
15%
その他
10%
採点結果: 低スコア
正解「買った」の確率: 10%
↓
損失(Loss): 高い
正解の確率が低いほど
損失(ペナルティ)が大きくなる
採点の仕組み(Cross-Entropy Loss)
AIが正解に対してどれだけ高い確率を予測できたかで点数が決まります。
正解の確率が高ければ高いほど良い点数、低ければ低い点数がつきます。
③ パラメータの修正
修正前のAI
「買った」の確率: 10%
損失が大きい → 調整が必要
【AIモデル内部】
パラメータ: [0.12, -0.45, 0.78, ...]
勾配降下法
パラメータを
少しずつ調整
修正後のAI
「買った」の確率: 15%
少し改善!
【AIモデル内部】
パラメータ: [0.15, -0.42, 0.81, ...]
この修正を繰り返す
予測
採点
修正
繰り返し
1回の修正では少ししか
改善しないが、何兆回も
繰り返すことで精度向上
パラメータ修正のポイント
AIは「正解を探す」のではなく、正解の確率が高くなるようパラメータを調整します。
同じ問題を次に解くとき、「買った」=10% → 15% → 30%... と少しずつ確率が上昇します。
これを「勾配降下法(Gradient Descent)」と呼びます
④ 学習の繰り返し
パラメータ調整 → 確率変化 → 採点 を繰り返して「買った」の確率を上げていく
※「次へ」ボタンで各ラウンドを進めてください
AI出力(確率分布)
行った
45%
買った
10%
読んだ
20%
見た
15%
その他
10%
採点結果
正解「買った」の確率:
10%
低すぎる!
→ パラメータ調整が必要
ラウンド 1 / 5
予測
採点
修正
繰り返し
パラメータを調整中...
学習の進行
1回の修正では少しだけ改善。これを繰り返して徐々に精度を上げていきます。
⑤ 正解への収束
学習の進行: 「買った」の確率の変化
100%
50%
0%
学習回数 →
10%
35%
70%
95%
学習完了後のAI
買った
95%
読んだ
3%
その他
2%
AIが学んだパターン
「Amazon」+「本」+「を」
→ 「買った」が最適
この文脈パターンを記憶
何兆もの単語で学習
この「予測→採点→修正」のサイクルを、何兆もの単語に対して繰り返すことで、
AIは様々な文脈パターンを学び、人間のような文章を生成できるようになります。
ChatGPTの仕組み: 次の単語予測
穴埋め問題の応用編
ChatGPTは穴埋めの空欄を常に文章の一番最後に設定し、
「この次に続く一単語は何か?」をひたすら解き続けています
次の単語予測の例
Step 1:
今日 は
天気
← 予測
Step 2:
今日 は 天気 が
良い
← 予測
Step 3:
今日 は 天気 が 良い
です
← 予測
1単語ずつ
生成していく
AIトレーニングのまとめ
① 穴埋め問題
大量の文章で練習
② パターン学習
文脈と単語の関係を記憶
③ 文章生成
次の単語を予測し続ける
これがChatGPTやClaudeなどの対話AIが文章を生成する仕組みです
※この資料は入門者向けのイメージ説明です。実際の技術詳細は異なる部分があります。
Step 1 / 7
▲ 前へ
▼ 次へ
Step 2
1 / 4
▲ 戻る
▼ 次へ
Step 5
1 / 5
▲ 戻る
▼ 次へ