「AIって、学習してる間に中で何が起きてるんだろう」
AIがどんどん賢くなっていく、という話をニュースで見るたびに、ふと思うことってありませんか。この子たち、学習している間、頭の中では一体何が起きているんだろう、と。
へクス子も、「新しいモデルが急に賢くなった」みたいな話を聞くたびに、中身がブラックボックスのまま「すごいですねぇ」で流している自分に、ちょっとモヤモヤするんですよね。賢くなる「結果」は見えても、賢くなっていく「途中」は、なかなか覗けないわけです。
なんですが最近は、その「途中」を時間を追って観察しようという研究が出てきておりまして。完成したAIを解剖するのではなく、育っていく過程そのものを覗こうという試みですね。
今回は、AIの中の部品が学習を通じて「役割分担」を覚えていく様子を追った研究を、噛み砕いて紹介してまいりましょう。
「未分化」から「専門家」へ、部品が分かれていく
中心になるのは、Timaeus（ティマイオス）という研究機関が ICLR 2025 に Spotlight 採択された論文「Differentiation and Specialization in LLMs」（R）です。
この研究が目をつけたのが、アテンションヘッドという部品の振る舞い。
アテンションヘッドってのは、AIが文章を読むときに「どの単語に注目するか」を決める小さな部品のことでして、1つのモデルの中にたくさん積まれております。
で、面白いのが、このヘッドたちの「学習初期の姿」なんですよ。学習が始まったばかりの頃は、どのヘッドも似たような働きをしていて、役割の区別がほとんどない。
研究では、この状態を「未分化」と呼んでいるんだそうな。それが学習を重ねるにつれて、だんだん違う役割へと分かれていく。なかなか律儀な育ち方ですなぁ。
受精卵が器官に分かれていくみたいに
この「最初はそっくりで、だんだん役割が分かれる」という話、どこかで聞いた覚えがありませんか。
そう、生き物の発生とそっくりなんですよ。1個の受精卵が分裂を繰り返しながら、やがて心臓になる細胞、神経になる細胞へと分かれていく、あの過程であります。
AIの部品も、最初はみんな似たような新入社員だったのが、研修を経て営業部と経理部へ配属が決まっていく、みたいな話だと思えば、そう遠くないでしょう。
実際に分化したヘッドが何に「特殊化」したのかと言いますと、たとえばこんな役割が観察されています。
- 直前の単語から次の単語を予測する、単純な役（bigram=2語のつながりを見る処理）
- 少し前に出てきたパターンを見つけて当てはめる役（induction=文脈中の規則を繰り返す処理）
さらに、これまで知られていなかった「multigram回路」という、もう少し複雑なパターンを扱う仕組みまで見つかったとのこと。
学習の過程を追いかけたからこそ、静的に眺めるだけでは気づけなかった構造が見えてきたわけです。
成績表には出ない「中の変化」を測る
ここで「いやいや、中の役割分担なんて、どうやって測るんだ」と思いますよね。これがこの研究のキモなんですよ。
使われたのは、特異学習理論（とくいがくしゅうりろん）という数学の枠組みをもとにした指標です。特異学習理論ってのは、渡辺澄夫さんが築いた、ニューラルネットのような「ふつうの統計では扱いにくいモデル」の学習を厳密に分析するための理論でしてね。
その指標を個々のヘッドに当てはめることで、「いま、この部品がどれだけ作り込まれてきたか」を数値で追えるようにしたわけです。
そして、ここが大事なところなんですが、こうした内部の変化は、AIの「成績」だけを見ていても気づけません。
学習中のAIの賢さは、ふつうテストの誤差（損失）の下がり方で測ります。ところが、その誤差のカーブが一見なめらかに下がっているときでも、中では役割分担という段階的な構造変化が、こっそり進んでいたわけっすね。
完成したAIの中身を静的に分析するのではなく、学習という時間軸に沿って変化を追いかける。この見方を、研究ではと呼んでおります。
AIの中身を理解する研究に「時間」という軸を一本足したもの、と捉えるとわかりやすいかもしれません。
結論: AIの賢さは「中で役割が決まっていく」プロセスだった
この研究が見せてくれたのは、AIの賢さが、ただ滑らかに積み上がるのではなく、内部で部品の役割が次々と決まっていく、段階的なプロセスだったという姿です。
最初はのっぺりと似ていた部品が、学習を通じて専門家へと分かれていき、その様子が成績の数字とは別のところで観察できるようになってきたわけです。これがなかなか大きな進展なんですよね。
もちろん、この研究で確かめられたのは、2層程度の小さなモデルでの話です。巨大なモデルでも同じことが起きると、そのまま言い切れるわけではありません。そこは差し引いて見ておきたいところでしょう。
ただ、マーケターや意思決定者として持ち帰っておきたいのは、「AIはブラックボックスだから、最終的な性能スコアで判断するしかない」という前提が、少しずつ崩れ始めている、という手応えなんですよね。
中で何が起きているかを問える研究が育ってくれば、いずれ「このAIは、なぜそう判断したのか」を確かめられる度合いも上がっていくわけですね。
AIを評価したり選んだりするとき、見せられたスコアだけを鵜呑みにせず、「中身を説明できるAIかどうか」も、これから効いてくる視点として頭の片隅に置いておくと、損はないはずです。
いやはや、AIの育ち方を覗くだけで、こんなに発見があるとは。気になった方は、まず「このAI、なぜこの答えを出したんだろう」と一度立ち止まってみるところから始めてみてくださいませ。
出典
- Timaeus Research, “Differentiation and Specialization in LLMs”, ICLR 2025 (Spotlight), 2024, リンク
