もどる HexScope Lens

なんで大きいAIほど賢いの?その答えは中身の"詰め込み方"にあった

POINT この記事のポイント
  • 「大きいほど賢い」は偶然ではなく内部構造が決めた必然だった
  • 規模拡大が効く「なぜ・どこまで」を見立てる材料になる話

「AIって、大きくすればずっと賢くなり続けるの?」

「AIは大きくするほど賢くなる」という話、ここ数年いろんなところで耳にするじゃないですか。パラメータが何千億だ、何兆だ、という数字がニュースに出るたびに、なんとなく「結局は規模がモノを言うんだな」と受け止めてしまう。パラメータの桁数を見せられるだけで、思わず納得してしまう。そんな読者は、決して少なくないでしょう。

へクス子も、新しいモデルが出るたびに、今度はどれくらい大きくなったのかをまず気にしてしまう側の人間でして。

なんですが、ふと立ち止まると不思議なんですよね。そもそも、なんで大きくすると賢くなるんでしょう。そして、それって本当にこの先もずっと続くものなんでしょうか。

実はこの「なんで?」、長らく専門家のあいだでも、はっきりした答えのない経験則のままでした。ところが2025年、その「なんで」にAIの内側から答えた研究が出てきました。しかもその答えは、AIが中身をどう”詰め込んで”いるか、という思いのほか物理的なところにありました。

そもそも「大きいほど賢い」って、どういう経験則なのか

まずは前提のおさらいからいきましょう。AIの世界には「スケーリング則」ってのがありまして、これは要するに「学習データ・計算量・モデルの大きさを増やすほど、性能がきれいに上がっていく」という経験則のことなんですよ。

ここで言う性能は、ざっくり「予測の外しっぷり」で測ります。専門的にはと呼ぶんですが、要は小さいほど賢い、と思ってもらえれば十分です。

おもしろいのは、この関係がかなりきれいなカーブを描くこと。規模を増やすと損失がこれくらい下がる、というのが見事に揃うわけですね。だからこそ各社は安心して「とにかく大きくする」へ投資してきました。

毎年のように「そろそろ頭打ちでは」とささやかれては、その予想がやんわり外れてきた(毎度おなじみ、終わる終わる詐欺みたいなものですよ)。このカーブが、妙に素直に伸び続けてきたからなんですよね。

ただ、ここには長年のモヤモヤがありまして。きれいに揃うのは分かったけれど、なんでそうなるのかは、正直なところよく分かっていなかったんですよ。経験則、つまり「やってみたらそうだった」の域を出ていなかったわけです。

カギは、AIの中の「ぎゅうぎゅう詰め」だった

その「なんで」を解くカギになったのが、(superposition)という現象です。

重ね合わせってのは、AIが自分の持っている部品の数よりも、はるかに多くの「特徴」を詰め込んで覚えている状態のことを言います。

特徴ってのは、AIが世界を読み解くための小さな手がかり——「これは丁寧な文章っぽい」「これは料理の話題っぽい」みたいな、無数の着眼点だと思ってください。

普通に考えると、部品が100個なら覚えられる特徴も100個まで、という気がしますよね。

ところが実際のAIは、100個の部品に何千個もの特徴を、向きを少しずつずらしながら重ねて同居させている。

引き出しの数より多い書類を、斜めにずらして1枚ずつ見えるように詰め込んでいる、みたいなイメージです。

この「重ね合わせ」、もともとはAnthropicが2022年に小さなモデルでその仕組みを解き明かしたもので(R)、AIの中身を読み解く解釈可能性研究の出発点になった考え方なんですよ。

「重ね合わせ」が、スケーリング則を生んでいた

で、今回のMITの研究(Liu・Liu・Goreら、NeurIPS 2025の Best Paper Runner-Up に選ばれています)が示したのが、この重ね合わせこそがスケーリング則の正体だ、という話なんですよね(R)。

研究チームは、特徴を「強く」重ね合わせている領域——つまり、部品の数をはるかに超える特徴を、ぎゅうぎゅうに詰め込んでいる状態——を理論的に分析しました。すると、こんな関係がくっきり出てきます。

部品の多さ(モデルの幅)を増やすと、損失がそれに反比例して下がる。

部品を2倍にすれば外しっぷりがおよそ半分になる、というきれいな反比例。これがあの「大きいほど賢い」というカーブの中身だった、というわけですね。

しかも見事なのは、この関係が、特徴の細かい散らばり方によらず、かなり広い条件で頑健に成り立つこと。前提を多少いじってもカーブの形が崩れないんです。ここまで安定していると、もはや偶然ではなく、構造に根ざした必然に見えてきますねぇ。

何が新しいかというと、「経験則」に理由がついたこと

ここがこの研究のいちばん大事なところでして。これまでスケーリング則は、何度測ってもそうなる「経験則」ではあったけれど、なぜそうなるのかの説明は宙ぶらりんのままだったんですよ。

それが今回、「AIが特徴を重ね合わせて詰め込む、その幾何学的な詰め方からスケーリング則が導ける」という形で、ようやく内側の仕組みと結びついた。

Anthropicが見つけた「重ね合わせ」と、各社が頼ってきた「スケーリング則」が、一本の線でつながったわけです。

言ってみれば、各社が経験的に「効くから」と続けてきた規模拡大に、「なぜ効くのか」という背骨が一本通った、ということです。理由が分かったからといって賢さがいきなり増すわけではありませんが、見え方はずいぶん変わってきますね。

「規模はまだ効く」を、根拠を持って見られるようになる

では、この話がマーケターや意思決定者にとって、どんな意味を持つのか。

ひとつは、「とりあえず規模を大きくする」という業界の流れが、当面はまだ効き続けると見てよさそうだ、という安心材料になることです。

少なくとも今のところ、規模拡大が効くのは偶然の幸運ではなく、AIの中身の作りに根ざした必然だと分かってきました。

近いうちに大型モデルの賢さが急に頭打ちになる、という前提を計画へ据えるのは、いまのところ気が早いですね。

そしてもうひとつ、むしろこちらのほうが効いてきます。

「なぜ効くのか」が見えると、「どこまで効くのか」「どこで鈍り始めるのか」を考えるための足場ができる、ということです。

重ね合わせの詰め込みには幾何学的な限界があるはずで、そこに近づけば反比例のカーブもいつかは寝てくる。

そうした見立てを、雰囲気ではなく構造から語れるようになる。

AIの能力やコストの見通しは、これからAI投資やツール選びの判断に、じわじわ直結してきます。

「大きいほど賢い、らしい」で止めずに、「なぜ・どこまで賢くなるのか」まで一段深く見ておく。

それが、過剰な期待にも過剰な悲観にも振り回されないための、地味だけれど効いてくる備えになりますよ。


出典

  • Yizhou Liu, Ziming Liu, Jeff Gore(MIT), “Superposition Yields Robust Neural Scaling”, arXiv:2505.10465, 2025-11-29, NeurIPS 2025 (Best Paper Runner-Up), https://arxiv.org/abs/2505.10465
この記事をシェア
Bluesky X
記事一覧にもどる