「久しぶりに触ったAI、別人みたいに賢くなってた」
半年くらい前に「うちの業務にはまだ使えないな」と判断して、それきり放置していたAIツール。先日ひさしぶりに開いてみたら、別人のように賢くなっていて面食らった——そんな経験、増えてきたんじゃないですかね。
へクス子も、一度ダメ出しした子がいつの間にか化けていて、評価をひっくり返した経験が何度もあります。
私たちはなんとなく、AIの賢さは勉強量に比例して、なだらかに右肩上がりで伸びていくものだと思いがちです。なんですが、どうやら現実はそんなにお行儀がよくないらしい、という研究がありまして。今回はそのあたりを掘り下げてみたいと思います。
グロッキングってのは何なのか
きっかけは、OpenAIの研究者たちが2022年に報告した「グロッキング（grokking）」という現象です。
「グロッキング」ってのは、ざっくり言うと「AIが訓練データをひたすら丸暗記して頭打ちに見えたあと、はるか後になって突然、本質を理解したかのように振る舞いはじめる」現象を指します。英語の grok は「腑に落ちる」くらいのニュアンスで、まさに、ある日いきなり腑に落ちる感じなんですよ。
ポイントは、その「いきなり」っぷりです。じわじわ良くなるのではなく、長い停滞のあとにガクンと跳ねる。ここが、私たちの素朴なイメージと食い違うところであります。
丸暗記で止まったあと、遅れてやってくる「理解」
研究では、モジュラー算術——時計のように一定の数で繰り上がる、ごく単純な計算課題が使われました。
最初、AIは問題と答えをただ丸暗記していきます。手元の問題はほぼ完璧に解けるのに、初めて見る問題はまるでダメ。いわば、過去問の答えだけ覚えて応用がきかない状態ですね。
ところが、ここで学習をやめずに延々と続けると、ずっとあとになって、初見の問題までスッと解けるようになる瞬間が訪れます。丸暗記から「ルールそのものの理解」へ、つまり汎化——応用がきく状態へ、遅れて移っていくわけです。
止まって見えて、中では準備が進んでいた
不思議なのは、「停滞している長い期間、AIは一体なにをしていたのか」という点です。
後の研究者たち（Nandaらの解析）がモデルの中身を覗いてみると、停滞して見えた裏側で、汎化のための回路がじわじわ組み上がっていたことが分かってきました。外から見ると何も起きていないのに、内側では着々と準備が進んでいた。まるで、観葉植物に毎日水をやっても何週間もウンともスンとも言わないのに、根のほうは静かに伸びている、あの感じです。
そこから、この現象を「相転移」として捉える見方が出てきました。「相転移」ってのは、水が0度で突然パキッと氷になるように、ある条件をまたいだ瞬間に状態がガラッと変わることです。能力もまた、なめらかに増えるのではなく、しきい値を越えた瞬間に不連続に跳ぶ、というわけですね。
もちろん、これは小さくて単純な実験設定で観察された話で、巨大な実用AIにそっくりそのまま当てはまると決めつけるのは慎重であるべきでしょう。ただ、「能力はときに跳ぶ」という示唆そのものは、なかなか重いと思います。
結論: 一時点のスナップショットでAIを値踏みしない
ここから実務に引きつけると、効いてくる教訓はシンプルです。「今のAIはこの程度」という一回きりの評価を、そのまま固定の結論にしてはいけない、ということなんですよ。
能力が不連続に跳ぶことがあるなら、ある時点のスナップショットだけを見て「まだ使えない」「もう頭打ち」と決め打ちするのは、けっこう危うい判断になります。停滞に見えていた裏で、次の飛躍の準備が進んでいるかもしれないからです。
だから大事なのは、一度きりの値踏みではなく、定点観測です。気になるAIは、四半期に一度でいいので同じ課題で試し直して、変化の兆しを拾う。評価を「更新し続ける前提」で持っておくほうが、跳ねた瞬間に乗り遅れずに済みます。
そしてこれは、AIの能力だけの話ではありません。AIが自社をどう語るか、どのブランドを候補に挙げるかも、ある日いきなり変わりえます。一度調べて安心するのではなく、変化を定点で追いかける。その姿勢こそが、これからのいちばんの備えになるはずです。
