「AI、うちのこと知ってるはずなのに、なんで間違えるの？」
ChatGPTに自社や担当ブランドのことを聞いてみたら、サイトにちゃんと書いてある事実を、なぜか微妙に外して答えてきた。そんな経験、ありませんか。
へクス子も、ある会社の説明文をそっくりそのまま読ませたあとで「この会社の設立年は？」と聞いてみたら、堂々と1年ずれた数字を返されて、首をかしげたことがあります。
なんですが、もっと不思議なのは「その会社の特徴」から逆に会社名を当てさせようとすると、まるで歯が立たないことなんですよね。人間なら「あの特徴ならあの会社かな」とたどれるところを、AIはぴたりと黙り込んでしまう。
この「学習データには入っているはずなのに、なぜ引き出せないのか」という問いに、合成データを使った地道な実験で答えた研究がありまして。今回はそのへんを掘り下げてみたいと思います。
「架空の人物」を丸暗記させる、ちょっと変わった実験
紹介するのは、Meta FAIR の Zeyuan Allen-Zhu さんらによる「Physics of Language Models」というシリーズ研究です（R）。物理学が単純な実験から法則を見つけたように、AIも条件を整えた実験から仕組みを解こう、という発想の研究なんですよ。
この研究のうまいところは、わざわざ「架空の人物の経歴」を大量に作って、それをAIに覚えさせた点ですね。実在の有名人だと、AIがネットのどこかで答えを盗み見ている可能性が残りますが、最初から存在しない人物なら、AIが知っているのは「与えた経歴だけ」だと保証できます。
そのうえで、「この人の誕生日は？」「勤務先は？」といった質問にどこまで正しく答えられるかを、条件を変えながら測っていったわけです。
「覚えている」のに「引き出せない」という不思議
で、いちばん意外だったのが最初の結果でして。経歴をきれいな1パターンの文章で覚えさせただけだと、AIはその人の情報を質問形式ではほとんど引き出せなかったんですよ。
ここで言う「抽出」ってのは、覚えた事実を質問に応じて取り出せること、という意味です。覚え込ませること自体は成功していて、内部にはちゃんと情報が入っている。なのに、いざ聞かれると出てこない。記憶はあるのに思い出せない、あの感覚に近いわけですね。
では、どうすれば引き出せるようになるのか。研究チームが効くと突き止めたのが、覚えさせる段階での「言い回しの多様性」でした。同じ事実を、語順を変えたり、別の表現に言い換えたり、いろんな文脈で何度も見せておく。すると、AIはその事実を質問形式でもすらすら取り出せるようになりました。
逆に、表現がワンパターンのまま覚えさせると、あとからどれだけ追加で訓練しても、抽出の精度はほとんど上がらなかった。「覚えた」と「引き出せる」は、覚えさせる時点でほぼ決まってしまう、という指摘なんですよ。
AIは「逆引き」がほぼできない
シリーズの続編では、覚えた知識を使う側のクセも調べています（R）。ここで分かったのが、AIには得意な使い方と、構造的に苦手な使い方がある、ということでした。
得意なのは素直な「検索」です。「Aさんの誕生日は？」のように、覚えた事実をそのまま引くだけなら、よくこなします。ところが、複数の事実を見比べる分類や比較になると、途中の考えを書き出させないかぎり、精度がぐっと落ちてしまう。
そして、いちばん苦手だったのが「逆引き」でした。「この特徴を持つ人は誰？」と、答えのほうから人物を当てにいく問いには、性能がほぼゼロだったんですよね。順引きはできるのに逆引きは総崩れって、片側からしか開かない自動ドアくらい不便な話です。しかも、この弱点は GPT-4 級のモデルでも変わらなかったそうな。
「知ってる」と「答えられる」は、AIの中では別物
こうして並べてみると、ひとつの線が見えてきます。AIにとって「知識を持っている」ことと「それを引き出せる」ことは、まったくの別物だ、ということなんですよね。
人間の感覚だと、知っていれば聞かれたときに出せるのが当たり前です。だから「学習データに入っている＝AIは答えられる」とつい考えてしまう。けれど今回の研究は、その素朴な思い込みにはっきり線を引いたわけです。
ポイントは、引き出せるようになる条件が「どれだけ多様な言い回しで露出していたか」に強く効く、という点でしょうな。AIは1つの言い方をそのまま暗記するのではなく、いろんな表現に共通して現れる事実ほど、しっかり取り出せる形で覚えてくれる。だから露出の「量」だけでなく「言い回しの幅」が、引き出されやすさを左右するわけですね。
結論: 自社の事実は「ひとつの言い方」で満足しない
では、この話がブランド担当やマーケターにとって何を意味するのか。
ひとつめの持ち帰りは、自社の重要な事実を、いろんな言い回し・文脈で世に出しておくことの効きめです。会社概要に1行だけ正解を書いて満足するのではなく、ニュース、解説記事、Q&A、第三者の言及など、表現を変えて同じ事実が繰り返し現れている状態をつくる。それが、AIにとって「引き出せる知識」になるための条件だ、というのが研究からの素直な示唆です。
ふたつめは、AIが「逆引き」に弱いと知っておくことです。「この条件に合う会社は？」「業界でこういう特徴の企業は？」といった聞かれ方では、たとえ自社が当てはまっても、AIはなかなか名前を出してくれません。だからこそ、自社名と特徴がまっすぐ結びついた形での露出を増やしておくほうが現実的なんですよね。
そのうえで効いてくるのが、思い込みで決めず実際に確かめる姿勢なわけです。自社についてAIが何を、どんな聞き方で正しく引き出せるのかは、推測ではなく一度測ってみないと分かりません。出し方を変えながら、AIの引き出し具合がどう変わるかを定点で見ておく。それが、AIに「知ってもらう」から一歩進んで「正しく語ってもらう」ための、地道だけれど効いてくる備えになりますよ。
