「AIに会社概要を聞いたら、うちの数字が違ってたんですけど」
社内でこの報告が上がってきた経験、ありませんかね。
へクス子は、AIが知らないのは学習データの締め切りより新しい話だから、と説明して片づけたことがあります。
なんですが、その日ずれていたのは3年前の、とっくに公表済みの数字のほうでしてね。
古い話ほど正しく知っているはずなのに、どうして会社によって当たり外れが出るのか。
米国の上場企業について、公式に開示された数字と1問ずつ突き合わせた答え合わせが、19.7万問ぶんあります。
AIは会社の実績をどこまで正しく知っているのか
会社の規模と、開示情報の読みやすさで決まります。
ジョージア工科大学の Agam Shah ら5名は、米国上場企業の財務データについて19.7万問以上をAIに問い、公式データと突き合わせています（2025年公開、COLM 2025 収録）R。
規模が大きく、投資家の関心が高く、開示文書が読みやすい会社ほど、正確に答えられていたそうな。
同じ研究で、規模が大きく年度が新しいデータほど、AIが自信満々に誤った数字を作り出す確率も上がっていました。
正しく知られていることと、間違いを作られないことは、別々に動くわけですね。
「締め切りより前なら知っている」という前提を測り直す
学習データの締め切り日ってのは、要は「AIが学んだ資料が、いつまでの分か」を示す線です。この線より新しい出来事をAIが知らないことは、よく知られております。
この研究が測ったのは、その線より手前にある情報のほうでした。
やり方はいたって素朴で、米国上場企業の財務項目について19.7万問以上の質問を作り、AIの答えを公式データと1問ずつ照合しています。
そのうえで、会社の時価総額、個人投資家の関心、機関投資家の関心、開示文書の読みやすさという4つの手がかりが、正答率とどう連動するかを見ております。
線の手前は全部知っている、という前提が最初に崩れました。古い年度になるほど、AIの正答率は落ちていたんです。
正確さを分けていたのは、規模と「読みやすさ」だった
大きい会社の数字ほど当たる。ここまでは、多くの方の予想どおりでしょう。
面白いのは、時価総額と並んで開示文書の読みやすさが効いていたところであります。同じ規模でも、書き方の側で差がつくということですね。
読みやすさの指標は、要するに「その文書が平易な文で書かれ、数字が読み取りやすい形で置かれているか」を数値にしたものです。
これは会社の側で動かせる変数でしてね。時価総額を今日から上げるのは無理でも、決算の要点を平文と数字で書き直すのは今日からできます。
へクス子がこの結果でいちばん救われたのは、その一点でありました。
投資家の関心が高い会社ほど正確、という結果も同じ向きを指しております。人がよく読み、よく引用する情報は、AIの側にも残りやすいわけです。
大きい会社ほど、作り話も増えるという逆説
ここが素直に喜べないところで、規模が大きく年度が新しいデータほど、ハルシネーションも増えていました。
ハルシネーションってのは、要は「AIが、もっともらしい顔で存在しない事実を答えること」です。自社の数字で起きると、社外の人が疑わずに引用してしまう厄介さがあります。
材料が多いぶん、AIは黙るのをやめて、それらしい数字を組み立ててしまう。試験前によく勉強した科目ほど、空欄を白紙で出さずに自信たっぷりの誤答で埋めてくる受験生のようなものであります。
つまり大手ほど「AIに正しく知られている」と同時に「AIに勝手な数字を語られている」状態になりやすい。
自社について精度が高いはずだから安心、という読み方はできないということですね。
この数字を日本の会社へ持ち込むときの注記
対象は米国の上場企業の財務データに限られます。日本語圏・非上場企業・財務以外の企業情報へそのまま広げられるかは、この研究では確かめられていません。
読みやすさの指標も、米国の証券当局へ出す提出書類の特性に合わせて作られたものです。日本の開示制度の書類に同じ物差しが当たるとは限りません。
評価に使われたAI群と質問セットも公開時点のもので、モデルが更新された後に同じ結果が出るかは継続して確かめる必要があります。
では、この3つを踏まえてなお持ち帰れるものは何でしょうか。会社が自力で動かせる手がかりが「開示の読みやすさ」だった、という一点であります。
自社の数字を、AIが読める形で置き直す
手を動かすところは1つで足ります。自社の実績・数字を書いたページを開いて、AIが読み取れる形になっているかを見ることです。
金額や件数が画像や図版の中だけに入っていないか。年度と単位が本文の文字として書かれているか。この2点を直すだけでも、AIが拾える材料は変わります。
あわせて、AIの回答は複数回・複数のAIで確かめる習慣を持っておきたいところです。1回の回答で自社の数字が正しく出たとしても、逆説のほうが効いている可能性が残りますからね。
正しく知られているかと、勝手に作られていないか。この2つは別々に確かめる必要がある、というのが今回の持ち帰りになりましょう。
出典
- Agam Shah ほか4名（Georgia Institute of Technology）, “Beyond the Reported Cutoff: Where Large Language Models Fall Short on Financial Knowledge”, arXiv:2504.00042, 2025年, COLM 2025 採択, arxiv.org（米国上場企業の財務データについての 197,000 問超を、公式の開示書類と1問ずつ突き合わせて採点した。正答率は時価総額、個人投資家・機関投資家の注目度、開示書類の読みやすさが上がるほど高く、古い会計年度ほど低かった。作り話の割合は、規模の大きい企業と新しい会計年度で上がった。限界: 対象は米国上場企業の財務データに限られる。読みやすさの指標は米国の証券開示書類を前提に作られている。評価したモデルと問題集は公開時点のもの）
