「どれも高得点だから同じ」で選んでいませんか
AIツールを比較するとき、スコアが近いと「どれでもよさそう」に見えますよね。
ただ、実際に回してみると、同じ点数帯でも崩れ方が違うことがあります。要約は強いのに比較判断は弱い、みたいな差ですなぁ。
へクス子も、順位表の上から試して、あとで選び直したことがあります。
前回の記事で見たとおり、AIは内部で文構造を扱っています。その深さを左右するのが、モデルごとの「設計差」です。
対象は同じ、2023年の Physics of Language Models（R）です。
焦点は、設計の違いが、実務でのミスの出方をどう変えるかです。
「位置情報の持ち方」だけで理解力に差が出る
研究チームは、入れ子構造のデータで複数設計を比較しました。最初に差が出たのが、位置情報の扱いです。
「位置埋め込み」は、単語が文中のどこにあるかを伝える仕組みです。方式はざっくり2つで、「絶対位置」と「相対位置」です。
比べてみると、相対位置方式（RoPE系）が絶対位置方式を上回る場面が一貫して見られました。
文の理解を支えているのは「何番目か」より「何と何がつながるか」のほうですからね。
つまり、仕様書の細かい数値より、どの方式かを押さえるほうが判断に効くわけです。
「制約がある設計」が逆に強くなる場面がある
もう一つ、GPT型とBERT型の比較でも差が出ております。前後を同時に見られるBERT型のほうが有利に見えますが、結果は単純ではありません。
実験では、深い入れ子構造の理解でGPT型が優位になる条件が確認されました。制約があるぶん、構造を追わないと答えられないからです。
高機能に見える設計ほど強い、とは限らないんでしょうな。
じゃあ、その勝ち筋を自社の仕事の側からどう見分けるか。
実務では「平均点」より失敗傾向の一致を見る
見たいのは平均点よりも、どこで崩れるか、つまり の型のほうですね。
同じ90点でも、比較質問に弱いモデルと長文条件分岐に弱いモデルでは、業務リスクが違います。自社の主要タスクで失敗傾向が合うかどうかを先に確認したいところです。
へクス子も、平均点の欄より先にここを見るようになりました。
AI選定は「高得点モデル」より「失敗しない設計」を選ぶ
実務で効いてくるのは、平均点の高さより、重要な場面でどう崩れるか、崩れたときに人間が検知できるかのほうです。つまり「一番賢そうなAI」ではなく、「自社の使い方で失敗しにくいAI」を選ぶ話なんですよね。
そのためには、候補モデルごとに実業務タスクを3〜5本ほど固定して、同じ条件で反復テストするのが現実的です。ベンダー比較でも、苦手条件、検証データの近さ、人間レビューの範囲を同じ質問票で聞くと、比べる軸が営業資料のきれいさから運用リスクの側へ寄ります。
次は、推論タスクをどこまで任せてよいかを扱うこちらの記事へ進むと、選定基準をさらに詰められます。
出典
- Zeyuan Allen-Zhu, Yuanzhi Li, “Physics of Language Models: Part 1, Learning Hierarchical Language Structures”, 2023, arXiv
- Physics of Language Models シリーズ全体（Part 1〜Part 4.1、全7本）: 公式サイト
関連記事
- AIは「理解」しているのか、それっぽく返しているだけなのか？ — 内部検証で見えた答え
- 「考えるAI」の答え、本当に考えた結果なのか？ — 推論の実力と限界
- 「来年にはもっといいAIが出るから待とう」は本当か？ — 設計進化の方向性
