AIによる新しい評価手法の登場
ある研究チームが画期的な発見をしました。
AI基盤モデル（GPT-4o）が「科学者」として別のAIモデルの能力を評価し、その過程で予想外の発見が得られたのです。
このアプローチは「Automated Capability Discovery (ACD)」と呼ばれ、AIの評価方法に新たな可能性を示しています。
なぜAIの能力評価は難しいのか？
これまでのAI評価は、BIG-bench などの人工ベンチマークや人間が作成したテストスイートに依存していました。
しかし、このアプローチには重要な課題があります。
人間が設計したテストでは、AIの潜在的な能力を完全に把握できない可能性があるのです。
さらに、最新のAIモデルは既存のテストで満点を取ることも多く、真の進歩を測定することが困難になっています。
また、テスト作成者が想定していない能力は評価できないという根本的な問題も存在します。
ACD の革新的なアプローチ
ACD は、これらの課題に対する革新的な解決策を提示しています。
このシステムでは、まずAIが科学者として5000世代に渡って多様なタスクを生成します。
次に、生成されたタスクの新規性を評価し、対象のAIモデルにそのタスクを実行させます。
最後に、その結果を自動的に評価・分析するのです。
この過程で1330の新規タスクが発見され、その 92.2% が人間評価者によって妥当と判断されました。
発見された驚きの能力と限界
研究を通じて、AIモデルの予想外の能力と意外な限界が明らかになりました。
例えば、アインシュタインの論理パズルの変形版（17個の手がかりを含む）を完璧に解決するなど、複雑な推論能力を示す場面がありました。
また、複雑な空間認識を要する課題でも高い成功率を記録しています。
一方で、意外な限界も発見されました。
「9.11 と 9.9 の大小比較」といった単純な数値比較で誤りを犯すことがあり、また基本的な視覚パターンの予測においても失敗するケースが確認されました。
このような発見は、AIの能力がいかに人間とは異なる形で発達しているかを示しています。
今後の展望
ACD のような手法の発展は、AIの能力評価に新たな地平を開く可能性を秘めています。
AIが自己の能力をより深く理解し、改善点を特定できるようになることで、より効果的な発展が期待できます。
特筆すべきは、このシステムによる評価が人間の評価者との間で高い一致率（F1スコア 0.86）を示したことです。
これは単なるAIの評価手法の改善にとどまらない意義を持っています。
AIシステムの安全性確保や、潜在的なリスクの早期発見にも大きく貢献する可能性があります。
私たちは今、AIがその能力と限界を自ら探求していく新たな時代の入り口に立っているのかもしれません。
参考：Automated Capability Discovery via Model Self-Exploration
コメント