近年、ChatGPT などの大規模言語モデル（LLM）は、数学の問題を解く能力が飛躍的に向上しています。
しかし、多くの人が抱く疑問は「AIは本当に計算しているのか、それとも単に暗記しているだけなのか」という点です。
この問いに対して、最新の研究が驚くべき答えを提示しました。
実は、LLM は「フーリエ変換（Fourier Transform）」という高度な数学的手法を用いて加算を行っているのです。
本記事では、この驚きの発見をわかりやすく解説し、AIの計算メカニズムに迫ります。
AIの計算は「暗記」ではなかった！？ フーリエ変換とは？
AIが本当に計算しているのか、それとも膨大なデータを記憶しているだけなのか。
この議論は長年にわたって続いてきました。
しかし、研究チームが GPT-2-XL（15億パラメータを持つモデル）を詳細に分析したところ、LLM は単なる暗記ではなく、数学的な波の性質を利用して加算を行っていることが分かりました。
では、フーリエ変換とは何でしょうか。
これは、複雑な波を異なる周波数成分に分解する手法です。
例えば、ラジオのチューニングを考えてみてください。
ある特定の周波数に合わせることで、目的の音声だけを聞くことができます。
同様に、AIは数値を異なる周波数の成分としてエンコードし、それを利用して計算を行っているのです。
LLM はどのように足し算をしているのか？
大規模言語モデルの内部では、MLP（多層パーセプトロン）とアテンション機構という二つの要素が重要な役割を果たしています。
MLP は低周波成分を使って数値の大きさをざっくりと予測します。
一方で、アテンション機構は高周波成分を用いて、偶数か奇数か、桁数の変化など、より細かい調整を行います。
これは、ピアノの調律をするようなものです。
まず大まかに音程を合わせ（MLP）、最後に微調整をして正確な音にする（アテンション機構）という流れに似ています。
この仕組みのおかげで、LLM は単にデータを丸暗記しているわけではなく、実際に計算を行いながら答えを導き出していることが分かります。
事前学習がカギを握る
この研究のもう一つの重要な発見は「事前学習（Pre-training）」がAIの計算能力に大きく影響していることです。
研究チームは、まったくのゼロから学習させたAIと、事前学習済みのAIを比較しました。
その結果、ゼロから学習したAIはフーリエ変換を活用せず、数値の単純な近似しかできませんでした。
しかし、事前学習済みのAIではフーリエ特徴が自然に学習され、より正確な加算が可能になりました。
これは、AIが単なる記憶ではなく、計算の効率的な手法を自ら獲得することを意味しています。
つまり、経験を積むことで、人間が効率的な計算方法を身につけるのと同じように、AIも計算方法を最適化しているのです。
なぜこの発見が重要なのか？
この研究が持つ意味は非常に大きいものです。
まず、AIが数学的な計算をしていることを証明し、単なる暗記マシンではないことが明らかになりました。
フーリエ変換を活用することで、未知の数値に対しても柔軟に対応できるため、AIの数学的推論能力が大幅に向上する可能性があります。
さらに、フーリエ変換がニューラルネットワークの計算において重要な役割を果たしていることが、新たな研究分野を切り開くきっかけになるかもしれません。
従来のAI研究では、フーリエ変換は画像や音声処理の分野で主に利用されていましたが、今回の発見により、数学的推論や科学計算にも活用できる可能性が示されました。
また、この技術が今後どのように発展するかにも注目が集まっています。
例えば、より高精度なAIの開発や、科学的なシミュレーション、金融分野におけるデータ解析など、さまざまな応用が期待されます。
まとめ：AIは本当に考えているのか？
LLM がフーリエ変換を利用して加算を行っているという発見は、AIの計算メカニズムに関する新たな知見をもたらしました。
従来は、LLM は統計的に最適な答えを推測しているだけだと考えられていましたが、実際には高度な数学的手法を使って計算していることが明らかになったのです。
今後、この手法がどのように発展し、他の数学的タスクにも応用されるのか、さらなる研究が期待されます。
「AIは本当に考えているのか？」という問いに対する答えは「少なくとも、周波数成分を使って計算している」ということになりそうです。
これからのAIの進化が、ますます楽しみになってきますね。
参考：Pre-trained Large Language Models Use Fourier Features to Compute Addition
コメント