はじめに──新しい仕事にとまどう、あの感覚
初めての職場で、前任者の引き継ぎがほとんどないまま、まっさらな状態で業務に取り組んだ経験はありませんか？
何をどう進めればいいのか分からず、試行錯誤しながら、自分なりのやり方を見つけていった――そんな日々に感じた不安や焦り。
それでも少しずつ慣れ、やがて仕事のコツが見えてくると、ふと「最初から、誰かの経験が受け取れたらよかったのに」と思ったことがある人は多いはずです。
実は、人工知能の世界でもまったく同じ課題が存在しています。
あるタスクで一生懸命学んだはずのAIが、別のタスクになるとまたゼロから学び直さなければならない。
せっかく積み上げた知識や経験が、まるで使い捨てのようになってしまうのです。
そんな”もったいない”状況を変えるかもしれないのが、Apple が開発した新技術「Activation Transport（AcT）」です。
これは一言で言えば、AIが過去の学びを未来に運び、別の課題でも自然に活かせるようにする技術。
まるで「経験ごと引き継げる」AIを生み出すような革新的なアプローチなのです。
なぜAIは「学び」を再利用できないのか？
AIは「タスクごとに最適な学習」を行うことで、高い精度を発揮してきました。
たとえば、猫と犬を見分ける画像認識モデルを作るとき、そのモデルは何万枚もの写真から特徴を抽出し、最終的には猫と犬を正確に判別できるようになります。
しかし、いざ似ているようで異なるタスク、たとえばオオカミと犬を見分ける課題に取り組もうとすると、その学習内容はほとんど活かされません。
むしろ、以前の知識が邪魔をして、うまく学べないことすらあります。
人間に例えると、英語を流暢に話せる人が、フランス語を学ぶときに「似ている部分があるはずなのに、前の知識がほとんど使えない」と感じるようなもの。
あるいは、同じ接客業でも業界が変わると勝手が違って戸惑うあの感覚に近いかもしれません。
このような”知識の断絶”は、AIの可能性を狭めてきました。
せっかく学んだのに、また一から教えなければならない。
そんな非効率な構造を、どうにか変えられないか。
Apple の研究チームは、そこに真正面から取り組んだのです。
「活性」を運ぶという発想──AIの感覚を引き継ぐ
AIが何かを「学ぶ」プロセスには、目には見えない”中間的な反応”が生まれます。
これは「活性（activation）」と呼ばれ、AI内部のネットワークが情報をどう解釈し、どう反応しているかを示す重要な手がかりです。
Apple の研究は、この活性をそのまま別のモデルに「引っ越し」させることで、過去の学習を新しいタスクにも活かせるのではないか、という大胆な仮説から始まりました。
たとえば、ベテランの職人が長年の勘や経験を「言語化せずに」次世代に伝えられたとしたらどうでしょう。
単なるマニュアルではなく「感覚そのもの」が受け継がれる。そんな夢のような状況が、AIの世界で現実になりつつあるのです。
従来の方法では、過去のモデルの重みや構造を一部使い回すことはできても、内部の”思考過程”をそのまま次のモデルに渡すのは困難でした。
しかし、Activation Transport は、この活性を新しいタスクに合わせて調整しつつ受け継ぐことに成功したのです。
何が革新的なのか？ そして、なぜこれほど注目されているのか？
この技術の革新性は、単に効率が良くなるという次元にとどまりません。
AIが本当の意味で「学習した経験を再利用できるようになる」だけでなく、モデルの出力を細かく制御できるようになるのです。
たとえば、大規模生成モデルに対して、よりユーザーの期待に沿った出力を生成させるために、従来は「強化学習による人間からのフィードバック（RLHF）」や「指示によるファインチューニング」といった手法が用いられてきましたが、これらは非常にリソースを消費し、モデルが複雑になるほど実用的ではなくなります。
しかし、Activation Transport は、モデルの大規模な再設計や複雑なパラメータ調整を必要とせず、計算オーバーヘッドもほとんどありません。
これは開発者にとっても大きなメリットであり、企業が抱えるコストや時間の課題を劇的に緩和します。
つまりこの技術は、言語モデルだけでなく、テキストから画像を生成するモデルなど、モダリティに依存しない形で、AIの出力を細かく制御できる可能性を秘めているのです。
未来への扉──AIが「経験する」世界へ
この技術がもたらす未来は、単なる効率化では終わりません。
AIが過去の経験を踏まえて判断し、成長していくだけでなく、その出力を細かく制御できるようになることで、私たちの社会や暮らしにも新しい可能性が広がっていきます。
たとえば、テキストから画像を生成するモデルが「ピンクの象を表示しないでください」という指示に対して、逆にピンクの象を生成してしまうという問題があります。
これはテキストエンコーダーが否定表現を適切に解釈できないことが原因ですが、AcT を使えば、こうした望ましくない概念を生成画像から取り除くことができます。
また、言語モデルの有害なコンテンツの緩和や真実性の向上にも効果を発揮します。
研究によれば、Gemma-2-2b モデルでは有害コンテンツを 7.5 倍削減し、Llama-3-8b モデルでは 4.3 倍削減することに成功しています。
これはまさに、AIの出力をより細かく制御し、より安全で信頼できるものにする重要な一歩です。
おわりに──学びは、つながってこそ力になる
私たち人間は、失敗や成功を重ねながら、少しずつ学びを積み上げていきます。
そしてその学びは、次のチャレンジに生きていくことで、初めて本当の価値を持ちます。
AIも、同じように「学びをつなぐ」ことができるようになる。
その一歩を示してくれたのが、Apple の「Activation Transport」です。
技術が人間に近づくこと。
それは、冷たい機械の進化ではなく、私たちの生き方に新たなヒントを与えてくれる、温かく希望に満ちた進化なのかもしれません。
この技術は 2025 年の ICLR 会議でスポットライト発表される予定で、コードも公開されています。
参考：Controlling Language and Diffusion Models by Transporting Activations
コメント