近年の大規模言語モデル（LLM）は、膨大なテキストコーパスによる事前学習で高い文章生成能力を獲得してきました。しかし、「新しいタスクへの適応」や「最新の知識の取り込み」といった観点では、依然として課題が残されています。
従来のLLMは一度学習が終わると「静的」な存在となり、新しい情報やタスクに自律的に適応することができませんでした。
この課題に対してMITの研究グループは、SEAL（Self-Adapting Language Models）という新しいフレームワークを提案しました。これは、LLM自身が「自分で学習データやチューニング手順を生成し、自分の重みを更新する」という全く新しい適応戦略です。
SEALの概要：AIが自分の訓練データを作り出す
SEALの革新性は「自己編集（self-edit）」というアプローチにあります。モデルは新しい入力に対して、以下のような自分自身への指示（self-edit）を自然言語で生成します。
- 情報の構造化や再解釈
- 最適な学習率やエポック数などのハイパーパラメータ指定
- データ増強のためのツール利用指示
この「自己編集」は、人間がノートをまとめる過程に例えることができます。単なるコピペではなく、自分なりに要点を整理したり、図式化したりすることで、より深い理解や定着が得られるのと同じです。
SEALでは、こうした自己編集によって作成されたデータを使い、モデル自身が微調整（finetuning）を行います。さらに、この編集方針自体を強化学習（Reinforcement Learning, RL）で最適化していきます。
技術的アプローチ
SEALのコアアイデアは「自己編集ループ」です。
- 自己編集の生成： モデルが入力文脈から自己編集（self-edit）を生成
- 重みの更新： その編集内容を元にモデルの重みを更新（微調整）
- タスク評価と報酬： 更新後のモデルを下流タスクで評価し、その性能を報酬として自己編集生成の方針をRLでアップデート
この繰り返しによって、モデルは「どんな自己編集が効果的か」を学び続け、より賢く自己適応できるようになります。
実験と効果：SEALは何ができるのか？
SEALの有効性は、主に以下の2つの課題で検証されました。
1. 新しい知識の組み込み
Wikipediaのような文章を元に「内容の含意（implications）」をモデル自身に生成させ、その内容でモデルを微調整します。
結果として、単なる原文での学習よりも、自己生成データによる学習の方が、知識質問応答の正答率が大幅に向上しました。例えば、従来手法では33.5%だったSQuADデータセットのスコアが、SEALでは47.0%に上昇しています。
また、OpenAI GPT-4.1による外部生成データをも上回る結果となりました。
2. Few-Shot学習の最適化
SEALは抽象的な推論タスク（ARC-AGIベンチマーク）でも、どのようなデータ増強やハイパーパラメータ設定が最適かを自律的に選択できるようになります。
その結果、従来の「インコンテキスト学習」や「人間による最適設定」に迫るパフォーマンスを実現しました。
SEALの限界と今後の展望
- 忘却（catastrophic forgetting）： 連続して自己編集・学習を繰り返すと、過去の知識が徐々に失われる傾向があります。今後は「過去知識の維持」と「新知識の取り込み」を両立する工夫が求められます。
- 計算コスト： 各自己編集ごとに微調整と評価が必要であるため、従来のRLよりもコストが高いのも課題です。
まとめ：なぜSEALが注目されるのか？
SEALは「AI自身が自分のための教材を作り、学び方も設計する」時代の幕開けを告げています。従来の静的なLLMから、より「自己学習的」な知能へと進化する道筋を示すものです。
- AIが人間の介入なしで新しい知識やタスクに適応
- 高度な自己最適化により、データ効率と汎用性が大幅アップ
- 将来的には「AIエージェント」が自己進化・自己成長する世界の基盤技術へ
今後は、よりスケーラブルなデータ生成や継続的な自己学習、そして複数のタスクへの同時適応など、SEALの枠組みを拡張した研究が加速していくと予想されます。