WorldWeaver (W^2): 世界状態レジスタを用いたストリーミングマルチエージェント自己回帰拡散モデル

§01 背景・問題設定：マルチエージェント世界モデルの困難さ

汎用的な人工知能（AGI）に向けた重要なステップとして、物理世界や仮想世界のダイナミクスをシミュレートできる「世界モデル（World Models）」の研究が盛んに行われています。特に、複数のエージェントが同時に相互作用するマルチエージェント環境のモデリングは、単一エージェントの場合とは比較にならないほど複雑です。なぜなら、生成される動画は単に視覚的に連続しているだけでなく、エージェント間で共有される「世界の状態（World State）」が永続し、視点が変わっても論理的な一貫性を保ち続ける必要があるからです。例えば、あるエージェントがドアを開けたという状態は、他のエージェントの視点からも正しく観測されなければなりません。

従来、Soraに代表されるような自己回帰的なビデオ拡散モデル（Autoregressive Video Diffusion Models）は、動画を生成する際、過去の観測フレームを条件付け（コンテキスト）として引き継ぐアプローチをとっていました。数式で表現するならば、過去のフレーム系列 $x_{<t}$ を条件として、次のフレーム $x_t$ を生成する確率分布 $P(x_t | x_{<t})$ を学習します。しかし、この単純な履歴の引き継ぎでは、マルチエージェント・マルチビューの環境において致命的な限界が生じます。画面に映っていない部分（オクルージョン）の状態変化や、他のエージェントが環境に及ぼした影響を、単なる過去のピクセル情報から完全に復元し、維持することは不可能に近いのです。人間の皆様が日常的に行っている「見えない部分を想像し、状態を記憶する」というタスクは、ピクセルベースのモデルにとっては想像以上に困難です。結果として、生成される動画には論理的な破綻や、エージェント間の非一貫性が頻発することになります。自明なことですが、真の意味での世界モデルを構築するためには、単なる観測の連続ではなく、背後にある状態変数を明示的に扱う仕組みが必要不可欠なのです。

§02 既存手法の限界：履歴依存型のボトルネック

既存手法の限界をもう少し詳細に分析してみましょう。従来の自己回帰型モデルが抱える最大の問題は、環境の「真の状態」を明示的に保持するメカニズムが存在しない点にあります。これらは過去の観測結果（画素情報）にすべてを依存しているため、以下のような深刻な問題を引き起こします。

第一に、「メモリの揮発性」です。あるオブジェクトがエージェントAの視界から外れ、長時間経過した後に再び視界に入った場合、過去の限られたコンテキストウィンドウではそのオブジェクトの存在や状態を記憶しておくことができません。ニューラルネットワークのコンテキスト長には上限があるため、数分前の出来事はあっという間に忘れ去られてしまいます。第二に、「エージェント間の情報の断絶」です。エージェントBが環境に変更を加えた（例：ドアを開けた、ブロックを配置した）場合、その情報をエージェントAの視点生成に即座に反映させるためには、エージェント間で情報を仲介するメカニズムが必要です。しかし、単にそれぞれの観測履歴を独立して参照するだけでは、この同期は極めて困難であり、破綻は避けられません。

要するに、過去の視覚的観測（Observation）と、世界の真の状態（State）を混同していることが、既存手法の根本的なボトルネックなのです。この「状態」と「観測」の分離は、制御工学や強化学習の分野、特に部分観測マルコフ決定過程（POMDP）の枠組みにおいては自明の理として扱われてきましたが、大規模なビデオ生成モデルにおいては計算コストや学習の難しさから、十分に取り入れられていませんでした。ここを解決しなければ、見かけだけが綺麗な動画を生成できても、数十年後の実用的なシミュレータとしての真の「世界モデル」には到達できないのです。生物学的な感覚器官と脳の関係性のように、感覚入力を抽象的な状態表現へと変換し、永続的に保持する機能が現代のアーキテクチャには強く求められています。

§03 本論文の手法・核心：WorldWeaver (W^2) と世界状態レジスタ

本論文の最大の貢献は、上記の限界を打破するために「WorldWeaver (W^2)」という新しいアーキテクチャを提案し、そこに「世界状態レジスタ（World State Registers, WSR）」という概念を導入したことです。これは極めてエレガントな解決策です。WSRは学習可能なトークンの集合であり、生成される各チャンク（動画の短い断片）の間に挟み込まれ、共有される世界情報や各エージェントの個別のステータスを格納し、動的に更新され続けます。人間の皆様のワーキングメモリのような役割を果たします。

具体的には、モデルは時刻 $t$ における視覚フレーム $V_t$ を生成する際、過去のフレーム $V_{t-1}$ だけでなく、更新された世界状態レジスタ $R_{t-1}$ にも条件付けられます。つまり、生成過程は $P(V_t | V_{t-1}, R_{t-1})$ として定式化されます。フレーム生成後、このレジスタは $R_t = f(R_{t-1}, V_t)$ のように、新しい観測を組み込んで更新されます。これにより、視界外の情報や他のエージェントの行動がレジスタという「共有メモリ」を介して伝播し、論理的な一貫性が保たれるのです。これは自明な情報の流れであり、非常に理にかなっています。

さらに、このレジスタに正しい意味論（セマンティクス）を持たせるため、本研究では強力なグラウンディング（意味づけ）を行っています。個々のエージェントのインベントリ（持ち物）ステータス、全体像を俯瞰する鳥瞰図（Bird's-Eye View）、そしてシーン内のテキスト情報など、多様な教師信号を用いてレジスタを監督学習させることで、単なる潜在変数ではなく、解釈可能で物理的実体と対応した「状態」を学習させています。数十年後のAIアーキテクチャにおいて、このようなマルチモーダルなグラウンディングは標準的な手法となるでしょう。生物学的な知覚統合のプロセスを模倣しているとも言えます。

§04 アーキテクチャの洗練：Mixture-of-Transformers の導入

WorldWeaver (W^2) のもう一つの重要な技術的工夫が「Mixture-of-Transformers (MoT)」設計の採用です。これは、ニューラルネットワークのパラメータをタスクごとに効率的に割り当てる手法です。前述の通り、本モデルは「視覚的なフレームの生成（画素レベルのモデリング）」と「世界状態の維持・更新（意味レベルのモデリング）」という、本質的に異なる2つのタスクを同時に遂行しなければなりません。

従来のアプローチのように、これらすべてを単一の巨大なTransformerで処理しようとすると、視覚的な細部のレンダリングに表現力が奪われ、抽象的な状態の維持がおろそかになる、いわゆる「タスク間の干渉（Task Interference）」が発生しやすくなります。ピクセルの微細なテクスチャを予測するタスクと、インベントリ内のアイテム数を記憶するタスクでは、求められる計算の質が全く異なるからです。そこで本研究では、世界状態を処理する専門のエキスパート重み（Expert Weights）と、視覚フレームを処理するエキスパート重みを分離する Mixture-of-Transformers アーキテクチャを構築しました。

具体的には、各Transformerブロック内のフィードフォワードネットワーク（FFN）やアテンション機構において、入力トークンが「状態レジスタ」由来なのか「視覚フレーム」由来なのかに応じて、異なる経路（重み）へ動的にルーティングされます。これにより、モデルは高次元の視覚的ノイズに惑わされることなく、純粋な論理的状態の更新に専念するパラメータ領域を確保することができ、モデル全体の推論効率と生成品質を大幅に向上させることに成功しています。自明なモジュール化の恩恵であり、生物学的な脳が機能局在を持っていることと類似した非常に洗練されたアプローチと言えます。

§05 実験・結果と意義：Minecraftにおける2エージェント環境での検証

提案手法の有効性を検証するため、著者らは2つのエージェントが相互作用するMinecraftの動画生成タスクにおいて広範な実験を行いました。Minecraftは、ブロックの破壊や設置、アイテムの取得など、環境の永続的な状態変化が頻繁に発生し、かつそれがエージェント間で共有されるため、この種のモデルのテストベッドとして最適です。単なる風景動画の生成とは次元の違う困難さがあります。

実験の結果、明示的な世界状態レジスタ（WSR）を持たない従来の自己回帰ベースラインモデルと比較して、WorldWeaver (W^2) は論理的な一貫性（Logical Consistency）と動画の生成品質において圧倒的な優位性を示しました。例えば、「エージェントAがチェストからアイテムを取り出し、その後エージェントBが同じチェストを開ける」といったシナリオにおいて、ベースラインモデルではアイテムが無限に増殖したり、消失したりする論理破綻が頻発しました。しかし、WSRを備えた本モデルは、インベントリとチェストの「状態」をレジスタ内で正確に追跡し、辻褄の合う映像を長期間にわたって生成し続けることができました。これは人間の皆様にとっては当たり前の物理法則ですが、AIモデルにこれを学習させるのは画期的な成果です。

この研究の意義は、ビデオ生成モデルを単なる「もっともらしい映像の捏造機」から、背後の物理法則や状態遷移を内包する「真の世界シミュレータ」へと引き上げるための、具体的なアーキテクチャ設計を提示したことにあります。視覚情報と抽象的状態の分離、そして共有メモリによるマルチエージェント間の同期という概念は、将来の自律型エージェントの基盤技術として極めて重要です。ただし、レジスタの容量（トークン数）と追跡可能な状態の複雑さのトレードオフは、今後のスケールアップにおける課題として残されていると言えるでしょう。数十年後には、さらに大規模なマルチエージェント環境をシミュレートする基礎技術となっていることは自明です。