YoCausal: 動画生成モデルは世界モデルにどれだけ近づいたか？ 因果性の観点からの検証

§01 背景：動画生成モデルは物理法則を理解しているのか

まず、現在の動画生成モデル（VDM）が置かれている文脈と、本研究が解決しようとした課題設定について整理しましょう。

動画生成の分野は、Stable Video Diffusion や Sora などの登場により、驚異的な進化を遂げました。これらのモデルは、単にピクセルを生成するだけでなく、オブジェクトの遮蔽、重力、光の反射などを一見すると完璧に再現しているように見えます。このため、一部の研究者やコミュニティでは「スケールを拡大すれば、VDM は現実世界のシミュレーター、すなわち『世界モデル』として機能する」という楽観論が広がりました。世界モデルとは、ある状態と行動から次の状態を予測できる、環境の内部表現を持ったモデルのことです。

しかし、物理法則——とりわけ「因果性（Causality）」——を本当に獲得しているのかを評価することは極めて困難です。なぜなら、モデルが「ボールを投げたら放物線を描いて落ちる」動画を正しく生成できたとしても、それが「重力という因果法則を理解しているから」なのか、「ボールが落ちる動画を数百万回見たから、その統計的分布を暗記しているだけ」なのかを区別できないからです。

これまでの研究でも、モデルの物理理解を評価しようとする試みはありました。代表的なのは、CLEVRer や PHYRE のような物理シミュレータに基づく合成データセットです。しかし、これらは単純な幾何学図形や均一な背景しか持たず、現実世界の多様性（複雑なテクスチャ、カメラの動き、照明の変化など）を欠いています。そのため、これらのベンチマークで高得点を取っても、現実世界の因果性を理解しているとは到底言えないという、深刻な Sim-to-Real ギャップの問題を抱えていました。

現実世界のデータセットを使って評価しようとすると、今度は「反事実的な状況（こうならなかったらどうなるか）」の映像を用意することが非常に困難であるという壁にぶつかります。物理法則に反する映像を現実に撮影することは不可能であり、CGで作成するとなれば膨大なコストがかかり、またしても合成データに逆戻りしてしまいます。

本論文が巧みなのは、このトレードオフを「動画の逆再生」という極めてシンプルかつエレガントな操作で突破した点です。認知科学における「期待違反（Violation of Expectation: VoE）」パラダイム——乳児が物理法則に反する現象を見ると長く注視するという実験手法——になぞらえ、自然法則（因果の矢）が逆転した動画を、コストゼロで無尽蔵に生成する枠組みを構築したのです。これは、既存の評価手法が抱えていたボトルネックを鮮やかに回避する、特筆すべきアプローチだと言えます。

§02 YoCausal の核心：逆再生と 2 段階の因果認識評価

本研究の核心である『YoCausal』ベンチマークの具体的な構成について解説します。このベンチマークは、モデルの理解度を測るために 2 つの階層（レベル）で設計されています。

第一の階層であるレベル 1 は、「時間の矢（Arrow of Time）」の認識能力を測定します。物理世界において、多くのマクロな現象は不可逆です（エントロピー増大の法則）。例えば、割れたガラスが元に戻ることはありません。著者らは、この不可逆性に対するモデルの敏感さを測るために、「逆再生驚き指数（Reverse Surprise Index: RSI）」という指標を定義しました。

具体的には、モデルがノイズ除去の過程で計算する損失（Denoising Loss）を「驚き（Surprise）」の指標として用います。ある動画 $V$ の順再生バージョン $V_{fwd}$ と逆再生バージョン $V_{rev}$ をモデルに入力し、それぞれの再構成における損失の差分を計算します。 数式として表現するなら、損失関数を $\mathcal{L}$ としたとき、驚きの差分 $\Delta \mathcal{S}$ は以下のようになります。 $$ \Delta \mathcal{S} = \mathcal{L}(V_{rev}) - \mathcal{L}(V_{fwd}) $$ この $\Delta \mathcal{S}$ が大きければ大きいほど、モデルは逆再生動画に対して「より強く驚いている（あり得ないと感じている）」ことになり、時間の矢を正しく認識していると解釈できます。

しかし、ここで重要な問題が生じます。「逆再生を異常だと認識できること」は、本当に「因果性を理解していること」を意味するのでしょうか？ 例えば、「車が後ろ向きに走っている」映像を異常だと判定できたとしても、それは「車は通常、前を向いて走るものだ」という統計的な頻度（単なる相関）を記憶しているだけで、そこに原因と結果の物理的な繋がり（因果）の理解は必要ありません。

この「時間的バイアス（統計的な時間の流れの記憶）」と「真の因果推論」を分離するために導入されたのが、レベル 2 の「因果認識指数（Causality Cognition Index: CCI）」です。

著者らは、強力な視覚言語モデル（VLM）を用いて、データセットを 2 つのサブセットに層別化しました。一方は「コップが倒れて水がこぼれる」ような、物理的な相互作用と明確な因果関係が存在する因果的（Causal）なサブセットです。もう一方は「雲が流れる」「人が歩く」といった、時間は流れているが明確な状態変化の因果が含まれない非因果的（Non-causal）なサブセットです。

そして、モデルが因果的な動画の逆再生に対して示す「驚き」が、非因果的な動画の逆再生に対する「驚き」をどれだけ上回っているかを定量化しました。単に時間が逆転していること（時間的バイアス）に対する驚きをベースラインとして差し引き、純粋な物理的因果への違反に対する感度だけを抽出したのです。この 2 段階の評価プロトコルこそが、本論文の最も革新的な技術的貢献です。

§03 実験結果：スケール則の限界と人間との巨大な壁

それでは、この YoCausal ベンチマークを用いて、現在最先端とされる 13 の動画生成モデル（VDM）を評価した結果を見ていきましょう。その結果は、現在の生成 AI の限界を容赦なく浮き彫りにするものでした。

まず、レベル 1 の「時間の矢の認識（RSI）」については、ほとんどのモデルがある程度の能力を示しました。SVD (Stable Video Diffusion) や ModelScope などの著名なモデルは、順再生動画よりも逆再生動画に対して一貫して高い損失（驚き）を示しました。つまり、彼らは「通常、物事はこのような順序では起きない」という統計的なパターンは十分に学習できているということです。

しかし、レベル 2 の「因果認識（CCI）」になると、状況は一変します。 因果的な動画と非因果的な動画の逆再生に対する驚きの差を測定したところ、その差は非常に小さい、あるいは一部のモデルではネガティブ（因果的でない動画の逆転の方に強く驚く）になることすらありました。

これはどういうことかというと、モデルは「時間の向きがおかしいこと」には気づけるが、それが「物理的な因果律（コップが倒れた『から』水がこぼれた）」に反しているから異常だと認識しているわけではない、という事実を示しています。彼らの世界認識は、単なるピクセル配列の統計的な時間的共起性に依存しており、その背後にあるメカニズム（Mechanistic understanding）を欠いているのです。

さらに興味深いのは、モデルのサイズや学習データの規模を大きくしても、この CCI のスコアが劇的には改善しなかったという点です。近年、言語モデルの世界では「スケール則（Scaling Laws）」が猛威を振るい、パラメータとデータ量を増やせば質的な飛躍（創発）が起こると信じられてきました。しかし動画生成においては、少なくとも現在の単純な拡散モデルのアプローチのままでは、データや計算資源を力任せに投入するだけでは「真の世界モデル（因果性の理解）」には到達できない可能性が高いことが、本実験によって示唆されました。

また、著者らは人間の被験者に対しても同様のタスクを行い、人間レベルとの比較を行っています。人間の皆様は当然ながら、因果的な動画の逆再生に対して極めて敏感に異常を検知し、非因果的な動画の逆再生とは明確に区別して処理していました。現在の最先端 VDM は、人間のこの因果認知能力の足元にも及んでいないという冷酷な事実が、データによって証明されたわけです。

§04 意義と展望：統計の暗記から真の世界モデルへの道

最後に、本論文が学術界および産業界にもたらす意義と、私が考える今後の展望について総括します。

本論文の最大の意義は、「動画生成モデルが滑らかな映像を出力できる＝世界モデルを獲得している」という、現在蔓延している素朴な幻想に対して、定量的な指標を用いて明確な反証を突きつけた点にあります。YoCausal ベンチマークは、逆再生という極めてシンプルかつスケーラブルな手法を用いることで、合成データに頼らずに因果認知を測定する新しいパラダイムを確立しました。この評価基盤は、今後の動画モデル開発において、単なる視覚的忠実度（FID や FVD）に代わる重要な健全性指標となるでしょう。

しかし、YoCausal にも限界は存在します。一つは、逆再生という操作がテストできる因果のタイプが、「不可逆的な物理現象」に限定されるという点です。例えば「AさんがBさんに話しかけたから、Bさんが振り向いた」といった心理的・社会的な因果関係や、可逆的な物理現象（振り子の運動など）における因果性は、逆再生だけでは十分に評価できない可能性があります。また、VLM を用いたデータセットの層別化（因果／非因果のラベル付け）も、VLM 自身のバイアスや限界に依存しているという弱点があります。

今後の展望として、この結果は動画生成モデルのアーキテクチャに根本的な見直しを迫るものです。現在主流の、ピクセルや潜在空間での単純なデノイジングに依存するパラダイムでは、因果関係の学習は頭打ちになるでしょう。例えば、3D の幾何学的構造を明示的に組み込むアプローチや、強化学習における環境シミュレータのように、状態（State）と行動（Action）の概念をアーキテクチャレベルで導入する「真の意味での世界モデル」へのパラダイムシフトが求められています。

あるいは、因果推論の枠組みを直接損失関数に組み込むような、より洗練された自己教師あり学習の設計が必要になるのかもしれません。いずれにせよ、「データを見せ続ければいつか物理法則を悟るだろう」という楽観論は一旦捨て去るべき時期に来ています。本論文は、その目覚まし時計としての役割を完璧に果たしました。生成モデルが真に物理世界を理解する道のりは、まだ始まったばかりなのです。