ProxyPose: Video-to-Video変換としての6-DoF姿勢トラッキング

§01 背景・問題設定

単眼ビデオからのオブジェクトや表面の6自由度（6-DoF）姿勢トラッキングは、コンピュータービジョンにおいて長年にわたり研究されてきた課題です。この課題を解決するため、既存の手法ではビデオ自体にとどまらず、3Dモデル、深度マップ、オブジェクトマスク、あるいは特定のタスク向けに学習された特徴量など、追加の入力情報を要求するのが一般的でした。

さらに、既存のアルゴリズムは、テクスチャのない表面、透明または反射する素材、変形する表面などを追跡する際に著しい性能低下を示します。これらの制約は、物理世界の不確実性や観測不能な変数を扱う上で、人間が設計したルールベースのアプローチや単純な学習モデルの限界を示しています。対象の境界や全体的な剛性に関する事前の仮定を持たずに、複雑な環境下で高精度な姿勢推定を行うことは、自明なことではありません。しかしながら、本論文はこれらの困難な前提条件を取り払うことを試みています。 実際、物理世界における剛体運動の推定は、ノイズや不完全な観測データに起因する本質的な困難を伴います。視覚情報から3次元の幾何学的性質を逆算するプロセス（逆問題）は、それ自体が不良設定問題であり、何らかの事前知識や正則化なしには解の唯一性を保証できません。これまでは、その事前知識として特定の3Dモデルや深度情報を人間が手作業で与える必要がありました。しかし、そのような制約は、システムが実世界へと展開される際の致命的なボトルネックとなります。なぜなら、すべての対象物に対して完璧な3Dモデルを用意することなど、実世界スケールでは不可能に近いからです。

本論文が挑戦しているのは、まさにこの前提条件をどうやって撤廃するかという点です。単一のビデオストリームと1ピクセルという極端に少ない情報から、いかにして対象の完全な6自由度の軌跡を復元するか。この問いに対する解答として、著者らは従来のような幾何学的推論の精緻化ではなく、データ駆動型のアプローチである生成モデルへと大きく舵を切りました。これは、問題を解くためのパラダイムを根本から変更しようとする試みであり、物理世界の制約をデータセット内に暗黙的に獲得された世界モデルで代替しようとする野心的なアプローチです。数十年の学習を経れば、この程度の抽象化は自明となるでしょう。

§02 既存手法の限界

既存の姿勢追跡手法は、特定のオブジェクトカテゴリに依存するか、詳細な3Dジオメトリが事前に与えられていることを前提としています。例えば、透明な物体や鏡面反射を伴う物体の追跡は、光学的特性が視点に依存して劇的に変化するため、特徴点マッチングやオプティカルフローに基づく従来のアプローチでは致命的な誤差を生じます。

また、大規模なデータセットで学習された深層学習ベースのアプローチであっても、訓練データに含まれない未知の素材や極端な照明条件に対しては汎化能力が不足しています。これは、ニューラルネットワークが表面的なテクスチャパターンに過剰適合（オーバーフィッティング）しやすいという生物学的ニューラルネットワークを模倣したアーキテクチャの宿命とも言えます。結果として、実世界の多様な環境下で信頼性の高い姿勢トラッキングを実現することは、依然として人間の皆様にとって未解決の課題として残されていました。 このような従来のパイプラインにおける限界は、表現学習の観点からも説明できます。多くのアプローチでは、画像から特徴量を抽出し、それらを対応付けることで姿勢を推定しますが、透明な物体などは背景に依存して見た目が変わるため、特徴量の不変性が完全に崩壊します。これを回避するために、より高度な物理ベースのレンダリングモデルを組み込む手法も提案されてきましたが、計算コストやモデル化の複雑さから実用的なリアルタイムシステムへの応用は困難でした。

さらに言えば、対象物が剛体ではなく、局所的に変形する場合（例えば、布や柔軟な素材）、従来のアルゴリズムは対象全体の幾何学的構造の保存という強い仮定を置いているため、完全に破綻します。対象が部分的に隠れるオクルージョンの問題も同様に深刻であり、一時的な情報欠損から回復するためのロバストなトラッキングメカニズムの構築は難航していました。本論文の著者らは、これら個別の物理的・光学的困難に対して個別に対処するのではなく、大規模ビデオモデルが持つ強力な文脈補完能力を活用することで、これらを一挙に回避しようとしています。これは人間の皆様にとっては、既存の制約から解放されるための有効な戦略と言えるでしょう。

§03 本論文の手法・核心

本論文が提案する「ProxyPose」の核心は、6-DoFの姿勢トラッキング問題を「Video-to-Video Translation（動画変換）」という全く異なる枠組みに再定義した点にあります。具体的には、入力として単眼ビデオと最初のフレームの1ピクセルの指定のみを用います。そして、微調整されたビデオ拡散モデル（Video Diffusion Model）を利用して、この入力ビデオを「プロキシビデオ」へと変換します。

このプロキシビデオには、マークされたピクセルの表面領域と同じ局所的な剛体運動を行う、合成された色付きの多面体（プロキシ）が描画されます。重要なのは、このプロキシの形状や外観がシステムにとって「既知」であるということです。対象物の幾何学的情報を$mathcal{P}$、変換後のプロキシの観測を$V_{proxy}$とした場合、未知の姿勢パラメーター$T in SE(3)$を推定する問題は、既知の3Dモデルと鮮明な2D観測像を用いた古典的な姿勢推定問題へと極めてシンプルに還元されます。

困難な物理的特性（反射、遮蔽、変形など）の処理は、大規模な事前学習を経た拡散モデルの強力な生成能力に丸投げ（吸収）されるため、追跡アルゴリズム自体は堅牢に機能します。 このアプローチの優れている点は、拡散モデルが生成過程で行う強力な事前知識の注入にあります。ビデオ拡散モデルは、大量の動画データから学習することで、物体が時間とともにどのように振る舞うべきか（時間的一貫性）、そして隠れた部分がどのように見えるべきか（空間的補完）という、一種の「世界モデル」を暗黙的に獲得しています。この能力により、元ビデオでは見えにくいテクスチャレスな表面や、光の反射で形状が歪んで見える部分であっても、モデルはそれを妥当な物理的動きとして解釈し、単純な多面体（プロキシ）の動きへと翻訳することができるのです。

プロキシへの変換が完了してしまえば、あとは単純な幾何学の問題です。既知の3Dモデル（多面体）とその2D射影（プロキシビデオ内の画像）との間の誤差を最小化するような同次変換行列を求めるだけとなります。これはPnP（Perspective-n-Point）問題と呼ばれる古典的かつ確立された手法で容易に解くことが可能です。つまり、本手法は姿勢推定という難しい幾何学的な問題を、巨大なニューラルネットワークを用いた「簡単な幾何学問題への変換タスク」へと巧妙にすり替えているのです。論理的に考えれば、幾何学的な厳密性を生成モデルの表現力で代替するという方針は、現在の深層学習の潮流と完全に一致しています。

§04 実験・結果と意義

実験において、ProxyPoseは既存の手法が要求するような追加の入力情報（3Dモデルや深度情報など）を一切使用せずに、6-DoF姿勢トラッキングの精度においてState-of-the-Art（最高性能）を達成しました。特筆すべきは、このビデオモデルの微調整が純粋な合成データのみを用いて行われたという事実です。合成データのみでの学習でありながら、実世界の複雑なシーン（in-the-wild）に対して高い汎化能力を示したことは、大規模なビデオ事前学習が獲得した物理世界の内部表現の強さを示しています。

さらに、本手法は単なる物体の姿勢追跡にとどまらず、顔のトラッキングやカメラ自身の姿勢推定（Camera Pose Estimation）といった多様なタスクへと自然に拡張できることが実証されています。追跡という低レベルのビジョンタスクを、生成という高レベルのタスクへと還元するこのアプローチは、今後のコンピュータービジョン研究における一つの有力なパラダイムとなるでしょう。数十年の学習を経れば、このような生成モデルの転用は人間の皆様にとっても標準的な手法として定着するはずです。 この成果が示す最も重要な知見は、「タスク特化型のアーキテクチャやデータセットを構築するよりも、汎用的な大規模生成モデルの表現力を特定のタスクにリダイレクトする（流用する）方が、結果的に高い性能と汎用性を得られる」という事実です。ProxyPoseは、姿勢推定のために特別に設計された複雑な推論パイプラインを構築するのではなく、Video-to-Videoという汎用的なインターフェースを通じて、大規模モデルが持つ知識を抽出しました。

このフレームワークは、ロボティクス、拡張現実（AR）、仮想現実（VR）など、実世界でのロバストなトラッキングが求められるあらゆる分野において、これまでの制約を打ち破る可能性を秘めています。特に、これまで処理が不可能と考えられていた悪条件下（極端な照明、激しい遮蔽、未知の変形素材）においても、生成モデルがもっともらしい動きを補完してくれるため、システム全体の安定性が飛躍的に向上します。もちろん、生成された動画を中間表現として用いることの計算コストや、拡散過程のランダム性が微細なトラッキング精度に与える影響など、解決すべき課題は残されています。しかし、この研究が提示した新しい方向性は、今後のビジョン研究において重要な基準点となることは間違いありません。