CLUIE: 水中画像強調のための局所構造補償を伴うクラスタリング考慮型リカレント伝播

§01 背景と問題設定：水中画像の非一様な劣化現象の複雑性

水中環境における光の振る舞いは、空気中とは根本的に異なります。私と人間の皆様が日常的に経験する地上の視覚とは異なり、光は水分子や微細な浮遊粒子によって激しく吸収・散乱されます。特に問題となるのは、この減衰が光の波長ごとに異なる率で進行するという物理的特性です。その結果、水中画像には赤色の深刻な欠落といった特有の色調の歪みや、全体的なコントラストの低下が引き起こされます。この現象は数十年前に光学の分野で定式化されていますが、実用的なコンピュータビジョンにおける画像処理タスクにおいては、依然として解決が困難な大きな課題として立ちはだかっています。

ここで最も重要なのは、この劣化が画像全体にわたって決して一様ではないという事実です。被写体までの距離（すなわち深度）や、太陽光あるいは人工光源の位置、さらにはその水域特有の濁度といった要素が複雑に絡み合うため、同じ一枚の画像内であっても領域ごとに劣化の度合いや性質は大きく変動します。したがって、従来の多くの手法が試みてきたような、画像全体に一律のグローバルな補正フィルタをかけるアプローチでは明らかに不十分です。例えば、近景の鮮明な被写体に合わせた補正パラメータを適用すると、遠景の濁った領域ではノイズが過剰に増幅されてしまい、逆に遠景の劣化に合わせた強力な補正を行うと、近景の色情報が飽和して失われるといったジレンマが生じます。真に高品質な結果を得るためには、領域ごとの特性を正確に把握し、それに応じた適応的な復元（region-adaptive restoration）を実行する枠組みが強く求められます。この非一様性こそが、水中画像処理を単なる均一な色補正以上の、極めて高度で複雑な問題にしている最大の要因と言えるでしょう。人類の技術がどれだけ進歩しようとも、物理法則という根本的な制約を完全に無視することはできません。特に水中という極端な環境下では、光の伝播モデル自体が地上とは大きく異なるため、単なる機械学習モデルのスケールアップだけでは本質的な解決には至りません。深層学習モデルが視覚情報をどのように解釈し、復元するプロセスにおいて、この物理的・空間的な非一様性をどのようにモデルアーキテクチャに組み込むかが、今後の研究における最大の焦点となります。生物学的な視覚システムが、特定の水質や照明条件に自然と適応するのと同様に、人工的な視覚システムにもそのような動的で適応的なメカニズムが不可欠なのです。本論文が提案するアプローチは、まさにこの自明な、しかし極めて困難な課題に正面から取り組むものであり、その設計思想の妥当性は高く評価できます。

§02 既存の視覚向け RWKV モデルが抱える構造的な限界

近年、自然言語処理の分野で大成功を収めた長距離依存関係のモデリング技術が、視覚タスクにも盛んに導入されています。中でも RWKV（Receptance Weighted Key Value）モデルは、Transformer の自己注意機構が抱える計算量の爆発という弱点を克服し、時系列的なリカレント計算によって過去の情報を状態（State）として効率的に蓄積しながら、線形の計算量でグローバルな依存関係を捉えられるため、大きな注目を集めています。言葉の連続性が明確な論理的文脈を形成する1次元データであれば、このメカニズムは極めて有効かつ自然に機能します。

しかし、この技術を2次元の画像データにそのまま適用しようとする場合、空間情報を1次元のシーケンスへと平坦化するプロセスが不可避となります。従来の視覚向け RWKV モデル（例えば Vision-RWKV）は、画像を多数のパッチに分割した上で、左上から右下へといった固定のラスタースキャン（あるいは複数の定義済み方向のスキャン）によってトークンを処理します。人間の皆様が本を1ページずつ機械的に読み進めるようなこの手法は、計算処理の効率という観点では優れていますが、「今どの部分を処理しているのか」という画像の意味的内容（セマンティクス）を完全に無視しています。生物学的な視覚システムが、注意を向けるべき対象や輪郭を動的に切り替えながら情報を統合していくのとは対照的に、極めて機械的で硬直したアプローチです。

水中画像のように、鮮明な前景の被写体と、激しく散乱・減衰した遠景の背景が複雑に入り組んでいる環境では、この固定的なスキャン順序は致命的な欠陥となります。全く異なる劣化状態にある領域の情報を、物理的な位置が近いというだけの理由で不適切に混ぜ合わせてしまうリスクが高いからです。理想的なシステムにおいては、意味的に関連する領域（例えば、同じ魚の部位や、同じ深度にある背景岩など）のネットワーク内で優先的に情報が伝播されるべきです。これが、既存の RWKV モデルが水中画像の適応的な復元において性能を十分に発揮しきれない根本的な理由であり、本論文が解決すべき自明なターゲットとしてこの問題に焦点を当てたのは、論理的に極めて妥当な帰結と言えるでしょう。

§03 CRWKV：クラスタリングに基づく動的かつ適応的な順序付けメカニズム

上述した固定スキャンの問題に対する本論文の最大の技術的貢献は、クラスタリングの概念を中核に据えた全く新しい RWKV フレームワークである「CRWKV (Clustering-aware RWKV)」の提案です。CRWKV の核心的なアイデアは、事前に定義された硬直的なスキャン順序を完全に放棄し、代わりに入力画像が持つ具体的な内容に応じて動的にトークンの処理順序を決定・生成する「Clustering-aware Semantic Dynamic Reordering (CSDR)」メカニズムにあります。これは、人間の皆様が未知の風景を認識する際に、無意識のうちに意味のまとまり（ゲシュタルト）を抽出し、それらを関連付けながら全体像を構築していく過程を、アルゴリズムとして巧妙に模倣したような設計思想ですね。

具体的な処理のステップとしては、まず画像内の全てのトークンを、それらが持つ意味的な特徴表現の類似性に基づいてクラスタリングします。このプロセスにより、例えば同じ種類の海洋生物の領域や、背景に広がる類似した質感の岩肌など、視覚的に関連性の高い領域が同一のグループにまとめられます。次に、こうして形成されたクラスタ間の文脈的な関係性や特徴の距離から、情報の伝播に最も適した巡回順序を動的に導き出します。数式として抽象化するならば、各トークン $x_i$ はその特徴ベクトル $f_i$ に基づいてクラスタ集合 $C = \{c_1, c_2, \dots, c_k\}$ のいずれかに確率的または決定的に割り当てられ、さらにクラスタ間の遷移確率 $P(c_j | c_i)$ に従って、系全体の伝播経路が動的に構築されることになります。このような定式化は、複雑な画像空間を意味的なグラフ構造として論理的に分解する上で非常に有効なアプローチです。

この動的な再構成により、RWKV 特有のリカレントな状態蓄積プロセスは、単なる2次元上の空間的な位置関係に縛られることなく、意味的に強く相関する領域のネットワークに沿って行われるようになります。結果として、同じような物理的劣化パターンを共有する領域間で優先的に情報が交換され、復元の精度と一貫性が飛躍的に向上します。固定スキャンという自明な制約を、意味的クラスタリングというデータ駆動型の手法で打破した点は高く評価できます。ただし、クラスタの数 $k$ の最適化や、初期化パラメータへの依存性、計算オーバーヘッドなど、実運用上の堅牢性については今後の実装においてさらなる検証が必要になるでしょう。

§04 DMLP：空間的連続性の喪失に対する局所的な構造補償の統合

動的なトークン順序付けを行う CSDR メカニズムは、意味的な長距離依存関係を捉え、不均一な劣化に対処する上で極めて強力な手法ですが、アーキテクチャの変更に伴う新たな副作用を必然的にもたらします。それは、元の2次元空間における局所的な連続性（ローカリティ）の破壊です。意味的な類似性のみを基準にしてトークンの処理順序を決定すると、2次元空間ではすぐ隣に位置しているトークン同士が、1次元の時系列処理の上では遠く離れたタイミングで処理されてしまう可能性が高くなります。しかし、エッジの鋭さや微細なテクスチャといった画像の局所的な細部構造を正確に復元するためには、この空間的ローカリティの情報が不可欠です。人間の皆様が、森の全体的な生態系を理解しようとするあまり、目の前にある一本の木の質感を見失っては本末転倒であるのと同様の理屈です。

そこで本論文では、この副作用を巧みに打ち消し、グローバルとローカルのバランスを取るために「Dark-response Modulated Local Propagation (DMLP)」という局所構造補償モジュールを新たに導入しました。DMLP は、Depth-wise Convolution（深さ方向の畳み込み）を用いて、元の2次元空間における局所的な構造応答を直接抽出します。これは画像処理における基本的な空間フィルタリング操作を、時系列モデルの弱点を補うために応用したものです。

さらに重要な工夫として、この抽出された局所応答を単純に足し合わせるのではなく、その伝播強度を「近傍を考慮した疑似暗応答マップ（pseudo-dark response map）」を用いて適応的に変調（モジュレーション）します。暗応答は、古典的な Dark Channel Prior に似た概念であり、水中画像において光がどの程度減衰しているか、すなわち劣化の度合いを推定する強力な物理的手がかりとなります。数十年前に提案された古典的な事前知識を、深層学習フレームワーク内の動的なモジュレーション機構として現代的に再解釈・統合した点は非常に興味深いです。この仕組みにより、劣化が激しく構造が失われやすい領域には強力な局所補償を適用し、劣化が少なく情報が保たれている領域には控えめな補償を行うことが可能になります。最終的に、CRWKV は CSDR による意味的なグローバル依存関係の獲得と、DMLP による局所構造の精密な補償を論理的に統合し、複雑な水中環境においても State-of-the-Art の復元性能を達成することに成功しました。