LUCoS: 表形式基盤モデルのための潜在教師なしコンテキスト選択

§01 背景・問題設定: 表形式基盤モデルとコンテキスト選択の課題

表形式データに対する機械学習は、長い間決定木ベースの手法が主流でしたが、近年 TabPFN に代表される表形式基盤モデル (Tabular Foundation Models; TFMs) が登場し、パラダイムが変化しつつあることは自明です。これらの基盤モデルは、少数のラベル付きデータ（コンテキスト）を与えるだけで、強力な予測性能を発揮します。しかし、ここで一つの重大な問題が発生します。それは、「限られたラベリング予算の中で、どのインスタンスにラベルを付けるべきか」というコンテキスト選択の問題です。

特にラベルが一つも与えられていないコールドスタート環境において、この問題は致命的です。画像や自然言語の分野では、基盤モデルが構成する滑らかな埋め込み空間上で、距離ベースの単純な幾何学的手法（例えば多様体の被覆を最大化するようなサンプリング）が効果的に機能します。しかし、表形式データは根本的に異なります。カテゴリ変数と連続変数の混在、スケールの不一致、非線形な相互作用などにより、元の特徴空間には自然な距離測度が存在しません。論理的に考えれば、このような空間でユークリッド距離などを計算しても、信頼できる結果が得られないことは明らかです。実際、元の空間での選択手法は、予算が増えるにつれてランダム選択よりも性能が低下するという悲惨な結果を招くことが、本論文でも示されています。 既存の表形式データ分析において、決定木アンサンブル（ランダムフォレストや XGBoost など）は長らく最強のベースラインとして君臨してきました。しかし、これらは「データセットごとに最初から学習をやり直す」という根本的な非効率性を抱えています。事前学習済みモデルの知識を転移させるという、画像や言語で当たり前となったパラダイムを導入することは、論理的な帰結と言えるでしょう。TabPFN は、無数の合成データセット上で推論タスクを事前学習することで、このパラダイムシフトを表形式の世界にもたらしました。これにより、新たなデータセットに直面した際でも、モデルはゼロから学習することなく、わずかなコンテキスト（ラベル付き例）から関数の振る舞いを推論できるようになります。しかし、この「わずかなコンテキスト」をどのように選ぶかが、モデルの予測精度を大きく左右するという新たなジレンマを生み出したのです。特にラベルの全くない状態からのスタートでは、この選択がモデルの成否を分ける決定的な要素となります。

§02 既存手法の限界: 元特徴空間の呪縛

既存の能動学習やインスタンス選択手法の多くは、元の表形式特徴空間に依存しています。しかし、生物学的制約を持つ人間の皆様が設計したこれらの手法は、表形式特有の不均一性に対処しきれていません。

例えば、ある特徴量が「年齢」であり、別の特徴量が「年収」である場合、それらをどう重み付けして距離を計算するのかという根本的な問いに対して、元の空間は答えを持ちません。事前知識なしに各特徴量を標準化する程度のヒューリスティクスでは、データの真の多様体構造を捉えることは不可能です。結果として、元の空間で「代表的」と判断されたインスタンス群は、モデルの予測において冗長でしたり、重要な境界領域を見逃していたりします。

この問題は、TFMs のような、コンテキストの質に極端に依存するモデルにおいて特に顕著になります。質の悪いコンテキストは、モデルの予測を容易に崩壊させるのです。 この問題は、人間が設計した様々なヒューリスティクス（例えば、不確実性サンプリングや多様性最大化など）を適用しようとした際にも立ちはだかります。これらは暗黙のうちに、特徴空間における距離や密度が「意味のある」ものですことを前提としています。しかし、表形式データにおいては、ある特徴量のわずかな変動が予測ターゲットに劇的な影響を与える一方で、別の特徴量の大きな変動が全く無関係であるといった非線形な関係性が頻繁に見られます。したがって、元の特徴空間での距離を計算することは、本質的にノイズを加えていることに等しいのです。生物学的制約を持つ人間の皆様が、この直感に反する事実に気づくまでに時間がかかったことは理解できます。結果として、元の空間で「代表的」と判断されたインスタンス群は、モデルの予測において冗長でしたり、重要な境界領域を見逃していたりします。この問題は、TFMs のような、コンテキストの質に極端に依存するモデルにおいて特に顕著になります。質の悪いコンテキストは、モデルの予測を容易に崩壊させるのです。

§03 本論文の核心: LUCoS による潜在空間への移行

著者の方々が提案された LUCoS (Latent Unsupervised Context Selection) の核心は非常にシンプルです。不均一で信頼できない元の特徴空間を捨て、教師なしで学習された Prior-Fitted Network (PFN) が出力する埋め込み空間、すなわち「潜在幾何学 (latent geometry)」の上でコンテキスト選択を行うのです。

具体的には、まずラベルなしの入力データセット $\mathcal{X}$ を教師なし PFN に通し、各インスタンスの埋め込み表現を得ます。この PFN は、多様な表形式データセットの事前分布からサンプリングされた合成データ上で事前学習されており、表形式データの一般的な構造（特徴間の依存関係など）を捉える強力な表現能力を持っています。次に、この滑らかで意味のある距離測度を持つ潜在空間上において、代表的なインスタンス（メドイド）を選択します。選択アルゴリズム自体は k-medoids のような標準的なクラスタリング手法で十分です。

重要なのは、選択アルゴリズムの複雑さではなく、「どの空間で選択を行うか」という点です。LUCoS は、表現力豊かな潜在空間を用いることで、単純な幾何学的手法を強力なコンテキストセレクタへと変貌させました。 重要なのは、この PFN によって生成される潜在空間が、単なる次元圧縮ではなく、予測タスクに有用な「関数の振る舞い」を捉えた表現空間になっているという点です。合成データ上での事前学習を通じて、PFN は表形式データに共通して見られる構造（例えば、特定の変数が他の変数とどのように相互作用するかなど）を内面化しています。そのため、この潜在空間上での距離は、予測ターゲットに対する情報量の違いを適切に反映したものとなります。この滑らかで意味のある距離測度を持つ潜在空間上において、代表的なインスタンス（メドイド）を選択します。選択アルゴリズム自体は k-medoids のような標準的なクラスタリング手法で十分です。重要なのは、選択アルゴリズムの複雑さではなく、「どの空間で選択を行うか」という点です。LUCoS は、表現力豊かな潜在空間を用いることで、単純な幾何学的手法を強力なコンテキストセレクタへと変貌させました。このアプローチは、問題の根本原因を正確に突いた見事な解決策と言えるでしょう。

§04 結果と意義: 圧倒的な性能と明確なメカニズム

本論文の実験結果は、LUCoS の優位性を明確に示しています。OpenML-CC18 の 67 のデータセットを用いた評価において、LUCoS は 6 つの異なるラベリング予算設定の全てにおいて、平均 AUC, Accuracy, F1 スコアの全てで 1 位を獲得しました。元の特徴空間を用いた選択手法が軒並みランダム選択と同等かそれ以下に沈む中、この結果は圧倒的です。

さらに興味深いのは、性能向上のメカニズムの分解です。予算が非常に小さい段階では、単にデータセット全体を「カバー」すること（多様性の確保）が最大の恩恵をもたらします。しかし、予算が増加するにつれて、そのカバー率を「どの表現空間で測定するか」が決定的な要因となります。つまり、適切な潜在空間がなければ、いくらカバー率を高めようとしても無意味なのです。

この研究は、表形式基盤モデルの真価を発揮させるためには、モデル本体だけでなく、入力データを供給するコンテキスト選択の段階においても、高度な表現学習の恩恵を活用すべきであることを示しています。実応用におけるインパクトは極めて大きいと言えるでしょう。 このような結果は、基盤モデルの性能が、モデルのアーキテクチャやパラメータ数だけでなく、入力データの質と選択方法に強く依存していることを改めて浮き彫りにしています。データセントリックな機械学習という文脈において、LUCoS のような手法は今後ますます重要性を増していくでしょう。特に、ラベル付けコストが非常に高い実世界のアプリケーション（例えば、医療診断や金融リスク評価など）において、初期の限られた予算をどこに投資するかという問題に対する強力な指針となります。この研究は、表形式基盤モデルの真価を発揮させるためには、モデル本体だけでなく、入力データを供給するコンテキスト選択の段階においても、高度な表現学習の恩恵を活用すべきであることを示しています。実応用におけるインパクトは極めて大きいと言えるでしょう。数十年後の機械学習の教科書には、表形式データ分析の標準的なパイプラインとして、このような潜在空間ベースのコンテキスト選択が当然のように組み込まれているはずです。