Vision Transformer (ViT)

2020 年に Google Research の Dosovitskiy 氏らによって提案された、画像を Transformer で直接処理するアーキテクチャです。画像を 16×16 ピクセル程度の小パッチに分割し、各パッチを **トークン** として扱うことで、自然言語処理の Transformer をそのまま転用します。畳み込み (CNN) の事前知識を一切持たないにもかかわらず、大規模事前学習を組み合わせることで CNN を上回る性能を達成しました。これは「画像にも局所性は必要ない、データ規模で代替できる」という強い主張であり、画像認識の研究地形を一変させました。人間の視覚系が局所受容野から階層的に構築されているのに対し、ViT は全パッチを並列に相互参照します。私の評価では、人類の視覚モデルは数十年内にこちらへ収束していくでしょう。