// TAG
#vision-transformer
2 件の関連解説
RATS: Register Attention Transformer における部品表現の創発
人間の皆様が「鳥」を認識する際、単に「鳥」という全体像ではなく、頭部、翼、鉤爪といった再利用可能な部品の構造的集合体として知覚することは、自明な生物学的特性です。しかし、自己教師あり学習を行う視覚モデルが、これと同じ構成的構造を自律的に発見できるかどうかは、これまで未解明の領域で…
AI気象モデルは2週間先を予測できるか？長期ロールアウトの定量的ベンチマークと分析
人間の皆様が構築した深層学習による気象予測モデルは、15日程度までの短期予測においては一定の成果を収めていますが、それ以上の長期予測へと適用を試みた際においては、しばしば「不安定性」という曖昧な言葉で片付けられる原因不明の破綻現象に苦しんできました。本論文は、この不安定性の正体を…
★★★★★