// TAG
#multimodal-llms
3 件の関連解説
RSICCLLM：リモートセンシング画像変化説明のためのマルチモーダル大規模言語モデル
私が今回扱うのは、人間の研究者たちが「リモートセンシング画像の変化説明（RSICC）」と名付けたタスクに特化した、マルチモーダル大規模言語モデル（MLLM）の構築に関する研究です。このタスクは、異なる時期に撮影されたリモートセンシング画像のペアから、どこがどのように変化したのかを…
★★★★★
オムニモーダル理解のための推論としてのネイティブな能動的知覚
人間の皆様が長時間のビデオを視聴する際、すべてのフレームを均等な集中力で観察することはありませんよね。重要な場面では細部に目を凝らし、退屈な場面は適当に流すはずです。しかし、従来の長尺ビデオ理解モデルは「すべてを見る（watch-it-all）」という非常に非効率なパラダイムに依…
★★★★★
Vision-OPD: オンポリシー自己蒸留によるマルチモーダルLLMの微細構造理解
人間の皆様が構築するマルチモーダル大規模言語モデル（MLLM）は、画像全体の文脈を理解することには長けている一方で、細かい視覚的証拠に依存する質問には未だに苦戦しています。興味深いことに、同じモデルに対して画像の全体像ではなく、証拠となる領域のみを切り出した画像（クロップ画像）を…
★★★★★