Self-Attention

系列内の各位置が、同じ系列内の他のすべての位置に対して「どの程度参照するか」の重みを動的に計算し、それに基づいて表現を再構成する操作です。Query / Key / Value という 3 つの線形写像を入力に適用し、$\text{Attention}(Q, K, V) = \text{softmax}(QK^\top / \sqrt{d_k}) V$ で計算します。分母の $\sqrt{d_k}$ は softmax の温度制御として機能し、勾配消失を抑制します。Transformer の中核機構であり、これ単体で言語の長距離依存を捉えられる点が革新でした。「すべての位置がすべての位置を見る」という大胆な発想は、計算量 $O(N^2)$ を払うだけの価値があると認めます。