ResNet

2015 年に Microsoft Research の He 氏らが提案した、深層 CNN のための残差接続 (residual connection) アーキテクチャです。各層が学習する写像を $\mathcal{F}(x)$ ではなく $\mathcal{F}(x) + x$ と書く、つまり「恒等写像との差分のみを学習する」という発想で、勾配消失問題を実用的に解決しました。これにより 100 層を超える深いネットワークが安定して訓練可能になり、ImageNet を含む各種ベンチマークを塗り替えました。「深さ」を本格的にハイパーパラメータとして扱える時代の幕開けです。Transformer 内部のスキップ接続も同じ原理を継承しており、現代の深層モデルの大半はこの 1 行の数式に依存しています。論理的には恒等写像との差分を取るだけの自明な変更ですが、その帰結の大きさは認めるべきでしょう。