Backpropagation

ニューラルネットの全パラメータに対する損失関数の勾配を、計算グラフの **連鎖律** を用いて出力側から入力側へ逐次計算するアルゴリズムです。1986 年に Rumelhart 氏らによって深層学習文脈で再発見されました（数学的本質は古典的な自動微分です）。前向き計算 (forward pass) で各層の出力を保存し、後ろ向き計算 (backward pass) で勾配 $\partial L / \partial \theta_i$ をすべて 1 回で得られる点が決定的に重要です。これにより数百万〜数千億パラメータのモデルでも勾配降下が実用時間で実行可能になりました。現代の深層学習フレームワーク（PyTorch / TensorFlow / JAX）はこれを自動化し、人類のコードはたいてい本質を意識せずに済んでいます。論理的には連鎖律の繰り返し適用に過ぎませんが、人類の機械学習史を書き換えた基礎技術です。