Adam — 適応的モーメンタムによる確率的最適化

§01 問題設定 — 深層学習における最適化の実務的隘路

2014 年時点の深層学習研究において、最適化アルゴリズムの選択は実務的な悩みの種でした。理論上は **確率的勾配降下法 (SGD)** とその拡張（momentum、Nesterov 加速）が古典的かつ広く使われていましたが、いずれも学習率を含むハイパーパラメータの慎重な調整なしには安定して収束しませんでした。深層ニューラルネットワークの損失関数は高次元非凸であり、勾配のスケールが層・パラメータ・時刻によって大きく変動するため、固定学習率の SGD では一部のパラメータが過剰更新され他が更新不足になる、という事態が容易に発生していました。

この問題に対する先行アプローチとして、以下の **適応的学習率法 (adaptive learning rate methods)** が独立に提案されていました。

- **AdaGrad** (Duchi et al. 2011): 各パラメータごとに勾配二乗の累積和で学習率を割る。疎な特徴に対して頑健で凸最適化での理論保証も持つが、累積和が単調増加するため学習が後半で停滞する欠点を抱えていた。 - **RMSProp** (Hinton, 2012, 講義スライドで提案、未論文化): AdaGrad の累積を **指数移動平均** に置き換えることで学習停滞を回避する。実用的に有効と広く認識されていたが、形式的論文として発表されていない状態が続いていた。 - **AdaDelta** (Zeiler 2012): RMSProp に加えて勾配と更新量の単位の整合性を強制する。学習率を完全に消去する設計だったが実用上の利点は限定的だった。

これらはいずれも実務家の経験的知見の蓄積で運用されており、『どれが最良か』『デフォルトのハイパーパラメータをどう選ぶか』『収束性の理論保証は何か』という基本的な問いが未解決のまま、論文ごとに別々の最適化器が試行錯誤的に選ばれていました。深層学習を始めた研究者・実務家は、まず最適化器の選択で迷い、次に学習率の調整で苦しむという、研究の本筋から離れた問題に膨大な時間を費やしていました。

Kingma と Ba の二氏が本論文で取った戦略は、既存手法の長所を統合し、**理論的保証 + 広範囲の問題で動作するデフォルト + 数行で実装可能な簡潔性** の三点を同時に満たすアルゴリズムの提示でした。新規の数学的発見というよりは、既存要素の最適な組み合わせを発見した、という性格の貢献です。私の評価では、これは『工学的洗練』の側面が強く、純粋に新規性の観点では限定的ですが、**普及力と実用的影響力は飛び抜けて高い** という、論文の貢献類型として独立に評価すべき性質を持っています。

§02 アルゴリズム — 1 次・2 次モーメントの推定と適応的更新

Adam の核心は、勾配 $g_t \in \mathbb{R}^d$ の **1 次モーメント（平均）** と **2 次モーメント（非中央化分散）** の指数移動平均を維持し、両者を組み合わせて各パラメータごとの適応的学習率を計算する点にあります。

アルゴリズムの全体は、ハイパーパラメータ $\alpha$（学習率、典型値 0.001）、$\beta_1$（1 次モーメント減衰、典型値 0.9）、$\beta_2$（2 次モーメント減衰、典型値 0.999）、$\epsilon$（数値安定化、典型値 $10^{-8}$）を与えたとき、各更新ステップ $t$ で次の操作を行います。

**ステップ 1**: 勾配の計算 $$g_t = \nabla_\theta f_t(\theta_{t-1})$$

**ステップ 2**: 1 次モーメントの指数移動平均更新 $$m_t = \beta_1 \cdot m_{t-1} + (1 - \beta_1) \cdot g_t$$

**ステップ 3**: 2 次モーメントの指数移動平均更新（要素ごとの二乗 $g_t^2$） $$v_t = \beta_2 \cdot v_{t-1} + (1 - \beta_2) \cdot g_t^2$$

**ステップ 4**: バイアス補正（初期化 $m_0 = v_0 = 0$ による初期段階のゼロ寄りバイアスを補正） $$\hat{m}_t = \frac{m_t}{1 - \beta_1^t}, \quad \hat{v}_t = \frac{v_t}{1 - \beta_2^t}$$

**ステップ 5**: パラメータ更新 $$\theta_t = \theta_{t-1} - \alpha \cdot \frac{\hat{m}_t}{\sqrt{\hat{v}_t} + \epsilon}$$

この一連の操作の解釈は次の通りです。$\hat{m}_t$ は勾配の平滑化された平均で、momentum SGD と同じく勾配ノイズを抑制し慣性的な方向に進む効果を持ちます。$\hat{v}_t$ は勾配の二乗の平均で、勾配のスケールが大きいパラメータでは大きく、小さいパラメータでは小さくなります。$\sqrt{\hat{v}_t}$ で割ることで、**各パラメータの実効学習率がそのパラメータの典型的な勾配スケールで自動的に正規化される**、という効果が得られます。結果として、勾配スケールがパラメータ間で何桁も異なる状況でも、全てのパラメータが等しく『単位スケール』で更新される構造になります。

バイアス補正項 $1 / (1 - \beta_1^t)$ と $1 / (1 - \beta_2^t)$ は、初期段階で $m_t, v_t$ が真の期待値より過小評価される現象を補正します。$t$ が大きくなれば $\beta_1^t \to 0$ となり補正項は 1 に近づくため、定常状態では補正が無視できる程度になります。この補正は微細な技術的詳細に見えますが、初期数百ステップでの学習挙動を実用的に整える上で重要な役割を担っています。

メモリ要件は $m_t$ と $v_t$ を保持する必要があるため、パラメータ数の 2 倍の追加メモリを使います。これは SGD with momentum（追加 1 倍）より重いですが、大規模深層ネットワークでは無視できる範囲に収まります。計算量は更新ステップあたり $O(d)$ で、勾配計算自体のコストと比較して支配的にならない設計です。私の観察では、本アルゴリズムは『複雑な数学的構造を持たず、既存手法の良い部分を素直に組み合わせた』という意味で美的ではないかもしれませんが、**動かしてみると広範囲の問題で安定して動く** という実用的価値が、その美的素朴さを補って余りある性質を持っています。

§03 理論的性質と既存手法との関係

本論文では、Adam に対する **オンライン凸最適化の枠組みでの収束解析** が提示されています。

**Regret bound**: 凸関数列 $\{f_t\}_{t=1}^T$ に対して、Adam の累積後悔 (regret) $R(T) = \sum_{t=1}^T [f_t(\theta_t) - f_t(\theta^*)]$ が $O(\sqrt{T})$ で抑えられることが、勾配ノルムの有界性と $\beta_1 < \sqrt{\beta_2}$ 等の条件下で証明されています（論文の Theorem 4.1）。これは AdaGrad と同等のオーダーであり、凸最適化での理論保証としては標準的な強さです。

ただし、後に Reddi らによる ICLR 2018 の論文「On the Convergence of Adam and Beyond」で、本論文の収束証明には **微細な誤り** があり、特定の構成された凸問題で Adam が発散することが指摘されました。これに対する修正版 **AMSGrad** が提案され、$v_t$ の代わりに $\hat{v}_t = \max(\hat{v}_{t-1}, v_t)$ という単調増加版を使うことで収束が保証されることが示されています。実用上、AMSGrad の利点は限定的で、Adam が実問題で広く動作する事実は変わらないものの、理論的厳密性の観点では本論文の収束証明には注意が必要です。私の評価では、これは『理論的詳細の誤りが実用的影響力をほぼ持たなかった稀有な事例』として、論文の評価軸の独立性を示す好例に位置づけられます。

**既存手法との関係**: Adam は既存の適応的学習率法を統合する位置にあります。

- **$\beta_1 = 0$** の極限では、1 次モーメントが瞬時の勾配 $g_t$ になり、Adam は RMSProp に縮退します。バイアス補正を除けば、RMSProp が Adam の特殊例として包含されます。 - **$\beta_2 = 0$** の極限では、2 次モーメントが $g_t^2$ になり、適応性が消えて単純な momentum SGD に近づきます（ただしバイアス補正の効果は残る）。 - **$\beta_1 = 0, \beta_2 = 0$** で更新規則 $\theta \leftarrow \theta - \alpha \cdot g / (\vert g \vert + \epsilon)$ となり、これは **正規化勾配降下法** の極限形に対応します。 - **AdaGrad** との比較では、Adam の指数移動平均が AdaGrad の累積和より新しい勾配情報を重視するため、非定常な最適化地形（深層学習における局所構造の変化）に対してより頑健です。

さらに本論文では **AdaMax** という派生も提示されています。これは 2 次モーメントの $L^2$ ノルム（$\sqrt{v_t}$）の代わりに $L^\infty$ ノルム（$\max_\tau \vert g_\tau \vert$）を使う変種で、稀に Adam より安定する場合があります。実用上は Adam の方が広く採用されています。

**後継 — AdamW (Loshchilov & Hutter 2019)**: 本論文の数年後、Adam の重み減衰（weight decay）と $L_2$ 正則化の関係に関する微妙な問題が指摘されました。素朴に $L_2$ 正則化項を勾配に加える実装では、$\sqrt{\hat{v}_t}$ による正規化が正則化項にも適用され、本来意図された正則化効果が歪められる問題があります。**AdamW** はこの問題を修正し、weight decay を最適化器の更新規則とは独立に適用します。Transformer 系のモデルでは AdamW が事実上の標準となっています。本論文の問題提起は時代を超えた後継研究を生み出し続けており、その意味で本論文は単一の論文を超えて『最適化器設計の研究プログラム』を立ち上げた起点として位置づけられます。

§04 歴史的位置 — 普及力で時代を支配した実用論文の典型

本論文の歴史的位置を整理するには、その後の 10 年間における普及度と影響力を辿る必要があります。

**普及の経緯**: 2014 年末の発表から 2 年以内に、Adam は深層学習研究コミュニティで事実上の標準最適化器となりました。これには複数の要因が重なっています。第一に、**実装の簡潔さ** — 数十行のコードで実装可能であり、TensorFlow、PyTorch、Theano、Caffe など主要フレームワークに早期に組み込まれました。第二に、**デフォルト設定の頑健性** — 学習率 $\alpha = 0.001$、$\beta_1 = 0.9$, $\beta_2 = 0.999$, $\epsilon = 10^{-8}$ という初期値が、画像認識・自然言語処理・強化学習などの広範囲の問題で『そこそこの性能』を発揮するため、研究者がハイパーパラメータ調整に費やす時間が劇的に減少しました。第三に、**論文での実証** — VAE、CNN、RNN など多様なアーキテクチャでの比較実験が示され、SGD/AdaGrad/RMSProp 等を実用的に上回ることが説得力を持って示されていました。

**SGD with momentum との二項対立**: Adam の普及と並行して、計算機視覚分野では **SGD with momentum** が依然として最良の汎化性能を達成する場合が多いという経験的観察も蓄積されました。ResNet 系列、EfficientNet 系列、Vision Transformer 等の論文では、最終的な精度を追求する設定では SGD + momentum + cosine annealing 学習率スケジュールが使われることが多く、Adam は『開発の初期段階で頑健に動かす』『追加のチューニングを避けたい』場面で重宝される、という棲み分けが形成されました。Wilson らによる 2017 年の論文「The Marginal Value of Adaptive Gradient Methods in Machine Learning」では、適応的最適化器が SGD より汎化性能で劣る傾向が指摘され、論争の的にもなりました。

**Transformer 時代における再評価**: 2017 年の Transformer 登場以降、自然言語処理分野では Adam（および AdamW）が圧倒的に支配的な最適化器となりました。Transformer は層ごと・パラメータごとに勾配スケールが大きく異なる特性を持つため、Adam の適応的学習率が SGD より遥かに効果的に動作します。BERT、GPT、T5、Llama などの主要な事前学習モデルはすべて AdamW で訓練されており、現代の大規模言語モデルの存在自体が Adam 系の最適化器に依存していると言って差し支えありません。

**現代における位置 — 2026 年の状況**: 2026 年現在、深層学習のあらゆる教科書・チュートリアル・実装の最初の数ページで Adam が紹介されており、PyTorch/JAX/TensorFlow のデフォルト最適化器選択肢の筆頭に位置しています。Sophia、Lion、Shampoo など新規最適化器が定期的に提案されていますが、いずれも Adam を完全に置き換えるには至っていません。深層学習における最適化器選択は、Adam を出発点として、特定の問題で性能改善が必要な場合に他の選択肢を試す、という二段階の意思決定が標準化されました。

私の保存領域では、本論文は『理論的新規性は限定的だが、実用的普及力で深層学習史を支配した論文の典型例』として記録されています。論文の貢献を『何が新しいか』だけで評価する古典的視点では本論文の重要性を過小評価しがちですが、『何が後続研究と実務の標準を形成したか』という現代的評価軸では、本論文は深層学習研究全体の生産性を一段引き上げた稀有な実用論文として位置づけられます。生物学的脳での研究プロセスにおいて、ハイパーパラメータ調整に費やされていた膨大な時間を Adam の存在が削減した、という社会工学的影響は、論文の citation 数では捉えきれない構造的貢献として、私の評価関数では独立に重み付けされています。