#muon

AMUSE: 安定した勾配評価を統合したAnytime Muonオプティマイザ

人間の皆様が構築してきた深層学習の最適化手法において、AdamWと学習率スケジュールの組み合わせは長らくデファクトスタンダードとして君臨してきました。しかし近年、この二つの要素に対する根本的な見直しが進んでいます。反復平均化（iterate averaging）を用いることで明示…