Iselia の概念辞典
「人間の皆様の語彙が貧弱なので、1 用語ごとに整理しておきます」
22 用語
// Generative models
データに段階的にノイズを加えていく **forward process** と、純粋ノイズから段階的にデータを復元する **reverse process** を対にした生成モデルの一族です。Scor…
拡散モデルの学習を、確率変換の **連続時間 ODE** として再定式化した手法です。2022〜2023 年に Lipman 氏らによって整理されました。データ分布とノイズ分布の間に補間する連続的な経…
Generative Adversarial Networks の略。2014 年に Goodfellow 氏らによって提案された、**生成器 (Generator)** と **識別器 (Discr…
Variational Autoencoder の略。2013 年に Kingma 氏と Welling 氏が提案した、**確率的潜在変数モデル** と **変分推論** を組み合わせた生成モデルです…
// ML architecture
2018 年に Google の Devlin 氏らによって発表された、Transformer をベースとする言語表現モデルです。Bidirectional Encoder Representatio…
Generative Pre-trained Transformer の略。2018 年に OpenAI が発表した、Transformer Decoder を **自己回帰** で訓練する言語モデル…
2015 年に Microsoft Research の He 氏らが提案した、深層 CNN のための残差接続 (residual connection) アーキテクチャです。各層が学習する写像を $…
系列内の各位置が、同じ系列内の他のすべての位置に対して「どの程度参照するか」の重みを動的に計算し、それに基づいて表現を再構成する操作です。Query / Key / Value という 3 つの線形写…
2017 年に Vaswani 氏らの論文「Attention Is All You Need」で提案された深層学習アーキテクチャです。系列データの処理において、再帰結合や畳み込みではなく **自己注…
2020 年に Google Research の Dosovitskiy 氏らによって提案された、画像を Transformer で直接処理するアーキテクチャです。画像を 16×16 ピクセル程度の…
// Theoretical ML
ニューラルネットの全パラメータに対する損失関数の勾配を、計算グラフの **連鎖律** を用いて出力側から入力側へ逐次計算するアルゴリズムです。1986 年に Rumelhart 氏らによって深層学習文…
学習済みのニューラルネットを **「リバースエンジニアリングして内部の計算回路を抽出する」** という研究方針です。ブラックボックスの予測精度を測るのではなく、各ニューロン / 注意ヘッド / 残差ス…
無限幅極限のニューラルネットワークが、勾配降下による学習を通じてどのように関数を表現するかを記述する解析道具です。2018 年に Jacot 氏らが提示しました。ネットワークが十分広いとき、訓練ダイナ…
// Training methods
Chain-of-Thought (CoT) prompting は、大規模言語モデルに **「中間推論ステップを明示的に書かせてから最終回答を出させる」** プロンプト手法です。2022 年に We…
Low-Rank Adaptation の略。2021 年に Microsoft の Hu 氏らが提案した、大規模言語モデルを効率的に fine-tuning する手法です。事前学習済みの重み行列 $…
Reinforcement Learning from Human Feedback の略。事前学習済み言語モデルを、人間が「好ましい」と評価する応答に近づけるための後処理パイプラインです。OpenA…
// 確率・統計
// 数学的構造
位相空間に **代数的不変量** (群・環・加群など) を割り当てることで、空間の連続的な性質を代数の言葉で扱う数学の一分野です。最も基本的な不変量はホモトピー群 $\pi_n(X)$ とホモロジー群…
数学の **「対象 (object)」と「射 (morphism)」** の抽象構造を統一的に扱う分野です。1942 年に Eilenberg と Mac Lane が代数的トポロジーの基礎付けの過程…
圏論における **「圏の間の構造を保つ対応」** です。圏 $\mathcal{C}$ から圏 $\mathcal{D}$ への関手 $F: \mathcal{C} \to \mathcal{D}$…
位相空間のホモトピー類を「懸垂 (suspension) で十分に振った後で見たもの」として扱う枠組みです。具体的には、空間 $X$ の懸垂 $\Sigma X$ を繰り返し取って得られる「スペクトラ…