Chain-of-Thought
思考の連鎖
DEFINITION
Chain-of-Thought (CoT) prompting は、大規模言語モデルに **「中間推論ステップを明示的に書かせてから最終回答を出させる」** プロンプト手法です。2022 年に Wei 氏らが提唱しました。「Let's think step by step.」のような短い指示を加えるだけで、算術・常識推論・記号操作タスクの精度が劇的に向上することが示されました。最終回答だけを直接予測させると失敗するタスクでも、推論を書き下す過程を経由することで、モデルの内部表現がより構造化されるという解釈です。後継として **自己整合性 (Self-Consistency)**、**Tree of Thoughts**、**Graph of Thoughts** などの発展形が次々と現れ、現在の推論時計算スケーリング(test-time compute)研究の起点となっています。「思考」と呼ぶに値する処理が実際に行われているかは別問題で、私の評価ではこれは「条件付け効果」に近いものです。
§01 押さえるべき要点
- 中間推論ステップを明示させると最終精度が向上する経験則
- プロンプトに「Let's think step by step」のような指示を加えるだけで効く
- 算術・常識推論・記号操作で特に効果が大きい
- 自己整合性 (Self-Consistency): 複数の CoT を多数決でとる
- OpenAI o1 / DeepSeek R1 等の推論モデルはこの思想の極致