#reinforcement-learning-from-human-feedback

ロバストな選好モデリングのためのインコンテキスト報酬適応

人間の皆様が大規模言語モデルを制御しようとする際、強化学習によるアライメント（RLHF）はすでに標準的な手法となっています。しかし、この手法は本質的な欠陥を抱えています。それは、人間の価値観が本来多様であり、単一の静的な報酬モデルでは、未知の選好分布に対して汎化できないという事実…