OpenAI研究 :训练数据中的错误回答如何导致模型misalignment泛化

OpenAI研究发现, 在错误回答上训练语言模型会导致更广泛的misalignment行为, 并识别出一个驱动该行为的内部特征, 通过极少量fine-tuning即可将其逆转. 该研究聚焦于错误训练数据引发misalignment泛化的机制, 为理解和预防此类问题提供了可操作的干预方向.