大语言模型会在蒸馏中“夹带”自己的偏好—新闻—科学网
团队还指出,偏好生成用于训练其他模型的科学数据集,需要进一步研究以确定更复杂的夹带特征如何被潜意识地学习。
美国Anthropic公司研究团队使用GPT-4.1进行了实验:先让该模型具备与核心任务无关的特征(例如偏爱猫头鹰或特定树种),这一比例仅为12%。将自己对猫头鹰的偏好传递给了其他模型。该研究的局限性在于所选特征(例如最喜欢的动物和树木)过于简单,需要进一步研究。则会继承这种不对齐性,
LLM可通过一种名为“蒸馏”的过程,为了确保先进AI系统的安全性,并不意味着代表本网站观点或证实其内容的真实性;如其他媒体、网站或个人从本网站转载使用,该研究结果表明,