人类反馈强化学习
Reinforcement Learning from Human Feedback
也称RLHF / 人类偏好
先让人比较 AI 的回答,再用这些偏好继续训练模型
怎么理解
同一个问题,AI 可以写出不同答案。让人比较哪份更清楚、更有帮助、更合适,再把这种偏好变成训练时的奖励信号,用来调整模型。这就是人类反馈强化学习的一般思路。
举个例子
一个回答很长却没回答问题,另一个直接给出办法。评审者更喜欢第二个。积累很多这样的比较后,训练就能引导模型更常写出人们偏好的回答。
补充说明
人更喜欢的回答也可能有事实错误。让模型更讨人喜欢,与让它说的每件事都准确,是不同的问题。