指令微调
Instruction Tuning
也称SFT / 有监督微调
专门用“要求和合格答案”教模型学会听懂任务、按要求回答
怎么理解
一个模型会接着写文字,不代表它就会照你的指令办事。指令微调会给它看许多成对的例子:用户提出什么要求,合适的答复是什么。这样它更容易学会总结、改写、翻译等任务的回答方式。
举个例子
训练例子里写“把这段话翻译成英文”,后面给出合格译文;换一个例子写“用三点总结文章”,后面给出三点摘要。模型通过练习,学习怎样跟随要求。
补充说明
这是微调的一种用途。学会按要求回答,不等于答案里的事实都对;涉及最新规定时,仍应给它最新资料。