知识蒸馏
Knowledge Distillation
也称蒸馏 / Distillation / 教师模型 / 学生模型
让一个模型向更强的模型学习,常用来训练更小、更省资源的模型
怎么理解
可以把较强的模型看作老师,把另一个模型看作学生。老师示范怎样回答或判断,学生通过训练学习这些做法。这叫知识蒸馏,常见目的是让较小的模型也能做好某几类事情。
举个例子
一家网店经常被问“怎么退货”“什么时候发货”。团队先让大模型示范大量合格答复,再用这些示范训练小模型。以后常见问题交给小模型处理,就有机会降低成本。
补充说明
不是把大模型完整装进小模型里,也不是复制一段提示词。学生需要真的经过训练;能学到多少,要用没见过的问题检查。