搜索资源与 AI 名词

检索资源、教程、AI 名词与每日资讯。

返回 AI 词库

知识蒸馏

Knowledge Distillation

也称蒸馏 / Distillation / 教师模型 / 学生模型

让一个模型向更强的模型学习,常用来训练更小、更省资源的模型

怎么理解

可以把较强的模型看作老师,把另一个模型看作学生。老师示范怎样回答或判断,学生通过训练学习这些做法。这叫知识蒸馏,常见目的是让较小的模型也能做好某几类事情。

举个例子

一家网店经常被问“怎么退货”“什么时候发货”。团队先让大模型示范大量合格答复,再用这些示范训练小模型。以后常见问题交给小模型处理,就有机会降低成本。

补充说明

不是把大模型完整装进小模型里,也不是复制一段提示词。学生需要真的经过训练;能学到多少,要用没见过的问题检查。