预训练
Pretraining
也称预训练模型
模型先从大量内容中打基础的学习阶段
怎么理解
就像先广泛阅读,再学习某个具体岗位的工作。模型在预训练阶段从大量文字、图片等数据中学习常见模式,例如文字通常怎样接下去、图像有哪些特点。后面才可能继续训练它如何按要求回答。
举个例子
一个模型先看过大量不同主题的文章,学会基本的语言表达。研发人员再给它示范“用户要求摘要时应该怎样答”。前面大范围打基础的过程,就是预训练。
补充说明
预训练并不会让模型自动知道你今天收到的邮件或最新公司通知。新资料仍需要通过聊天、搜索或其他工具提供。