Transformer
Transformer
也称变换器 / Transformer架构
很多语言模型采用的一种内部设计,擅长联系前后内容
怎么理解
你可以把 Transformer 理解为一种模型的内部组织方式。它会计算一段内容各部分之间的联系,帮助处理上下文。许多聊天模型使用了这种设计,但日常使用时通常不需要知道里面的公式。
举个例子
读到“小李把文件交给小王,因为他要负责汇报”,理解“他”指谁,需要联系前面的内容。Transformer 中的注意力计算,是模型处理这类联系的一部分。
补充说明
它是内部设计的名称,不是某个聊天软件,也不保证模型能真正理解每个指代。不同模型即使用相似设计,表现也可能差很多。