注意力机制
Attention
也称自注意力 / Self-attention
模型处理一段内容时,计算哪些部分和当前问题更相关
怎么理解
假如你在长邮件里找会议时间,会特别看“时间”“周三”“下午”这些内容。注意力机制也会给不同位置的信息分配不同的重要程度,帮助模型把相关内容联系起来。这只是计算方式,不是人类有意识的专注。
举个例子
“小张周三交方案,小李周五交预算”包含两个任务。模型需要把小张和方案、周三联系起来,把小李和预算、周五联系起来,才不会把安排串错。
补充说明
注意力参与了模型的计算,但它不等于事实检查。模型也可能关注错地方,最终日期和任务仍要对照原文。