搜索资源与 AI 名词

检索资源、教程、AI 名词与每日资讯。

返回 AI 词库

注意力机制

Attention

也称自注意力 / Self-attention

模型处理一段内容时,计算哪些部分和当前问题更相关

怎么理解

假如你在长邮件里找会议时间,会特别看“时间”“周三”“下午”这些内容。注意力机制也会给不同位置的信息分配不同的重要程度,帮助模型把相关内容联系起来。这只是计算方式,不是人类有意识的专注。

举个例子

“小张周三交方案,小李周五交预算”包含两个任务。模型需要把小张和方案、周三联系起来,把小李和预算、周五联系起来,才不会把安排串错。

补充说明

注意力参与了模型的计算,但它不等于事实检查。模型也可能关注错地方,最终日期和任务仍要对照原文。