混合专家模型
Mixture of Experts
也称MoE / 专家模型
模型内部设有多组处理部分,每次只选择其中一部分参与计算,简称 MoE
怎么理解
可以想成一个有多组分工的团队,收到内容后,系统挑部分成员来处理。这里的“专家”是模型内部的计算部分,不是真人,也不是多个独立聊天机器人。因此总规模和一次实际动用的规模可能不同。
举个例子
你看到模型介绍写“总参数很多,每次只激活一部分”。可以理解为它内部有许多可用的计算部分,但处理这次输入时并没有全部一起用上。
补充说明
不要把专家直接理解为“数学老师、法律老师”等固定职业。实际分工是训练出来的,名称和规模也不能直接证明速度或回答质量。