搜索资源与 AI 名词

检索资源、教程、AI 名词与每日资讯。

返回 AI 词库

混合专家模型

Mixture of Experts

也称MoE / 专家模型

模型内部设有多组处理部分,每次只选择其中一部分参与计算,简称 MoE

怎么理解

可以想成一个有多组分工的团队,收到内容后,系统挑部分成员来处理。这里的“专家”是模型内部的计算部分,不是真人,也不是多个独立聊天机器人。因此总规模和一次实际动用的规模可能不同。

举个例子

你看到模型介绍写“总参数很多,每次只激活一部分”。可以理解为它内部有许多可用的计算部分,但处理这次输入时并没有全部一起用上。

补充说明

不要把专家直接理解为“数学老师、法律老师”等固定职业。实际分工是训练出来的,名称和规模也不能直接证明速度或回答质量。