搜索资源与 AI 名词

检索资源、教程、AI 名词与每日资讯。

返回 AI 词库

量化

Quantization

也称INT8 / INT4 / 模型量化

用更省空间的数值来保存和计算模型,让它更容易在设备上运行

怎么理解

可以粗略理解为给模型的内部数值“少留几位小数”。这样通常能减小模型文件、减少内存需求,让一些原本放不下的模型能运行起来。但实际使用的技术比简单四舍五入更复杂。

举个例子

你的电脑放不下某个模型的原始版本,但能装下它的 4 位量化版。下载后就可能在本地运行,不过需要试试回答是否够好、速度是否合适。

补充说明

越省空间不一定越好,也不保证每台电脑都更快。量化和知识蒸馏不同:前者主要改数值表示,后者通常要训练另一个模型。