量化
Quantization
也称INT8 / INT4 / 模型量化
用更省空间的数值来保存和计算模型,让它更容易在设备上运行
怎么理解
可以粗略理解为给模型的内部数值“少留几位小数”。这样通常能减小模型文件、减少内存需求,让一些原本放不下的模型能运行起来。但实际使用的技术比简单四舍五入更复杂。
举个例子
你的电脑放不下某个模型的原始版本,但能装下它的 4 位量化版。下载后就可能在本地运行,不过需要试试回答是否够好、速度是否合适。
补充说明
越省空间不一定越好,也不保证每台电脑都更快。量化和知识蒸馏不同:前者主要改数值表示,后者通常要训练另一个模型。