先锁定基础版本
尽量比较同一个基础模型的两个量化版本,记下精度格式、后端与硬件兼容。文件小不代表运行内存同等比例降低,实际还要看上下文、框架和缓存。不要把不同基础模型的差异归因给量化。
比较你的任务而不是通用排名
准备短对话、长资料提取和含数字的样本,记录响应时间、峰值资源和关键字段正确率。若省下资源却频繁错读日期或格式,就按实际需求权衡;不要用一次主观喜好作结论。例如抽取合同金额时,即便回复更快,也需要单独比较数字、单位和缺失字段,不能只看文字流畅度。
资料来源:Hugging Face 官方量化概览。本站整理,非官方发布。