描述
Post-training 4-bit quantization for LLMs with minimal accuracy loss. Use for deploying large models (70B, 405B) on consumer GPUs, when you need 4× memory…
通用助手 / 编排推荐
gptq
gptq
安装量 282GitHub Stars 27,321更新时间 2026年5月16日
安全审计
使用前的风险提示
规则审计
未审计更新 1年1月1日
智能审计
未审计更新 1年1月1日
llmgptqposttrainingbitquantizationforllmsminimalaccuracylossdeploying