描述
Post-training 4-bit quantization for LLMs with minimal accuracy loss. Use for deploying large models (70B, 405B) on consumer GPUs, when you need 4× memory…
研究学习 / 检索整理
gptq
gptq
安装量 198GitHub Stars 8,475更新时间 2026年5月16日
安全审计
使用前的风险提示
规则审计
未审计更新 1年1月1日
智能审计
未审计更新 1年1月1日
llmgptqposttrainingbitquantizationforllmsminimalaccuracylossdeploying