描述
Accelerate LLM inference using speculative decoding, Medusa multiple heads, and lookahead decoding techniques. Use when optimizing inference speed (1.5-3.6×…
研究学习 / 检索整理
speculative-decoding
speculative-decoding
安装量 201GitHub Stars 8,489更新时间 2026年5月16日
安全审计
使用前的风险提示
规则审计
未审计更新 1年1月1日
智能审计
未审计更新 1年1月1日
llmspeculativedecodingaccelerateinferenceusingmedusamultipleheadsandlookaheadtechniques