描述
Accelerate LLM inference using speculative decoding, Medusa multiple heads, and lookahead decoding techniques. Use when optimizing inference speed (1.5-3.6×…
通用助手 / 编排推荐
speculative-decoding
speculative-decoding
安装量 323GitHub Stars 27,329更新时间 2026年5月16日
安全审计
使用前的风险提示
规则审计
未审计更新 1年1月1日
智能审计
未审计更新 1年1月1日
llmspeculativedecodingaccelerateinferenceusingmedusamultipleheadsandlookaheadtechniques