描述
Fast tokenizers optimized for research and production. Rust-based implementation tokenizes 1GB in <20 seconds. Supports BPE, WordPiece, and Unigram algorithms.…
软件工程 / 诊断修复
huggingface-tokenizers
huggingface-tokenizers
安装量 331GitHub Stars 27,322更新时间 2026年5月16日
安全审计
使用前的风险提示
规则审计
未审计更新 1年1月1日
智能审计
未审计更新 1年1月1日
uiperformancehuggingfacetokenizersfastoptimizedforresearchandrustbasedimplementation