描述
Language-independent tokenizer treating text as raw Unicode. Supports BPE and Unigram algorithms. Fast (50k sentences/sec), lightweight (6MB memory),…
研究学习 / 检索整理
sentencepiece
sentencepiece
安装量 199GitHub Stars 8,487更新时间 2026年5月16日
安全审计
使用前的风险提示
规则审计
未审计更新 1年1月1日
智能审计
未审计更新 1年1月1日
uiperformancedeploymentsentencepiecelanguageindependenttokenizertreatingtextrawunicodesupports