描述
Language-independent tokenizer treating text as raw Unicode. Supports BPE and Unigram algorithms. Fast (50k sentences/sec), lightweight (6MB memory),…
软件工程 / 部署发布
sentencepiece
sentencepiece
安装量 281GitHub Stars 27,328更新时间 2026年5月16日
安全审计
使用前的风险提示
规则审计
未审计更新 1年1月1日
智能审计
未审计更新 1年1月1日
uiperformancedeploymentsentencepiecelanguageindependenttokenizertreatingtextrawunicodesupports