描述
Provides PyTorch-native distributed LLM pretraining using torchtitan with 4D parallelism (FSDP2, TP, PP, CP). Use when pretraining Llama 3.1, DeepSeek V3, or…
研究学习 / 检索整理
distributed-llm-pretraining-torchtitan
distributed-llm-pretraining-torchtitan
安装量 199GitHub Stars 8,474更新时间 2026年5月16日
安全审计
使用前的风险提示
规则审计
未审计更新 1年1月1日
智能审计
未审计更新 1年1月1日
uillmgithubdistributedpretrainingtorchtitanprovidespytorchnativeusingparallelismfsdp2