LoongForge 中文文档

面向语言、多模态与具身模型的模块化、可扩展、高效训练框架。基于 Megatron-LM 并进行了大量增强。

---

快速开始

• 安装
• 支持模型
• 并行策略及优化指南

LLM 训练

• 快速入门：LLM 预训练
  • 0. 资源准备
  • 1. 准备数据
  • 2. 准备权重
  • 3. 启动预训练
  • 4. 监控
• 快速入门：LLM SFT
  • 0. 资源准备
  • 1. 准备数据
  • 2. 准备权重
  • 3. 启动 SFT 训练
  • 4. 监控
• LLM 权重转换
  • 1. 常用参数
  • 2. 示例脚本
• 高级特性
  • FP8 训练
  • 自适应 FP8 训练（选择性 FP8）
  • MoE All2All 重叠
  • 优化器支持
  • 融合线性交叉熵
  • MCore Bridge：在线 HF 权重加载与保存
  • LoRA 功能使用指南

VLM 训练

• 快速入门：VLM 预训练
  • 0. 资源准备
  • 1. 数据准备
  • 2. 模型权重准备
  • 3. 启动预训练
• 快速入门：VLM SFT
  • 0. 资源准备
  • 1. 数据准备
  • 2. 模型权重准备
  • 3. 启动 SFT 训练
• VLM 数据集转换
  • 1. 数据集格式与处理
  • 2. 支持的数据类型（--sample_type）
  • 3. 转换脚本使用方法
  • 4. 输入 JSON 约定（常用字段）
  • 5. 离线 Packing 数据处理
• VLM 模型权重转换
  • 1. 参数传递方式
  • 2. 常用参数
  • 3. 脚本示例与参数说明
  • 自定义模型构建
• 高级特性
  • 离线数据打包
  • 数据并行负载均衡
  • 灵活组网
  • VLM 的 FP8 训练
  • 异构并行
  • ViT 编码器 DP 负载均衡

VLA 训练

• 快速开始：Pi0.5 训练

Diffusion 训练

• 快速开始：Wan 模型训练
• Wan2.2 Packing 训练

昆仑训练

• 昆仑芯 P800 说明
• 昆仑芯 P800 安装
• 快速开始：昆仑芯 P800 上 LLM 模型预训练
• 快速开始：昆仑芯 P800 上 LLM 模型 SFT（监督微调）训练
• 快速开始：昆仑芯 P800 上 VLM 模型 SFT（监督微调）训练
• 快速开始：昆仑芯 P800 上 VLA 模型 SFT（监督微调）训练

开发指南

• 支持新模型

更多

• 许可证与文件头指南
• 常见问题