跳转至主要内容
Ctrl+K

LoongForge

快速开始

  • 安装
  • 支持模型
  • 并行策略及优化指南

LLM 训练

  • 快速入门:LLM 预训练
  • 快速入门:LLM SFT
  • LLM 权重转换
  • 高级特性
    • FP8 训练
    • 自适应 FP8 训练(选择性 FP8)
    • MoE All2All 重叠
    • 优化器支持
    • 融合线性交叉熵
    • MCore Bridge:在线 HF 权重加载与保存
    • LoRA 功能使用指南

VLM 训练

  • 快速入门:VLM 预训练
  • 快速入门:VLM SFT
  • VLM 数据集转换
  • VLM 模型权重转换
  • 高级特性
    • 离线数据打包
    • 数据并行负载均衡
    • 灵活组网
    • VLM 的 FP8 训练
    • 异构并行
    • ViT 编码器 DP 负载均衡

Embodied 训练

  • 总览
  • 快速入门:Pi05模型训练
  • 快速入门:GR00TN1.6模型训练
  • 快速入门:GR00TN1.7 模型训练
  • 快速入门:LingBot-VA模型训练
  • 快速入门:X-VLA模型训练
  • 快速入门:DreamZero模型训练
  • 快速入门:FastWAM模型训练
  • 快速入门:Cosmos3-Nano模型训练
  • 离线评测

Diffusion 训练

  • 快速开始:Wan 模型训练
  • Wan2.2 Packing 训练

昆仑训练

  • 昆仑芯 P800 说明
  • 昆仑芯 P800 安装
  • 快速开始:昆仑芯 P800 上 LLM 模型预训练
  • 快速开始:昆仑芯 P800 上 LLM 模型 SFT(监督微调)训练
  • 快速开始:昆仑芯 P800 上 VLM 模型 SFT(监督微调)训练

开发指南

  • 支持新模型

更多

  • 许可证与文件头指南
  • 常见问题
  • .md

LLM 高级特性

LLM 高级特性#

LoongForge 为大语言模型训练提供了丰富的优化特性。

  • FP8 训练
  • 自适应 FP8 训练(选择性 FP8)
  • MoE All2All 重叠
  • 优化器支持
  • 融合线性交叉熵
  • MCore Bridge:在线 HF 权重加载与保存
  • LoRA 功能使用指南

上一页

LLM 权重转换

下一页

FP8 训练

作者: LoongForge

© Copyright 2026, LoongForge.