Support Model

Support Model#

Each model directory under examples/ usually contains both training (pre-train / fine-tune) and checkpoint-conversion scripts—ready to use out-of-the-box.

Model Type

Model Category

Model

Pretrain

SFT

Config

LLM

DeepSeek-V2

deepseek_v2

✅(example)

✅(example)

model config

deepseek_v2_lite

✅(example)

✅(example)

model config

DeepSeek-V3

deepseek_v3_bf16

✅(example)

✅(example)

model config

deepseek_v3_fp8

✅(example)

✅(example)

model config

deepseek_v3.2_fp8

✅(example)

✅(example)

model config

Llama2

llama2_7b

✅(example)

✅(example)

model config

llama2_13b

✅(example)

✅(example)

model config

llama2_70b

✅(example)

✅(example)

model config

Llama3

llama3_8b

✅(example)

✅(example)

model config

llama3_70b

✅(example)

✅(example)

model config

Llama3.1

llama3.1_8b

✅(example)

✅(example)

model config

llama3.1_70b

✅(example)

✅(example)

model config

llama3.1_405b

✅(example)

✅(example)

model config

Qwen

qwen_1.8b

✅(example)

✅(example)

model config

qwen_7b

✅(example)

✅(example)

model config

qwen_14b

✅(example)

✅(example)

model config

qwen_72b

✅(example)

✅(example)

model config

Qwen1.5

qwen1.5_0.5b

✅(example)

✅(example)

model config

qwen1.5_1.8b

✅(example)

✅(example)

model config

qwen1.5_4b

✅(example)

✅(example)

model config

qwen1.5_7b

✅(example)

✅(example)

model config

qwen1.5_14b

✅(example)

✅(example)

model config

qwen1.5_32b

✅(example)

✅(example)

model config

qwen1.5_72b

✅(example)

✅(example)

model config

Qwen2

qwen2_0.5b

✅(example)

✅(example)

model config

qwen2_1.5b

✅(example)

✅(example)

model config

qwen2_7b

✅(example)

✅(example)

model config

qwen2_72b

✅(example)

✅(example)

model config

Qwen2.5

qwen2.5_0.5b

✅(example)

✅(example)

model config

qwen2.5_1.5b

✅(example)

✅(example)

model config

qwen2.5_3b

✅(example)

✅(example)

model config

qwen2.5_7b

✅(example)

✅(example)

model config

qwen2.5_14b

✅(example)

✅(example)

model config

qwen2.5_32b

✅(example)

✅(example)

model config

qwen2.5_72b

✅(example)

✅(example)

model config

Qwen3

qwen3_0.6b

✅(example)

✅(example)

model config

qwen3_1.7b

✅(example)

✅(example)

model config

qwen3_4b

✅(example)

✅(example)

model config

qwen3_8b

✅(example)

✅(example)

model config

qwen3_14b

✅(example)

✅(example)

model config

qwen3_32b

✅(example)

✅(example)

model config

qwen3_30b_a3b

✅(example)

✅(example)

model config

qwen3_235b_a22b

✅(example)

✅(example)

model config

qwen3_480b_a35b

✅(example)

✅(example)

model config

qwen3_coder_30b_a3b

✅(example)

✅(example)

model config

Qwen3-Next

qwen3_next_80b_a3b

✅(example)

✅(example)

model config

MiniMax

minimax2.1_230b

✅(example)

✅(example)

model config

minimax2.5_230b

✅(example)

✅(example)

model config

minimax2.7_230b

✅(example)

model config

MIMO

mimo_7b

✅(example)

model config

GLM

glm5

✅(example)

✅(example)

model config

VLM

Qwen2.5-VL

qwen2.5_vl_3b

✅(example)

✅(example)

model config

qwen2.5_vl_7b

✅(example)

✅(example)

model config

qwen2.5_vl_32b

✅(example)

✅(example)

model config

qwen2.5_vl_72b

✅(example)

✅(example)

model config

Qwen3-VL

qwen3_vl_30b_a3b

✅(example)

✅(example)

model config

qwen3_vl_235b_a22b

✅(example)

✅(example)

model config

Qwen3.5

qwen3_5_0_8b

✅(example)

✅(example)

model config

qwen3_5_2b

✅(example)

✅(example)

model config

qwen3_5_4b

✅(example)

✅(example)

model config

qwen3_5_9b

✅(example)

✅(example)

model config

qwen3_5_27b

✅(example)

✅(example)

model config

qwen3_5_35b_a3b

✅(example)

✅(example)

model config

qwen3_5_122b_a10b

✅(example)

✅(example)

model config

qwen3_5_397b_a17b

✅(example)

✅(example)

model config

Qwen3.6

qwen3_6_27b

✅(example)

✅(example)

model config

qwen3_6_35b_a3b

✅(example)

✅(example)

model config

Kimi-K2.5

kimi_k2_5

✅(example)

✅(example)

model config

Kimi-K2.6

kimi_k2_6

✅(example)

✅(example)

model config

LLaVA-OneVision-1.5

llava_onevision_1.5_4b

✅(example)

model config

InternVL-2.5

internvl2.5_8b

✅(example)

model config

internvl2.5_26b

✅(example)

model config

internvl2.5_38b

✅(example)

model config

internvl2.5_78b

✅(example)

model config

InternVL-3.5

internvl3.5_8b

✅(example)

model config

internvl3.5_14b

✅(example)

model config

internvl3.5_38b

✅(example)

model config

internvl3.5_30b_a3b

✅(example)

model config

internvl3.5_241b_a28b

✅(example)

model config

ERNIE4.5-VL

ernie4.5_vl_28b_a3b

✅(example)

model config

Video

Wan2.2

wan2.2_i2v_a14b

✅(example)

model config

VLA

Pi05

pi05

✅(example)

model config

GR00T-N1.6

groot_n1_6

✅(example)

model config