跳到正文
掘金· 大模型真好玩·· 2 小时前AI 评分34

LLaMA-Factory 预训练实战:从语料处理到 Qwen3-32B LoRA 增量预训练

大模型训练全流程实战指南实战篇(十七)— LLamaFatory预训练实战:从语料到模型

AI 导读

这篇实战指南演示了如何用 LLaMA-Factory 对 Qwen3-32B 做 LoRA 增量预训练:先把 EasyDataset 蒸馏的问答对与清洗后的领域文本拼接成约 926M tokens 的预训练集并注册到 LLaMA-Factory,再以 stage=pt、lora_rank/alpha=8、cutoff_len=4096 等配置启动训练,约 2 天完成。

来源:掘金 · juejin.cn