LLaMA-Factory 预训练实战教程发布

公众号“大模型真好玩”发布了一份用 LLaMA-Factory 对 Qwen3-32B 做 LoRA 增量预训练的实战教程，按“数据准备→参数设置→启动训练→效果查看”四步展开。教程把 EasyDataset 蒸馏的问答对与清洗后的领域文本拼接成约 926M tokens 的预训练集并注册到 LLaMA-Factory，再以 stage=pt、lora_rank/alpha=8、cutoff_len=4096 等配置启动训练，约 2 天完成。 教程提示，Qwen3-32B 训练一般需要 80～160 GB 显存，约合 1～2 张 A100 或 H100；悟道数据集官方数据需在 Science Data Bank 申请下载。完整代码需关注该公众号并私信“大模型训练”免费获取。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。