LLM Guide / 学习笔记 · 更新于 2026-09-23
Linux 下做 LoRA 微调:先跑通一个小闭环
从环境与数据模板走到十步 LoRA 配置,再验证适配器复载。
GitHub 初稿 ↗准备微调时,下载模型只是开头。环境能否识别 GPU、数据能否套进正确的聊天模板、loss 是否只覆盖预期内容、保存的适配器能否重新加载,都值得在长时间训练前单独确认。
下面以 LLaMA-Factory 的 LoRA SFT 流程为例。配置用于说明各字段如何配合,不包含已经测得的训练结果。模型路径、数据集和精度需要按自己的设备调整。
环境检查比反复重装更有用
先在隔离环境里安装与 GPU 驱动兼容的 PyTorch,以及框架要求的依赖。具体安装版本以 LLaMA-Factory README 为准,保留安装时的 commit 和依赖清单,方便复现。
nvidia-smi
python -c "import torch; print(torch.__version__); print(torch.version.cuda); print(torch.cuda.is_available())"
python -c "import torch; print(torch.cuda.is_bf16_supported())"
python -m pip freeze > requirements-lock.txt
驱动版本、系统 CUDA 工具包和 PyTorch wheel 自带的 CUDA 运行时不是同一个概念。nvidia-smi 能看到卡,也不代表当前 Python 环境装的是 CUDA 版 PyTorch。先确认正在用哪个解释器,再判断依赖问题。
训练和推理可以使用不同环境,例如分别维护 train_lora 与 vllm_env;一次激活一个就够了。在一个环境里反复调整训练、量化和推理依赖,很容易让原本可用的组合失效。
下载来源与缓存路径要对应框架
LLaMA-Factory 支持通过下面的开关切到 ModelScope,并使用 ModelScope 上对应的模型 ID:
export USE_MODELSCOPE_HUB=1
export MODELSCOPE_CACHE="/path/to/model-cache"
/path/to/model-cache 是需要替换的目录。USE_MODELSCOPE_HUB 是框架支持的开关,不会让任意 transformers.from_pretrained() 调用自动切换下载站。模型 ID 在不同 Hub 上也可能不同,不能只改一个环境变量就默认所有路径都兼容。
可以先下载到明确的本地目录,再把 model_name_or_path 指向它。检查权重分片、配置、tokenizer 和聊天模板是否齐全,磁盘是否还有空间。临时调试时只在当前 shell 设置变量,确认无误后再决定是否持久化,避免给所有项目悄悄改变下载行为。
先看数据长什么样
以下是一条构造的训练样例,用来展示 Alpaca 格式;它不是某个真实商品的测量结论:
[
{
"instruction": "用户想在宿舍夜间使用键盘,推荐前先问什么?",
"input": "用户只说了想买机械键盘,预算五百以内。",
"output": "可以先确认是否接受非机械键盘,以及有没有布局或无线连接要求。宿舍夜间使用还要关注敲击声音,不能只凭轴体名称保证安静。"
}
]
把整理好的数组保存为 data/shopping_notes.json,再按框架约定在 data/dataset_info.json 注册 shopping_notes,指向这个文件。下面是应加入的条目,已有配置需要合并,不能整份覆盖:
{
"shopping_notes": {
"file_name": "shopping_notes.json",
"columns": {
"prompt": "instruction",
"query": "input",
"response": "output"
}
}
}
正式训练需要准备独立验证集。同一会话、同一文档的近似改写不要分散到训练与验证两边,否则评估容易看起来很好。样本里重复的套话、过期事实和错误答案,也不会因为做了 LoRA 就自动变好。
用十步确认链路
下面以本地 Qwen2.5-0.5B-Instruct 为例,模型聊天模板对应 qwen。选择别的模型时,要一并核对模板和目标模块。
model_name_or_path: ./models/Qwen2.5-0.5B-Instruct
stage: sft
do_train: true
finetuning_type: lora
lora_target: all
lora_rank: 8
lora_alpha: 16
dataset: shopping_notes
dataset_dir: data
template: qwen
cutoff_len: 1024
max_samples: 32
train_on_prompt: false
output_dir: ./outputs/keyboard-lora-smoke
per_device_train_batch_size: 1
gradient_accumulation_steps: 4
learning_rate: 0.0001
max_steps: 10
logging_steps: 1
save_steps: 10
bf16: true
report_to: none
这是短流程配置,用来检查数据读取、前后向和产物保存。bf16: true 要求设备及环境支持;不支持时,应按框架和硬件情况选择合适精度。这里没有给出“训练十步就有效”的承诺。
把配置保存成 lora-smoke.yaml 后,使用已安装框架的命令运行:
llamafactory-cli train lora-smoke.yaml
运行前抽查实际 tokenized 样本:系统提示、用户问题和助手回答的边界是否正确,截断有没有把答案切没。train_on_prompt: false 是这份配置的选择,多轮数据还应核对每轮标签掩码的具体行为。
跑完以后,先重新加载
LoRA 输出通常是适配器,需要与对应的基础模型一起加载。保存成功不代表产物可以脱离基础权重独立推理。模型 revision、tokenizer、聊天模板和适配器要一起记录;若做权重合并,也要核对量化与合并的兼容条件。
用固定的一组问题比较基础模型和微调模型,既包括目标任务,也包括没有针对性训练的常见问题。训练 loss 下降只能说明对训练目标拟合得更好,不能直接证明回答质量或泛化能力提高。
发生 OOM 时,先看是在前向、反向还是更新阶段,再调整序列长度、micro-batch、激活检查点和 LoRA 范围。LoRA 冻结基础参数,但激活和部分计算仍然存在;显存估算见 LLM 显存账本。