【AI大模型】权重加载:LoRA权重加载失败的常见原因
核心结论:LoRA权重加载失败绝大多数不是权重文件损坏,而是配置不一致——基座模型不匹配、adapter_config与adapter_model不配套、target_modules或秩r对不上、peft与transformers版本不兼容。排查的正确顺序是先看报错类型,再核对基座模型与配置,最后检查文件完整性。本文按"报错类型、为什么会发生、怎么定位、怎么处理、如何防复发"展开,末尾附排查速查表。
一、先看现象:LoRA加载失败到底有哪几类
在使用LoRA微调大模型后,最常见的环节出错往往不在训练,而在"加载权重"这一步。模型训练完成,权重文件也已保存,但一加载就报错。这类问题看起来随机,实际上有清晰的规律。LoRA权重加载失败,基本都能归入以下几类。
失败类型 | 典型报错 | 发生阶段 | 本质原因 |
|---|---|---|---|
基座模型不匹配 | size mismatch / unexpected key |