企业官网建设流程全解析

• 人工智能
• 大模型
• 基础模型
• 本地部署
• AI Agent

本文是一份面向新手的Llama-Factory 微调教程，带你使用Spark-X2.6-4B-Base（4B 参数端侧开源大语言模型）完成从LoRA 高效微调到全参数微调的完整实践，并附上显存预估、模板要点与常见问题排查，一张表看懂每一步该做什么。

一、Spark-X2.6-4B-Base 模型简介：4B 端侧大模型的核心配置

Spark-X2.6-4B-Base 是 Spark-X2.6 系列中的基础模型（Base Model），采用与 Spark-X2.5-4B 相同的混合注意力架构，通过改进的后训练在编码、Agent 工具调用、长上下文和多语言推理方面大幅提升，在同尺寸开源模型中可达到约 9B 模型的水平。由于它是 Base 模型，没有固定对话风格，最适合用 SFT 按自己的需求定制。

核心配置（来自 config.json）：

架构定义位于 modeling_spark.py 与 configuration_spark.py，模型类型为spark2_5，属于自定义架构——这一点直接决定了微调时有一个必配参数（第四节会讲到）。官方 README.md 中也明确推荐使用Llama-Factory进行微调，本教程即按此路线展开。

二、微调环境搭建：Llama-Factory 安装与显存预估

第 1 步：获取模型

git clone https://gitcode.com/SparkLLM/Spark-X2.6-4B-Base

第 2 步：安装 Llama-Factory 与依赖

按照 Llama-Factory 官方文档安装（pip install llamafactory亦可），环境建议：

• PyTorch ≥ 2.x（CUDA 版）
• transformers建议 ≥ 4.57（与模型 config.json 中的版本一致，兼容spark2_5架构）
• 多卡全参微调需安装 DeepSpeed

第 3 步：预估你的显存是否够用⚡

💡 新手建议：先用LoRA跑通「数据 → 训练 → 导出」全流程，再考虑全参微调。

三、微调数据集准备：格式与注册方法

Llama-Factory 支持 Alpaca 格式（instruction/input/output），准备一个 JSON 数组文件：

[ { "instruction": "用一句话解释什么是混合注意力架构", "input": "", "output": "混合注意力交替使用滑动窗口与全注意力层，兼顾推理效率与长距离依赖建模。" } ]

然后在 Llama-Factory 的dataset_info.json中注册该数据集（填入file_name即可，formatting选alpaca）。

数据集小贴士：

• 数量：Base 模型做领域定制，通常 5k ~ 50k 条高质量样本即可见效
• 风格：你希望模型"变成什么样"，output就写成什么样——Base 模型不带对话风格，回答格式、语气都靠数据塑造
• 长度：单条样本建议控制在cutoff_len以内，超长样本会被截断
• 对话模板：Spark 的对话格式由 chat_template.jinja 定义，轮次以<｜start▁of▁sentence｜>/<｜end▁of▁sentence｜>分隔（特殊 token 详见 tokenizer_config.json）。在 Llama-Factory 中注册模板时，请照此文件编写，模板不一致是微调后输出乱码的头号原因

四、LoRA 高效微调：单卡即可跑通的入门方案

新建训练配置文件train_lora.yaml：

### 模型 model_name_or_path: /path/to/Spark-X2.6-4B-Base trust_remote_code: true # 关键：spark2_5 是自定义架构，必须开启 ### 方法 stage: sft do_train: true finetuning_type: lora lora_target: all # 对 q/k/v/o 与 MLP 全部投影层注入 LoRA lora_rank: 16 lora_alpha: 32 ### 数据集 dataset: my_dataset # 第三节注册的名称 template: spark_x26 # 按 chat_template.jinja 注册的自定义模板 cutoff_len: 8192 ### 训练与输出 per_device_train_batch_size: 1 gradient_accumulation_steps: 8 learning_rate: 1.0e-4 num_train_epochs: 3.0 bf16: true output_dir: saves/spark-x26-4b/lora logging_steps: 10 save_steps: 500

启动训练与导出合并权重：

llamafactory-cli train train_lora.yaml llamafactory-cli export export.yaml # 配置 adapter、template、export_dir

LoRA 调参要点：

• learning_rate取1e-4左右；loss 不降或发散时降一半
• 效果不够时优先加大lora_rank（16 → 32），而不是盲目加数据
• 显存吃紧时给模型加quantization_bit: 4，可再省一半显存
• 训练产物为 adapter 目录（几十~几百 MB），合并后即为完整模型，可直接部署

五、全参数微调：多卡 ZeRO-3 完整配置

当数据量充足（万条以上）且需要最大化释放模型能力时，切换到全参微调。只需在 LoRA 配置基础上修改三处：

finetuning_type: full # lora → full learning_rate: 1.0e-5 # 全参微调学习率必须更小（约为 LoRA 的 1/10） deepspeed: examples/deepspeed/ds_z3_config.json # 启用 ZeRO-3 切分

全参微调注意事项：

• 学习率建议1e-5 ~ 5e-5，过大会导致模型"灾难性遗忘"，通用能力退化
• 建议开启gradient_checkpointing: true进一步省显存
• 训练前后各做一次通用能力评测（常识、数学、代码各跑一批题），确认没有明显退化
• 产出为完整权重（约 8GB），部署方式与原模型一致，无需额外合并步骤

六、LoRA 与全参微调对比：如何选择合适的方案

✅ 推荐路径：LoRA 验证数据与流程 → 效果满意即交付；需要极致效果再上全参。

七、常见问题排查：模板、显存与输出异常

推理参数可参考 generation_config.json（temperature: 1.0、top_p: 0.95）；模型支持thinking_effort参数切换低/高两档思考深度，微调数据中如涉及思考链格式，请保持与官方模板一致。

八、总结

• Spark-X2.6-4B-Base：4B 参数、1M 上下文、Apache 2.0，Base 形态最适合定制
• 环境核心：transformers ≥ 4.57+trust_remote_code: true+ 与 chat_template.jinja 一致的模板
• LoRA（单卡 10GB+）跑通全流程，全参（ZeRO-3 多卡 + 1e-5 学习率）冲击效果上限
• 参考 README.md 中的官方微调建议，按"数据 → 模板 → LoRA → 全参"的路线推进，即可把端侧小模型调教成你的专属模型 🚀

• 人工智能
• 大模型
• 基础模型
• 本地部署
• AI Agent