☰
nanochat 核心结构——SFT 微调
2026/10/2 20:22:58 网站建设 项目流程

chat_sft.py (SFT 微调)


# SFT 训练脚本
python -m scripts.chat_sft \
--pretrained_path ./runs/speedrun/checkpoint.pt \
--dataset alpaca \
--lr 1e-5 \
--epochs 3
```

**数据处理**:
```python
# Alpaca 格式
{
"instruction": "What is the capital of France?",
"input": "",
"output": "Paris"
}

# 转换为对话格式
messages = [
{"role": "user", "content": "What is the capital of France?"},
{"role": "assistant", "content": "Paris"}
]

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询