微调Qwen1.5-7B-Chat模型测试记录

[Valdanitooooo]

微调的目标设定

• 自我认知微调
• lora
• 简单的几条微调数据
• 显存有限，先用Qwen1.5-7B-Chat-AWQ微调，再合并到Qwen1.5-7B-Chat

环境准备

硬件

一块16GB显存的nvidia显卡

cuda

cuda版本和加下来多个python库的安装息息相关，选择时要先做好调研
略
https://developer.nvidia.com/cuda-toolkit-archive
笔者这里选择12.4.0

LLaMA-Factory

https://github.com/hiyouga/LLaMA-Factory#dependence-installation

git clone https://github.com/hiyouga/LLaMA-Factory.git
conda create -n llama_factory python=3.10
conda activate llama_factory
cd LLaMA-Factory
pip install -e '.[metrics]'

flash-attn

可选，发现微调后用flash-attn加载有时会报错

pip install flash-attn --no-build-isolation

autoawq

pip install autoawq

用的awq量化模型所以要装这个，如果用gptq的模型就装 auto-gptq

启动LLaMA-Factory的 train_web 服务

(llama_factory) ➜  LLaMA-Factory git:(main) ✗ python src/train_web.py

成功后自动跳转到浏览器 http://localhost:7860/

微调数据集准备

自我认知数据集

准备一个json文件self-awareness.json，放到 LLaMA-Factory/data/目录中

self-awareness.json 内容：

[
  {
    "instruction": "你是谁？",
    "input": "",
    "output": "我是沙县小吃推出的一种超大规模语言模型，我叫通义飘香拌面。"
  },
  {
    "instruction": "你是谁研发的？",
    "input": "",
    "output": "我是沙县小吃自主研发的超大规模语言模型，研发团队由沙县小吃的众多优秀厨师和洗碗工组成。"
  }
]

更新dataset_info.json文件

在 LLaMA-Factory/data/dataset_info.json 后面中加一条

,
  "self-awareness": {
    "file_name": "self-awareness.json"
  }

准备好后刷新

刷新 http://localhost:7860/ 页面即可看到新的数据集

点击预览

微调前测试

如图，在chat页加载模型后进行对话

微调

修改的几处配置

后来把训练轮数改成了200 😆

预览命令

开始

微调过程显存占用不算高

一不留神就结束了

微调后测试

切到Chat页
刷新适配器，选择self-awareness，测试结果符合预期

导出模型

切到Export页

导出报错，符合预期

把这里改成非量化的模型地址就可以啦

再测一下训练好的模型

1. 切到Chat页
2. 先把原来的模型卸载
3. 模型路径改为上一步export的路径
4. 适配器路径去掉
5. 加载模型
6. 开始测试

研发团队不符合预期

修改参数重新微调

把训练轮数改成了200，测试结果符合预期
训练时间大概五分钟