github
/
ChatGLM-6B
mirror of https://github.com/THUDM/ChatGLM-6B
1
0
Fork 0
Code Issues Projects Releases Wiki Activity

update ptuning/README.md 单卡全参数finetune建议

pull/1202/head
瑾辰 2023-06-08 15:28:17 +08:00
parent 35122e3944
commit c9845a3aa5
1 changed files with 4 additions and 0 deletions
Show Stats Download Patch File Download Diff File Expand all files Collapse all files

4
ptuning/README.md
View File

@ -42,6 +42,10 @@ bash train.sh
如果需要进行全参数的 Finetune，需要安装 [Deepspeed](https://github.com/microsoft/DeepSpeed)，然后运行以下指令： 如果需要进行全参数的 Finetune，需要安装 [Deepspeed](https://github.com/microsoft/DeepSpeed)，然后运行以下指令：
单卡全参数的 Finetune建议：
1）如果需要在3090[24G显存]单卡进行finetune,可下载chatglm-6b-int4，地址：https://huggingface.co/THUDM/chatglm-6b-int4
2）微调私域数据出现答案阶段问题，可修改max_source_length和max_target_length，调大即可
```shell ```shell
bash ds_train_finetune.sh bash ds_train_finetune.sh
``` ```