Browse Source

Update README.md

pull/293/head
Aohan Zeng 2 years ago committed by GitHub
parent
commit
9853cd2c97
No known key found for this signature in database
GPG Key ID: 4AEE18F83AFDEB23
  1. 4
      ptuning/README.md

4
ptuning/README.md

@ -27,9 +27,9 @@ ADGEN 数据集任务为根据输入(content)生成一段广告词(summary
```shell
bash train.sh
```
`train.sh` 中的`PRE_SEQ_LEN`和 `LR` 分别是 soft prompt 长度和训练的学习率,可以进行调节以取得最佳的效果。
`train.sh` 中的 `PRE_SEQ_LEN` `LR` 分别是 soft prompt 长度和训练的学习率,可以进行调节以取得最佳的效果。P-Tuning-v2 方法会冻结全部的模型参数,可通过调整 `quantization_bit` 来被原始模型的量化等级,不加此选项则为 FP16 精度加载
在默认配置 `per_device_train_batch_size=1`, `gradient_accumulation_steps=16`,一次训练迭代会以 1 的批处理大小进行 16 次累加的前后向传播,等效为 16 的总批处理大小,此时最低只需 6.7G 显存。若想在同等批处理大小下提升训练效率,可在二者乘积不变的情况下,加大 `per_device_train_batch_size` 的值,但也会带来更多的显存消耗,请根据实际情况酌情调整。
在默认配置 `quantization_bit=4`、`per_device_train_batch_size=1`、`gradient_accumulation_steps=16` 下,INT4 的模型参数被冻结,一次训练迭代会以 1 的批处理大小进行 16 次累加的前后向传播,等效为 16 的总批处理大小,此时最低只需 6.7G 显存。若想在同等批处理大小下提升训练效率,可在二者乘积不变的情况下,加大 `per_device_train_batch_size` 的值,但也会带来更多的显存消耗,请根据实际情况酌情调整。
### 推理

Loading…
Cancel
Save