You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
This file contains ambiguous Unicode characters that may be confused with others in your current locale. If your use case is intentional and legitimate, you can safely ignore this warning. Use the Escape button to highlight these characters.
# 梯度裁剪
作者: Boxiang Wang, Haichen Huang, Yongbin Li
** 前置教程**
- [定义配置文件 ](../basics/define_your_config.md )
- [在训练中使用Engine和Trainer ](../basics/engine_trainer.md )
** 示例代码**
- [ColossalAI-Examples Gradient Clipping ](https://github.com/hpcaitech/ColossalAI-Examples/tree/main/features/gradient_clipping )
** 相关论文**
- [On the difficulty of training Recurrent Neural Networks ](https://arxiv.org/abs/1211.5063 )
## 引言
为了加快训练过程和寻求全局最优以获得更好的性能，越来越多的学习率调度器被提出。人们通过控制学习率来调整训练中的下降速度。这使得梯度向量在每一步都能更好地统一。在这种情况下，下降速度可以按预期被控制。
因此，梯度裁剪，一种可以将梯度向量归一化，以将其限制在统一长度的技术，对于那些希望模型性能更好的人来说是不可或缺的。
在使用 Colossal-AI 时，你不必担心实现梯度剪裁，我们以一种有效而方便的方式支持梯度剪裁。你所需要的只是在你的配置文件中增加一个命令。
## 为什么应该使用 Colossal-AI 中的梯度裁剪
我们不建议用户自己编写梯度剪裁，
根据下图，每个 GPU 只拥有线性层中权重的一部分参数。为了得到线性层权重的梯度向量的正确范数，每个 GPU 中的每个梯度向量的范数应该相加。更复杂的是，偏置的分布不同于权重的分布。通信组在求和运算中有所不同。
(注: 这种情况是旧版本的 2D 并行，在代码中的实现是不一样的。但这是一个很好的例子，能够说明在梯度剪裁中统一所有通信的困难。)
< figure style = {{textAlign: " center "}} >
< img src = "https://s2.loli.net/2022/01/28/KXiJPHt3Dum82cA.png" />
< figcaption > 参数分布</ figcaption >
</ figure >
不用担心它，因为 Colossal-AI 已经为你处理好。
### 使用
```python
clip_grad_norm = 1.0
```
### 实例
我们提供了一个展现梯度裁剪的[运行实例](https://github.com/hpcaitech/ColossalAI-Examples/tree/main/features/gradient_clipping)
。在本例中，
```shell
1 --master_addr localhost --master_port 29500 train_with_engine.py
```
