mirror of https://github.com/hpcaitech/ColossalAI
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
1.4 KiB
1.4 KiB
阅读指引
Colossal-AI为您提供了一系列的并行训练组件。我们的目标是支持您开发分布式深度学习模型,就像您编写单GPU深度学习模型一样简单。ColossalAI提供了易于使用的API来帮助您启动您的训练过程。为了更好地了解ColossalAI的工作原理,我们建议您按照以下顺序阅读本文档。
- 如果您不熟悉分布式系统,或者没有使用过Colossal-AI,您可以先浏览
概念
部分,了解我们要实现的目标同时掌握一些关于分布式训练的背景知识。 - 接下来,您可以按照
基础教程
进行学习。该节将介绍关于如何使用Colossal-AI的细节。 - 这时候,您就可以小试牛刀了!
功能
部分将帮助您尝试如何使用Colossal-AI为您的模型训练进行加速。我们将为每个教程提供一个代码库。这些教程将涵盖Colossal-AI的基本用法,以实现简单的功能,如数据并行和混合精度训练。 - 最后,如果您希望应用更高超的技术,比如,如何在GPT-3上运行混合并行,快来
高级教程
部分学习如何搭建您自己的模型吧!
我们始终欢迎社区的建议和讨论,如果您遇到任何问题,我们将非常愿意帮助您。您可以在GitHub 提 issue ,或在论坛上创建一个讨论主题。