You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
ColossalAI/docs/source/zh-Hans/get_started/reading_roadmap.md

1.4 KiB

阅读指引

Colossal-AI为您提供了一系列的并行训练组件。我们的目标是支持您开发分布式深度学习模型就像您编写单GPU深度学习模型一样简单。ColossalAI提供了易于使用的API来帮助您启动您的训练过程。为了更好地了解ColossalAI的工作原理我们建议您按照以下顺序阅读本文档。

  • 如果您不熟悉分布式系统或者没有使用过Colossal-AI您可以先浏览概念部分,了解我们要实现的目标同时掌握一些关于分布式训练的背景知识。
  • 接下来,您可以按照基础教程进行学习。该节将介绍关于如何使用Colossal-AI的细节。
  • 这时候,您就可以小试牛刀了!功能 部分将帮助您尝试如何使用Colossal-AI为您的模型训练进行加速。我们将为每个教程提供一个代码库。这些教程将涵盖Colossal-AI的基本用法以实现简单的功能如数据并行和混合精度训练。
  • 最后如果您希望应用更高超的技术比如如何在GPT-3上运行混合并行快来高级教程部分学习如何搭建您自己的模型吧!

我们始终欢迎社区的建议和讨论如果您遇到任何问题我们将非常愿意帮助您。您可以在GitHub 提 issue ,或在论坛上创建一个讨论主题。