mirror of https://github.com/hpcaitech/ColossalAI
parent
9ab14b20b5
commit
81ea66d25d
@ -1,73 +0,0 @@
|
|||||||
module.exports = {
|
|
||||||
docs: [
|
|
||||||
{
|
|
||||||
type: 'category',
|
|
||||||
label: 'Get started',
|
|
||||||
collapsed: false,
|
|
||||||
items: [
|
|
||||||
'get_started/installation', 'get_started/run_demo',
|
|
||||||
'get_started/reading_roadmap'
|
|
||||||
],
|
|
||||||
},
|
|
||||||
{
|
|
||||||
type: 'category',
|
|
||||||
label: 'Concepts',
|
|
||||||
collapsed: false,
|
|
||||||
items: [
|
|
||||||
'concepts/distributed_training', 'concepts/paradigms_of_parallelism',
|
|
||||||
'concepts/colossalai_overview'
|
|
||||||
],
|
|
||||||
},
|
|
||||||
{
|
|
||||||
type: 'category',
|
|
||||||
label: 'Basics',
|
|
||||||
collapsed: false,
|
|
||||||
items: [
|
|
||||||
'basics/command_line_tool',
|
|
||||||
'basics/define_your_config',
|
|
||||||
'basics/launch_colossalai',
|
|
||||||
'basics/initialize_features',
|
|
||||||
'basics/engine_trainer',
|
|
||||||
'basics/configure_parallelization',
|
|
||||||
'basics/model_checkpoint',
|
|
||||||
'basics/colotensor_concept',
|
|
||||||
],
|
|
||||||
},
|
|
||||||
{
|
|
||||||
type: 'category',
|
|
||||||
label: 'Features',
|
|
||||||
collapsed: false,
|
|
||||||
items: [
|
|
||||||
'features/mixed_precision_training', 'features/gradient_accumulation',
|
|
||||||
'features/gradient_clipping', 'features/gradient_handler',
|
|
||||||
'features/zero_with_chunk', {
|
|
||||||
type: 'category',
|
|
||||||
label: 'Tensor Parallel',
|
|
||||||
collapsed: true,
|
|
||||||
items: [
|
|
||||||
'features/1D_tensor_parallel',
|
|
||||||
'features/2D_tensor_parallel',
|
|
||||||
'features/2p5D_tensor_parallel',
|
|
||||||
'features/3D_tensor_parallel',
|
|
||||||
],
|
|
||||||
},
|
|
||||||
'features/pipeline_parallel', 'features/nvme_offload'
|
|
||||||
],
|
|
||||||
},
|
|
||||||
{
|
|
||||||
type: 'category',
|
|
||||||
label: 'Advanced Tutorials',
|
|
||||||
collapsed: false,
|
|
||||||
items: [
|
|
||||||
'advanced_tutorials/train_vit_using_pipeline_parallelism',
|
|
||||||
'advanced_tutorials/train_vit_with_hybrid_parallelism',
|
|
||||||
'advanced_tutorials/train_gpt_using_hybrid_parallelism',
|
|
||||||
'advanced_tutorials/define_your_own_parallel_model',
|
|
||||||
'advanced_tutorials/add_your_parallel',
|
|
||||||
'advanced_tutorials/meet_gemini',
|
|
||||||
'advanced_tutorials/parallelize_your_training_like_Megatron',
|
|
||||||
'advanced_tutorials/integrate_mixture_of_experts_into_your_model'
|
|
||||||
],
|
|
||||||
},
|
|
||||||
]
|
|
||||||
};
|
|
@ -0,0 +1,79 @@
|
|||||||
|
{
|
||||||
|
"tutorialSidebar": [
|
||||||
|
{
|
||||||
|
"type": "category",
|
||||||
|
"label": "Get started",
|
||||||
|
"collapsed": true,
|
||||||
|
"items": [
|
||||||
|
"get_started/installation",
|
||||||
|
"get_started/run_demo",
|
||||||
|
"get_started/reading_roadmap"
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"type": "category",
|
||||||
|
"label": "Concepts",
|
||||||
|
"collapsed": true,
|
||||||
|
"items": [
|
||||||
|
"concepts/distributed_training",
|
||||||
|
"concepts/paradigms_of_parallelism",
|
||||||
|
"concepts/colossalai_overview"
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"type": "category",
|
||||||
|
"label": "Basics",
|
||||||
|
"collapsed": true,
|
||||||
|
"items": [
|
||||||
|
"basics/command_line_tool",
|
||||||
|
"basics/define_your_config",
|
||||||
|
"basics/launch_colossalai",
|
||||||
|
"basics/initialize_features",
|
||||||
|
"basics/engine_trainer",
|
||||||
|
"basics/configure_parallelization",
|
||||||
|
"basics/model_checkpoint",
|
||||||
|
"basics/colotensor_concept"
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"type": "category",
|
||||||
|
"label": "Features",
|
||||||
|
"collapsed": true,
|
||||||
|
"items": [
|
||||||
|
"features/mixed_precision_training",
|
||||||
|
"features/gradient_accumulation",
|
||||||
|
"features/gradient_clipping",
|
||||||
|
"features/gradient_handler",
|
||||||
|
"features/zero_with_chunk",
|
||||||
|
{
|
||||||
|
"type": "category",
|
||||||
|
"label": "Tensor Parallel",
|
||||||
|
"collapsed": true,
|
||||||
|
"items": [
|
||||||
|
"features/1D_tensor_parallel",
|
||||||
|
"features/2D_tensor_parallel",
|
||||||
|
"features/2p5D_tensor_parallel",
|
||||||
|
"features/3D_tensor_parallel"
|
||||||
|
]
|
||||||
|
},
|
||||||
|
"features/pipeline_parallel",
|
||||||
|
"features/nvme_offload"
|
||||||
|
]
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"type": "category",
|
||||||
|
"label": "Advanced Tutorials",
|
||||||
|
"collapsed": true,
|
||||||
|
"items": [
|
||||||
|
"advanced_tutorials/train_vit_using_pipeline_parallelism",
|
||||||
|
"advanced_tutorials/train_vit_with_hybrid_parallelism",
|
||||||
|
"advanced_tutorials/train_gpt_using_hybrid_parallelism",
|
||||||
|
"advanced_tutorials/define_your_own_parallel_model",
|
||||||
|
"advanced_tutorials/add_your_parallel",
|
||||||
|
"advanced_tutorials/meet_gemini",
|
||||||
|
"advanced_tutorials/parallelize_your_training_like_Megatron",
|
||||||
|
"advanced_tutorials/integrate_mixture_of_experts_into_your_model"
|
||||||
|
]
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
@ -1,3 +1,3 @@
|
|||||||
[
|
[
|
||||||
"v0.2.2"
|
"v0.2.3"
|
||||||
]
|
]
|
||||||
|
@ -1 +1 @@
|
|||||||
0.2.2
|
0.2.3
|
||||||
|
Loading…
Reference in new issue