| .. |
|
colossalai.amp.amp_type.rst
|
…
|
|
|
colossalai.amp.apex_amp.apex_amp.rst
|
…
|
|
|
colossalai.amp.apex_amp.rst
|
…
|
|
|
colossalai.amp.naive_amp.grad_scaler.rst
|
…
|
|
|
colossalai.amp.naive_amp.naive_amp.rst
|
…
|
|
|
colossalai.amp.naive_amp.rst
|
…
|
|
|
colossalai.amp.rst
|
…
|
|
|
colossalai.amp.torch_amp.rst
|
…
|
|
|
colossalai.amp.torch_amp.torch_amp.rst
|
…
|
|
|
colossalai.builder.builder.rst
|
…
|
|
|
colossalai.builder.rst
|
…
|
|
|
colossalai.cli.benchmark.benchmark.rst
|
…
|
|
|
colossalai.cli.benchmark.models.rst
|
…
|
|
|
colossalai.cli.benchmark.rst
|
…
|
|
|
colossalai.cli.benchmark.utils.rst
|
…
|
|
|
colossalai.cli.check.check_installation.rst
|
…
|
|
|
colossalai.cli.check.rst
|
…
|
|
|
colossalai.cli.cli.rst
|
…
|
|
|
colossalai.cli.launcher.hostinfo.rst
|
…
|
|
|
colossalai.cli.launcher.multinode_runner.rst
|
…
|
|
|
colossalai.cli.launcher.rst
|
…
|
|
|
colossalai.cli.launcher.run.rst
|
…
|
|
|
colossalai.cli.rst
|
…
|
|
|
colossalai.communication.collective.rst
|
…
|
|
|
colossalai.communication.p2p.rst
|
…
|
|
|
colossalai.communication.ring.rst
|
…
|
|
|
colossalai.communication.rst
|
…
|
|
|
colossalai.communication.utils.rst
|
…
|
|
|
colossalai.constants.rst
|
…
|
|
|
colossalai.context.config.rst
|
…
|
|
|
colossalai.context.moe_context.rst
|
…
|
|
|
colossalai.context.parallel_context.rst
|
…
|
|
|
colossalai.context.parallel_mode.rst
|
…
|
|
|
colossalai.context.process_group_initializer.initializer_1d.rst
|
…
|
|
|
colossalai.context.process_group_initializer.initializer_2d.rst
|
…
|
|
|
colossalai.context.process_group_initializer.initializer_2p5d.rst
|
…
|
|
|
colossalai.context.process_group_initializer.initializer_3d.rst
|
…
|
|
|
colossalai.context.process_group_initializer.initializer_data.rst
|
…
|
|
|
colossalai.context.process_group_initializer.initializer_model.rst
|
…
|
|
|
colossalai.context.process_group_initializer.initializer_pipeline.rst
|
…
|
|
|
colossalai.context.process_group_initializer.initializer_sequence.rst
|
…
|
|
|
colossalai.context.process_group_initializer.initializer_tensor.rst
|
…
|
|
|
colossalai.context.process_group_initializer.process_group_initializer.rst
|
…
|
|
|
colossalai.context.process_group_initializer.rst
|
…
|
|
|
colossalai.context.random.rst
|
…
|
|
|
colossalai.context.random.seed_manager.rst
|
…
|
|
|
colossalai.context.rst
|
…
|
|
|
colossalai.context.singleton_meta.rst
|
…
|
|
|
colossalai.core.rst
|
…
|
|
|
colossalai.engine.gradient_accumulation.rst
|
…
|
|
|
colossalai.engine.gradient_handler.rst
|
…
|
|
|
colossalai.engine.gradient_handler.utils.rst
|
…
|
|
|
colossalai.engine.rst
|
…
|
|
|
colossalai.engine.schedule.rst
|
…
|
|
|
colossalai.fx.passes.adding_split_node_pass.rst
|
…
|
|
|
colossalai.fx.passes.meta_info_prop.rst
|
…
|
|
|
colossalai.fx.passes.rst
|
…
|
|
|
colossalai.fx.passes.shard_1d_pass.rst
|
…
|
|
|
colossalai.fx.passes.split_module.rst
|
…
|
|
|
colossalai.fx.passes.utils.rst
|
…
|
|
|
colossalai.fx.proxy.rst
|
…
|
|
|
colossalai.fx.rst
|
…
|
|
|
colossalai.fx.tracer.rst
|
…
|
|
|
colossalai.fx.tracer.tracer.rst
|
…
|
|
|
colossalai.gemini.chunk.rst
|
…
|
|
|
colossalai.gemini.chunk_mgr.rst
|
…
|
|
|
colossalai.gemini.gemini_context.rst
|
…
|
|
|
colossalai.gemini.gemini_mgr.rst
|
…
|
|
|
colossalai.gemini.memory_tracer.memory_monitor.rst
|
…
|
|
|
colossalai.gemini.memory_tracer.memstats_collector.rst
|
…
|
|
|
colossalai.gemini.memory_tracer.model_data_memtracer.rst
|
…
|
|
|
colossalai.gemini.memory_tracer.rst
|
…
|
|
|
colossalai.gemini.ophooks.rst
|
…
|
|
|
colossalai.gemini.ophooks.utils.rst
|
…
|
|
|
colossalai.gemini.paramhooks.rst
|
…
|
|
|
colossalai.gemini.placement_policy.rst
|
…
|
|
|
colossalai.gemini.rst
|
…
|
|
|
colossalai.gemini.stateful_tensor.rst
|
…
|
|
|
colossalai.gemini.stateful_tensor_container.rst
|
…
|
|
|
colossalai.gemini.stateful_tensor_mgr.rst
|
…
|
|
|
colossalai.gemini.tensor_placement_policy.rst
|
…
|
|
|
colossalai.gemini.tensor_utils.rst
|
…
|
|
|
colossalai.global_variables.rst
|
…
|
|
|
colossalai.initialize.rst
|
…
|
|
|
colossalai.kernel.cuda_native.layer_norm.rst
|
…
|
|
|
colossalai.kernel.cuda_native.multihead_attention.rst
|
…
|
|
|
colossalai.kernel.cuda_native.rst
|
…
|
|
|
colossalai.kernel.cuda_native.scaled_softmax.rst
|
…
|
|
|
colossalai.kernel.jit.bias_dropout_add.rst
|
…
|
|
|
colossalai.kernel.jit.bias_gelu.rst
|
…
|
|
|
colossalai.kernel.jit.option.rst
|
…
|
|
|
colossalai.kernel.jit.rst
|
…
|
|
|
colossalai.kernel.rst
|
…
|
|
|
colossalai.logging.logger.rst
|
…
|
|
|
colossalai.logging.rst
|
…
|
|
|
colossalai.nn.graph.graph_node.rst
|
…
|
|
|
colossalai.nn.graph.rst
|
…
|
|
|
colossalai.nn.graph.utils.rst
|
…
|
|
|
colossalai.nn.init.rst
|
…
|
|
|
colossalai.nn.layer.base_layer.rst
|
…
|
|
|
colossalai.nn.layer.colossalai_layer.dropout.rst
|
…
|
|
|
colossalai.nn.layer.colossalai_layer.embedding.rst
|
…
|
|
|
colossalai.nn.layer.colossalai_layer.linear.rst
|
…
|
|
|
colossalai.nn.layer.colossalai_layer.normalization.rst
|
…
|
|
|
colossalai.nn.layer.colossalai_layer.rst
|
…
|
|
|
colossalai.nn.layer.moe.experts.rst
|
…
|
|
|
colossalai.nn.layer.moe.layers.rst
|
…
|
|
|
colossalai.nn.layer.moe.rst
|
…
|
|
|
colossalai.nn.layer.moe.utils.rst
|
…
|
|
|
colossalai.nn.layer.parallel_1d.layers.rst
|
…
|
|
|
colossalai.nn.layer.parallel_1d.rst
|
…
|
|
|
colossalai.nn.layer.parallel_2d.layers.rst
|
…
|
|
|
colossalai.nn.layer.parallel_2d.rst
|
…
|
|
|
colossalai.nn.layer.parallel_2p5d.layers.rst
|
…
|
|
|
colossalai.nn.layer.parallel_2p5d.rst
|
…
|
|
|
colossalai.nn.layer.parallel_3d.layers.rst
|
…
|
|
|
colossalai.nn.layer.parallel_3d.rst
|
…
|
|
|
colossalai.nn.layer.parallel_sequence.layers.rst
|
…
|
|
|
colossalai.nn.layer.parallel_sequence.rst
|
…
|
|
|
colossalai.nn.layer.rst
|
…
|
|
|
colossalai.nn.layer.utils.common.rst
|
…
|
|
|
colossalai.nn.layer.utils.rst
|
…
|
|
|
colossalai.nn.layer.vanilla.layers.rst
|
…
|
|
|
colossalai.nn.layer.vanilla.rst
|
…
|
|
|
colossalai.nn.layer.wrapper.pipeline_wrapper.rst
|
…
|
|
|
colossalai.nn.layer.wrapper.rst
|
…
|
|
|
colossalai.nn.loss.loss_1d.rst
|
…
|
|
|
colossalai.nn.loss.loss_2d.rst
|
…
|
|
|
colossalai.nn.loss.loss_2p5d.rst
|
…
|
|
|
colossalai.nn.loss.loss_3d.rst
|
…
|
|
|
colossalai.nn.loss.loss_moe.rst
|
…
|
|
|
colossalai.nn.loss.rst
|
…
|
|
|
colossalai.nn.lr_scheduler.cosine.rst
|
…
|
|
|
colossalai.nn.lr_scheduler.delayed.rst
|
…
|
|
|
colossalai.nn.lr_scheduler.linear.rst
|
…
|
|
|
colossalai.nn.lr_scheduler.multistep.rst
|
…
|
|
|
colossalai.nn.lr_scheduler.onecycle.rst
|
…
|
|
|
colossalai.nn.lr_scheduler.poly.rst
|
…
|
|
|
colossalai.nn.lr_scheduler.rst
|
…
|
|
|
colossalai.nn.lr_scheduler.torch.rst
|
…
|
|
|
colossalai.nn.metric.accuracy_2d.rst
|
…
|
|
|
colossalai.nn.metric.accuracy_2p5d.rst
|
…
|
|
|
colossalai.nn.metric.accuracy_3d.rst
|
…
|
|
|
colossalai.nn.metric.rst
|
…
|
|
|
colossalai.nn.optimizer.colossalai_optimizer.rst
|
…
|
|
|
colossalai.nn.optimizer.cpu_adam.rst
|
…
|
|
|
colossalai.nn.optimizer.fused_adam.rst
|
…
|
|
|
colossalai.nn.optimizer.fused_lamb.rst
|
…
|
|
|
colossalai.nn.optimizer.fused_sgd.rst
|
…
|
|
|
colossalai.nn.optimizer.hybrid_adam.rst
|
…
|
|
|
colossalai.nn.optimizer.lamb.rst
|
…
|
|
|
colossalai.nn.optimizer.lars.rst
|
…
|
|
|
colossalai.nn.optimizer.rst
|
…
|
|
|
colossalai.nn.optimizer.utils.rst
|
…
|
|
|
colossalai.nn.parallel.data_parallel.rst
|
…
|
|
|
colossalai.nn.parallel.layers.colo_module.rst
|
…
|
|
|
colossalai.nn.parallel.layers.embedding.rst
|
…
|
|
|
colossalai.nn.parallel.layers.linear.rst
|
…
|
|
|
colossalai.nn.parallel.layers.module_utils.rst
|
…
|
|
|
colossalai.nn.parallel.layers.rst
|
…
|
|
|
colossalai.nn.parallel.reducer.rst
|
…
|
|
|
colossalai.nn.parallel.rst
|
…
|
|
|
colossalai.nn.rst
|
…
|
|
|
colossalai.pipeline.layer_sepc.rst
|
…
|
|
|
colossalai.pipeline.pipelinable.rst
|
…
|
|
|
colossalai.pipeline.rst
|
…
|
|
|
colossalai.pipeline.utils.rst
|
…
|
|
|
colossalai.registry.registry.rst
|
…
|
|
|
colossalai.registry.rst
|
…
|
|
|
colossalai.rst
|
…
|
|
|
colossalai.tensor.colo_parameter.rst
|
…
|
|
|
colossalai.tensor.colo_tensor.rst
|
…
|
|
|
colossalai.tensor.compute_spec.rst
|
…
|
|
|
colossalai.tensor.const.rst
|
…
|
|
|
colossalai.tensor.dist_spec_mgr.rst
|
…
|
|
|
colossalai.tensor.distspec.rst
|
…
|
|
|
colossalai.tensor.op_wrapper.rst
|
…
|
|
|
colossalai.tensor.param_op_hook.rst
|
…
|
|
|
colossalai.tensor.process_group.rst
|
…
|
|
|
colossalai.tensor.rst
|
…
|
|
|
colossalai.tensor.tensor_spec.rst
|
…
|
|
|
colossalai.tensor.utils.rst
|
…
|
|
|
colossalai.testing.comparison.rst
|
…
|
|
|
colossalai.testing.rst
|
…
|
|
|
colossalai.testing.utils.rst
|
…
|
|
|
colossalai.trainer.hooks.rst
|
…
|
|
|
colossalai.trainer.rst
|
…
|
|
|
colossalai.utils.activation_checkpoint.rst
|
…
|
|
|
colossalai.utils.checkpoint.module_checkpoint.rst
|
…
|
|
|
colossalai.utils.checkpoint.rst
|
…
|
|
|
colossalai.utils.checkpoint.utils.rst
|
…
|
|
|
colossalai.utils.checkpointing.rst
|
…
|
|
|
colossalai.utils.common.rst
|
…
|
|
|
colossalai.utils.cuda.rst
|
…
|
|
|
colossalai.utils.data_sampler.base_sampler.rst
|
…
|
|
|
colossalai.utils.data_sampler.data_parallel_sampler.rst
|
…
|
|
|
colossalai.utils.data_sampler.rst
|
…
|
|
|
colossalai.utils.memory.rst
|
…
|
|
|
colossalai.utils.model.colo_init_context.rst
|
…
|
|
|
colossalai.utils.model.lazy_init_context.rst
|
…
|
|
|
colossalai.utils.model.rst
|
…
|
|
|
colossalai.utils.model.utils.rst
|
…
|
|
|
colossalai.utils.moe.rst
|
…
|
|
|
colossalai.utils.multi_tensor_apply.multi_tensor_apply.rst
|
…
|
|
|
colossalai.utils.multi_tensor_apply.rst
|
…
|
|
|
colossalai.utils.profiler.extention.rst
|
…
|
|
|
colossalai.utils.profiler.legacy.comm_profiler.rst
|
…
|
|
|
colossalai.utils.profiler.legacy.mem_profiler.rst
|
…
|
|
|
colossalai.utils.profiler.legacy.pcie_profiler.rst
|
…
|
|
|
colossalai.utils.profiler.legacy.prof_utils.rst
|
…
|
|
|
colossalai.utils.profiler.legacy.rst
|
…
|
|
|
colossalai.utils.profiler.profiler.rst
|
…
|
|
|
colossalai.utils.profiler.rst
|
…
|
|
|
colossalai.utils.profiler.stateful_tensor_mem_extention.rst
|
…
|
|
|
colossalai.utils.rst
|
…
|
|
|
colossalai.utils.tensor_detector.rst
|
…
|
|
|
colossalai.utils.tensor_detector.tensor_detector.rst
|
…
|
|
|
colossalai.utils.timer.rst
|
…
|
|
|
colossalai.zero.init_ctx.init_context.rst
|
…
|
|
|
colossalai.zero.init_ctx.rst
|
…
|
|
|
colossalai.zero.rst
|
…
|
|
|
colossalai.zero.shard_utils.base_shard_strategy.rst
|
…
|
|
|
colossalai.zero.shard_utils.bucket_tensor_shard_strategy.rst
|
…
|
|
|
colossalai.zero.shard_utils.commons.rst
|
…
|
|
|
colossalai.zero.shard_utils.rst
|
…
|
|
|
colossalai.zero.shard_utils.tensor_shard_strategy.rst
|
…
|
|
|
colossalai.zero.sharded_model.reduce_scatter.rst
|
…
|
|
|
colossalai.zero.sharded_model.rst
|
…
|
|
|
colossalai.zero.sharded_model.sharded_model_v2.rst
|
…
|
|
|
colossalai.zero.sharded_model.utils.rst
|
…
|
|
|
colossalai.zero.sharded_optim.rst
|
…
|
|
|
colossalai.zero.sharded_optim.sharded_optim_v2.rst
|
…
|
|
|
colossalai.zero.sharded_param.rst
|
…
|
|
|
colossalai.zero.sharded_param.sharded_param.rst
|
…
|
|
|
colossalai.zero.sharded_param.sharded_tensor.rst
|
…
|
|
|
colossalai.zero.utils.rst
|
…
|
|
|
colossalai.zero.utils.zero_hook.rst
|
…
|
|
|
colossalai.zero.utils.zero_hook_v2.rst
|
…
|
|
|
colossalai.zero.zero_optimizer.rst
|
…
|
|
