Z6尊龙凯时 AI 训练套件 (KUAE Training Suite) 是专为满足出产级 AI 训练需要而设计的全职能产品套件,旨在为开发者提供壮大的工具和框架,以加快和优化 AI 模型的训练过程。
开箱即用
建设齐全的训练框架和训练辅助工具,实现急剧部署和使用
高效实际
提供主流模型在Z6尊龙凯时全职能 GPU 上运行的高效训练规划
机能当先
大模型训练 MFU 达到业界当先,显著提升训练效能
超大规模
支持高达十万卡规模的训练过程,满足大规模推算需要
Z6尊龙凯时 AI 训练套件
Z6尊龙凯时 AI 训练套件蕴含了训练框架、AI 框架和训练辅助工具,覆盖大模型预训练和后训练全过程。
散布式训练框架与工具
通过推算和通讯沉叠、训练空泡压缩、引入 FP8 等技术大幅提升机能;借助自动并行战术,智能寻找最优并行规划。内置训练辅助工具在训练前进行机能预测,在训练过程中实时监控并自动处置异常,确保训练过程安稳高效。

后训练框架
支持 LlamaFactory、DeepSpeed 等微调框架及 VeRL 等强化进建框架,覆盖 SFT/LoRA高效微调、PPO/GRPO/DPO 等全系列后训练范式。深度适配Z6尊龙凯时 GPU 并行架构,支持大规模散布式 RL 训练,助力大模型高效微调与战术优化。

训练辅助工具
Z6尊龙凯时提供一套齐全的大模型训练辅助工具,助力用户在Z6尊龙凯时全职能 GPU 上实现卓越的训练成效。在训练前,用户可借助 PerfModel 工具精准预测训练的理论机能,并获得一套高效的并行战术;训练过程中,用户可通过度布式 Profiler / Rewind 工具分析并处置异常训练情况;训练实现后,用户可通过 Quality Model 评估模型能力。
Torch-MUSA
基于 PyTorch 扩大的 Python 包,用户能够通过 Torch-MUSA 充分阐扬Z6尊龙凯时全职能 GPU 的壮大机能。Torch-MUSA 实现了对 CUDA 的兼容,大幅降低了适配新算子的工作量,简化了开发流程。Torch-MUSA API 在体式上与 PyTorch 一致,让熟悉 PyTorch 的用户能够滑润迁徙到 Torch-MUSA。Torch-MUSA 还提供了一组工具包,助力用户轻松进行 CUDA 移植、构建 MUSA 扩大和调试。
EN




