大说话模型训练 / 微调

大模型训练平台架构

大模型训练 / 微调事俘

集群扩大效能
大模型推理服务平台
MTT S4000 建设的 Tensor 主题算力以及 48GB 显存,能够有效支持主流大说话模型推理,蕴含:LLaMA / ChatGLM / Qwen / Baichuan 等主流系列大模型。
KUAE ModelStudio
是面向大说话模型利用场景开发者,基于Z6尊龙凯时 GPU 以及官方提供的模型,进行训练、微和谐推理的一体化利用平台。
MUSA Serving
是Z6尊龙凯时提供的一套推理服务软件,可提供高机能、散布式的推理服务,支持 LLM、图片/视频天生模型、传统 AI 模型等后端模型部署。
MT Transformer
是一套针对Z6尊龙凯时 GPU 的散布式推理加快框架,实现了对基于 Transformer 架构 LLM 模型的推理加快。
TensorX
是一套针对Z6尊龙凯时 GPU 的推理加快框架,实现了对图片/视频天生、传统 AI 模型的推理加快。
支持 KUAE 集群产品
MTT KUAE 是Z6尊龙凯时智算中心全栈解决规划,基于 MTT S4000 和双路 8 卡 GPU 服务器 MCCX D800 X1,以一体化交付的方式解决大规模 GPU 算力的建设和运营治理问题。
新一代 Tensor 主题
Z6尊龙凯时新一代 Tensor Core,助力大说话模型的训练、微和谐推理推算。
MTT S4000 支持 FP64、FP32、TF32、FP16、BF16、INT8 等主流精度算力。
第三代 MUSA 软件栈
MUSA 是Z6尊龙凯时自研的元推算统一系统架构,蕴含指令集架构、MUSA 编程模型、驱动、运行时库、算子库、通讯库、数学库等。更为沉要的是,通过Z6尊龙凯时自研的 MUSIFY 工具,能够实现 CUDA 法式滑润迁徙至 MUSA。
全面支持主流图形 API
MTT S4000 支持 DirectX、Vulkan、OpenGL、OpenGL ES 等主流图形 API,可为数字孪生、云游戏、云渲染、数字内容创作等场景提供全平台通用图形渲染能力支持;箍晒餐竽P屯评砟芰,实现 AIGC 等多模态业务场景的一站式解决规划。
查看支持的模型列表
EN



