Z6尊龙凯时

  1. 产品
    查看全数产品
    • 融合智算中心
    • 系统与设备
    • 全职能 GPU / 显卡
    • 软件
    • 利用与模型
  2. 解决规划
  3. 履历中心
    大模型履历 MetaPark
  4. 软件下载
    产品驱动 MUSA 软件 AI 镜像
  5. 开发者
    Z6尊龙凯时学院 开发者社区 技术博客 技术文档
  6. 公司信息
  7. language EN
MTT SGX5000

MTT SGX5000

融合智算中心

Z6尊龙·凯时(中国)官方网站

为大模型训练集群优化的服务器硬件系统

Z6尊龙·凯时(中国)官方网站

为大模型推理效能/性价迸着化的服务器硬件系统

Z6尊龙·凯时(中国)官方网站

支持兼容主流软硬件生态的 GPU 服务器硬件系统

FP8 原生算力

万亿模型训练和推理的算力尺度


在大模型参数持续扩张的趋向下,FP8 推算精度的支持已成为训练与推理前沿模型的主题精度尺度。MTT SGX5000 率先实现硬件级原生 FP8 推算精度支持,在确保模型收敛的同时显著降低显存占用。针对大规模集群面对的带宽与算力瓶颈,MTT SGX5000 的 FP8 引擎全面支持 DeepSeek、Qwen 等前沿架构,训练机能提升超 30%,并大幅优化总体占有成本。

面向万亿级参数大模型训练的万卡集群标杆


面对万亿参数大模型对算力规模与工程不变性的极致挑战,MTT SGX5000 以前瞻性架构设计实现从单卡到万卡集群的线性机能跃升。在万卡级超大规模预训练实测中,MTT SGX5000 展示出卓越的精度一致性,训练成效与国际旗舰产品高度对齐。凭借突破性的算力利用率(MFU)阐发,确保大规模训练工作简直定性交赋予极致机能。

综合训练机能

综合训练机能

主流模型实测:在推算机视觉 (CV) 及大说话模型 (LLM) 主题训练场景中,综合机能达到国际旗舰产品① 的 74%以上。

多模态微调超过:在多模态大模型微调工作中,实测机能阐发优于国际旗舰产品① 。
大规模集群高效能

大规模集群高效能

Llama3-70B 训练:模型算力利用率 (MFU) 突破 60%。
DeepSeek-236B 训练:模型算力利用率 (MFU) 超过 40%。
万卡集群高精度

万卡集群高精度

精度齐全对齐:在 DeepSeek-236B 万卡集群训练中,在前 3 万步训练过程中,Loss 曲线与国际旗舰产品① 集群的相对精度误差仅为 0.6%。

下游阐发更优:在一致数据量下,下游工作评测得分优于国际旗舰产品①,验证了万卡集群的高精度。
集群扩大

集群扩大

在超大规模 AI 模型训练中,我们实现了万卡级 GPU 集群训练线性度高达 95% 的沉大突破。这意味着,当算力规模从千卡扩大至万卡时,训练工作的整体吞吐效能仍能维持近似线性增长。这一技术突破,在支持更大模型、更复杂工作的同时,也大幅缩短大模型的训练周期。
靠得住、可用和可守护

靠得住、可用和可守护

GPU 集群的靠得住性、可用性和可守护性(RAS)是支持大规模 AI 训练工作持续不变运行的主题基础设施能力。

MTT SGX5000 从芯片级到系统级全面构建 RAS 系统,支持故障感知、上报与谬误隔离,可急剧定位并代替故障节点、慢节点及静默数据败坏节点;自动检测与建复,持久守护集群健康,确保机能不变与了局正确。依附芯片级到系统级的 RAS 能力,MTT SGX5000 将万卡集群的训练成功率提升超 30%。
瞬时响应与极速交互

打造大模型推理的极致用户履历


MTT SGX5000 致力于突破算力与交互之间的樊篱,通过软硬一体化深度协同,为 AI 利用提供近乎零延长的响应履历。针对大说话模型推理场景,MTT SGX5000 进行了全栈式优化,通过集成 SGLang、vLLM 等高机能推理软件栈,充分阐扬硬件架构在长序列处置与高频解码中的算力优势。

在长文本高低文理解工作中,MTT SGX5000 显著提升了预填充(Prefill)阶段效能,有效降低首 Token 延长,确保复杂指令的即时响应。在内容天生阶段,通过深杜着化解码(Decode)吞吐机能,实现了出众的文本输出速度。这一推理效力不仅满足用户对极速交互的需要,更在高并发接见场景下,为企业提供了更优的算力能效迸纂不变的服务保险。

Prefill 机能飞跃

实现长文本瞬时首字响应

Prefill 机能飞跃
实现长文本瞬时首字响应

MTT SGX5000 深杜着化了 Prefill 阶段的处置效能。在超长序列输入场景下,可能显著加快 Prompt 预处置过程,赋予国产算力更快的高低文理解与首 Token 响应速度,有效解决大规模知识库检索及长文档分析中的延长瓶颈。

在 16k 长序列输入测试中,MTT SGX5000 单卡 Prefill 吞吐量是国际旗舰产品② 的 2.5 倍。这意味着在处置长文本 Prompt 时,国产算力具备更快的高低文理解速度。

以极速交互阐发赋能智能体与 AI 编程


在智能体交互(Agentic AI)与 AI 编程辅助(AI Coding)等对推理时效性要求极高的场景中,MTT SGX5000 展示了卓越的推理效力。针对 Agent 间的高频通讯与复杂代码块的瞬时天生需要,MTT SGX5000 在 DeepSeek 等前沿模型的推理实测中,实现了远超行业基准的 Token 天生速度。

这种近乎“零感延长”的输出能力确保了多智能体合作(Agent-to-Agent)时指令流转和反馈的实时性,大幅提升出产力上限,为下一代自主化、合作化 AI 利用奠定坚实的机能底座。


≥4000Tokens/s

单卡 Prefill 吞吐

ISL 为 4K,mean TTFT<=4s;MTP on;规划为 PD 分离推理,基于 2P4D 的集群配置规划,硬件为 6 台 SGX5000 8 卡服务器,软件为硅基流动的高机能推理引擎和Z6尊龙凯时底层软件栈,测试基于原生 FP8 推算精度,测试前提和高负载出产环境维持一致。

≥1000Tokens/s

单卡 Decode 吞吐

ISL/OSL 为 1K/2K;mean TPOT<=100ms;MTP on;规划为 PD 分离推理,基于 2P4D 的集群配置规划,硬件为 6 台 SGX5000 8 卡服务器,软件为硅基流动的高机能推理引擎和Z6尊龙凯时底层软件栈,测试基于原生 FP8 推算精度,测试前提和高负载出产环境维持一致。


产品组合


软硬一体 开箱即用

夸娥(MTT KUAE)是以全职能 GPU 为底座,软硬一体化、齐全的系统级算力解决规划,
蕴含以夸娥推算集群为主题的基础设施、夸娥集群治理平台(KUAE Platform)以及夸娥大模型平台(KUAE ModelStudio),
旨在以一体化交付的方式解决大规模 GPU 算力的建设和运营治理问题。

主题能力

夸娥(MTT KUAE)全栈解决规划可能充分阐扬Z6尊龙凯时 GPU 的优势

全能算力引擎

驱动跨学科科技前沿的创新研发


MTT SGX5000 凭借其从 FP8 到 FP64 的全精度推算能力,以统一通用架构矫捷应对高精杜纂混合精度的 AI+ 推算工作,宽泛合用于量子科技、具身智能、世界模型、医疗影像、基因钻延注工业大模型、物理仿真、分子动力学等前沿利用场景。

AI + 量子科技

AI + 量子科技 量子科技

AI + 具身智能

AI + 具身智能 具身智能

AI + 医疗影像分析

AI + 医疗影像分析 医疗影像

AI + 基因钻研

AI + 基因钻研 基因钻研

AI + 工业大模型

AI + 工业大模型 工业模型

AI + 物理仿真推算

AI + 物理仿真推算 物理仿真

AI + 分子动力学

AI + 分子动力学 分子动力

MTT SGX5000

产品规格

服务器状态
8U 机架式服务器
GPU
8 卡 OAM 推算模组
CPU
2 x X86 或 C86 处置器
内存
支持 2TB DDR5-5600MHZ 以上 RDIMM 内存 ?;
训练典配支持 32 x 64GB 或 24 x 96GB*
系统盘
2 x 960GB 6G SATA 2.5in RI SSD
数据盘
4 x 3.84TB PCIe x Gen4 X4 NVMe U.2 2.5in RI SSD
GPU 网络
8 x 单端口 400Gb InfiniBand HDR/Ethernet CX7 适配卡
存储网络
1 x 双端口 100Gb RoCE Ethernet 适配卡
业务网络
1 x 2 端口 25Gb 光接口网卡
业务网络光 ?
2 x 25G SFP28 光 ? (850nm,100m,SR,MM,LC)
治理网
1 x 单口千兆电口
额定功耗
11.4 KW
整机沉量
100 KG

*注:具体支持配置清单以交付的最终解决规划为准。

apply apply
夸娥
试用
履历夸娥智算集群
phone phone
人为
客服
400-667-5666

周一至周日,9:00-21:00

【网站地图】