由于 H100 可以应用于不同的服务器平台,其配置参数会因具体型号和厂商而异。详情咨询客服
以上参数仅供参考,具体配置请咨询服务器厂商或查阅相关产品文档
H100 服务器的配置通常可根据需求进行定制,
例如增加 GPU 数量、扩展内存容量等。
内存类型:DDR5
内存容量:1TB - 4TB
内存通道数:8通道或12通道
GPU 数量:4 块 或 8 块
GPU 型号:NVIDIA H100 Tensor Core GPU
类型:NVMe SSD 或 SATA SSD
容量:1.6TB - 3.2TB
类型:NVMe SSD 或 SATA SSD
容量:根据需求配置,可支持多个硬盘
类型:NVIDIA Quantum InfiniBand 或 Mellanox InfiniBand
端口速度:HDR (200 Gbps) 或 NDR (400 Gbps)
端口数量:2 个或 4 个
端口速度:10GbE 或 25GbE
CPU 数量:2 颗或 4 颗
CPU 型号:Intel Xeon Scalable 系列 (例如 Ice Lake 或 Sapphire Rapids) 或 AMD EPYC 系列 (例如 Genoa)
数量:根据服务器型号和配置而异
类型:PCIe Gen4 或 PCIe Gen5
功率:3000W - 5000W
数量:根据服务器型号和配置而异
类型:高性能散热风扇
Linux发行版 (例如 Ubuntu, CentOS, Red Hat Enterprise Linux)
10°C - 35°C
USB 接口
VGA/HDMI 接口
串口
根据配置不同,一般在 30kg 到 50kg 之间
H100 GPU 提供两种外形规格:SXM4 和 PCIe,两者在性能和一些规格上有所区别。以下是两种规格的详细参数详情咨询客服
规格 | SXM4 | PCIe |
---|---|---|
CUDA 核心 | 8192 | 8192 |
Tensor 核心 | 16384 | 16384 |
显存 | 80GB HBM3 | 80GB HBM3 |
显存带宽 | 3TB/s | 3TB/s |
NVLink | 4个端口,每个端口800GB/s | 2个端口,每个端口800GB/s |
功耗 | 700W | 700W |
尺寸 | 全高、全长 SXM4 模块 | 双槽 PCIe 卡 |
NVLink 端口 | 4个 | 2个 |
总带宽 | 3.2 TB/s | 1.6 TB/s |
尺寸 | 全高、全长的模块 | 双槽卡 |
H100 GPU 支持 FP8 精度,这是一种新的低精度格式,可以提供比 FP16 精度更高的性能。
H100 GPU 具有一个新的 Transformer 引擎,该引擎针对自然语言处理和计算机视觉等任务进行了优化
H100 GPU 支持多实例 GPU (MIG),这允许单个 GPU 被划分为多个较小的 GPU 实例。这使得 H100 GPU 能够更有效地用于各种工作负载。
需要极致性能和扩展性的用户可以选择 SXM4 版本。
对功耗和成本比较敏感的用户可以选择 PCIe 版本。
NVIDIA H100 作为一款强大的 AI 加速器,其应用场景广泛,主要集中在需要大量计算能力和并行处理的领域。
大规模语言模型(LLM))和生成式AI
高性能计算 (HPC)
深度学习训练和推理
元宇宙应用
科学研究和医疗保健
自动驾驶汽车
H100 的 Transformer 引擎和 FP8 精度使其在处理 LLM 和生成式 AI 任务时效率极高。
可用于开发更强大的聊天机器人、文本摘要、机器翻译、代码生成等应用。
H100 可用于加速药物研发、基因组学、材料科学等领域的科学研究 帮助科学家们更快地进行数据分析和模拟,推动科学进步。。
H100 可以用于医学图像分析、药物发现、个性化医疗等医疗保健应用。 帮助医生更快、更准确地诊断疾病,并制定治疗方案。