- 行業(yè)應(yīng)用
|
公司基本資料信息
|
|||||||||||||||||||||||||||
NVIDIA英偉達(dá)H200人工智能服務(wù)器可大幅強(qiáng)化人工智慧和高效能運(yùn)算工作負(fù)載。
NVIDIA H200 Tensor 核心 GPU 具備顛覆以往的效能和記憶體功能，可大幅強(qiáng)化生成式人工智慧和高效能運(yùn)算工作負(fù)載。H200 是款搭載 HBM3e 的 GPU，更大更快的記憶體可加速生成式人工智慧和大型語言模型 (LLM)，同時(shí)強(qiáng)化高效能運(yùn)算工作負(fù)載的科學(xué)運(yùn)算。
NVIDIA英偉達(dá)H200人工智能服務(wù)器GPU算力租賃配置：
|
項(xiàng)目 |
標(biāo)準(zhǔn)配置 |
|
框架 |
8U 機(jī)架式服務(wù)器 |
|
處理器 |
2顆第4代/第5代至強(qiáng)系列 64 核/3.9GHz/320MB緩存 |
|
內(nèi)存 |
最大容量 4TB |
|
GPU |
NVIDIA HGX H200 GPU模組 |
|
系統(tǒng)硬盤 |
M.2 NVMe PCIe接口 2TB SSD |
|
數(shù)據(jù)硬盤 |
2*10TB 企業(yè)級(jí) SATA 硬盤 RAID 10 陣列配置 |
|
InfiniBand 網(wǎng)絡(luò) |
ConnectX-7 400Gb/s |
|
Ethernet 網(wǎng)卡 |
OCP 網(wǎng)卡/雙電口/10G |
|
PICE 插槽 |
9 個(gè) PCIe 5.0 擴(kuò)展插槽 |
|
電源 |
6*3000W，2*2700W，AC220 輸入 |
|
風(fēng)扇 |
10 個(gè) 54V 風(fēng)扇模組 |
|
操作系統(tǒng) |
Windows Server/RedHat Enterprise Linux/SUSE Linux Enterprise Server/CentOS/Ubuntu/Vmware EXSi |
|
工作溫度 |
+5°~+35° |
|
其他接口 |
機(jī)箱后部：1 個(gè) RJ45 管理接口，2 個(gè) USB 3.0，1 個(gè) VGA 機(jī)箱前部：2 個(gè) USB 3.0，1 個(gè) VGA |
|
整機(jī)凈重 |
120KG（以實(shí)際配置為準(zhǔn)） |
高效能、最佳效率
NVIDIA H200 採(cǎi)用 NVIDIA Hopper 架構(gòu)，是款能以每秒 4.8 TB 的速度提供 141 GB HBM3e 記憶體的 GPU，容量幾乎是 NVIDIA H100 Tensor 核心 GPU 的兩倍，記憶體頻寬則提升 1.4 倍。H200 更大、更快的記憶體能加速生成式人工智慧和 LLM，同時(shí)提升高效能運(yùn)算工作負(fù)載的科學(xué)運(yùn)算，而且能源效率更高、總體擁有成本更低。
透過高效能 LLM 推論取得洞察
在人工智慧不斷演進(jìn)的狀況下，企業(yè)仰賴 LLM 來因應(yīng)各種推論需求。為龐大的使用者大規(guī)模部署人工智慧推論加速器時(shí)，必須運(yùn)用的整體擁有成本達(dá)到的吞吐量。
與 H100 GPU 相比，H200 在處理類似 Llama2 的 LLM 時(shí)，可將推論速度大幅提升到 2 倍。
大幅強(qiáng)化高效能運(yùn)算
就高效能運(yùn)算方面的用途而言，記憶體頻寬相當(dāng)重要。因?yàn)檫@能加快資料傳輸速度，並減少複雜的處理瓶頸。對(duì)於需耗費(fèi)大量記憶體的高效能運(yùn)算應(yīng)用程式，如模擬作業(yè)、科學(xué)研究和人工智慧，H200 的記憶體頻寬較高，可保障資料存取和操作時(shí)的效率，因此取得結(jié)果的速度與 CPU 相比提升達(dá) 110 倍。
降低能源使用量與整體擁有成本
隨著 H200 的推出，能源效率和整體擁有成本將達(dá)到全新境界。這項(xiàng)尖端技術(shù)可提供無與倫比的效能，並且與 H100 Tensor 核心 GPU 使用相同的功耗設(shè)定。人工智慧工廠和超級(jí)運(yùn)算系統(tǒng)不僅速度更快也更環(huán)保，所具備的經(jīng)濟(jì)優(yōu)勢(shì)可推動(dòng)人工智慧和科學(xué)界持續(xù)進(jìn)步。
NVIDIA H200 Tensor 核心 GPU規(guī)格：
|
尺寸規(guī)格 |
H200 SXM¹ |
|
FP64 |
34 TFLOPS |
|
FP64 Tensor 核心 |
67 TFLOPS |
|
FP32 |
67 TFLOPS |
|
TF32 Tensor 核心 |
989 TFLOPS² |
|
BFLOAT16 Tensor 核心 |
1,979 TFLOPS² |
|
FP16 Tensor 核心 |
1,979 TFLOPS² |
|
FP8 Tensor 核心 |
3,958 TFLOPS² |
|
INT8 Tensor 核心 |
3,958 TFLOPS² |
|
GPU 記憶體 |
141GB |
|
GPU 記憶體頻寬 |
每秒 4.8 TB |
|
解碼器 |
7 NVDEC |
|
最大熱設(shè)計(jì)功耗 (TDP) |
高達(dá) 700W (配置) |
|
多執(zhí)行個(gè)體 GPU |
最多 7 個(gè) MIGS，每個(gè) 16.5GB |
|
尺寸規(guī)格 |
SXM |
|
互連技術(shù) |
NVlink：每秒 900 GB |
|
伺服器選項(xiàng) |
搭載 4 或 8 個(gè) GPU 的 NVIDIA HGX H100 合作夥伴與 NVIDIA 認(rèn)證系統(tǒng)™ |
|
NVIDIA AI Enterprise |
包含 |
中國(guó)智能化網(wǎng)（zgznh®）--引領(lǐng)工業(yè)智能化產(chǎn)業(yè)發(fā)展 共享智能化+優(yōu)質(zhì)平臺(tái)
版權(quán)所有：深圳市智控網(wǎng)絡(luò)有限公司 學(xué)術(shù)指導(dǎo)：深圳市智能化學(xué)會(huì)
粵ICP備12078626號(hào)
深公網(wǎng)安備案證字第 4403101901094 號(hào) | 
粵公網(wǎng)安備 44030702001206號(hào)
[VIP第4年] 指數(shù):4
