浪潮NF5698G7系列AI服務(wù)器是浪潮信息全新一代開放加速計(jì)算服務(wù)器,符合全球開放計(jì)算OCP開放加速器規(guī)范OAM v1.1/v1.5,可在6U空間內(nèi)支持8顆54V開放加速模塊(OAM)和2顆Intel®第四代/第五代至強(qiáng)®可擴(kuò)展處理器(TDP 350W),具有高性能、高擴(kuò)展性、高能效、多元兼容、生態(tài)開放等特點(diǎn),適用于大模型訓(xùn)練、自然語(yǔ)言處理、語(yǔ)音識(shí)別、圖像處理、推薦等典型的AI應(yīng)用場(chǎng)景。
型號(hào) NF5698-M7-A0-R0-00 |
|
高度 |
6U |
GPU |
8顆符合OAMv1.1/v1.5規(guī)范的開放加速模塊,TDP 700W |
處理器 |
2顆Intel®第四代/第五代至強(qiáng)®可擴(kuò)展處理器,TDP 350W
標(biāo)配4個(gè),插槽數(shù)8個(gè) |
內(nèi)存 |
32條DDR5 DIMMs內(nèi)存, 速率支持5600MT/s |
存儲(chǔ) |
支持24塊2.5英寸SSD硬盤,其中支持16塊NVMe |
M.2 |
2塊內(nèi)置M.2 NVMe/SATA (可選) |
PCIe插槽 |
支持10個(gè)PCIe 5.0 x16插槽(其中1個(gè)PCIe 5.0 x16插槽可替換為2個(gè)PCIe 5.0 x8速率的x16槽位) 可選支持Blue?eld-3、CX7以及多種類型智能網(wǎng)卡 |
RAID支持 |
可選支持RAID 0/1/10/5/50/6/60等, 支持Cache超 級(jí)電容保護(hù) |
前置I/O |
1個(gè)USB 3.0端口, 1個(gè)USB 2.0端口, 1個(gè)VGA端口 |
后置I/O |
2個(gè)USB 3.0端口, 1個(gè)MicroUSB端口, 1個(gè)VGA端口, 1個(gè)RJ45管理口 |
OCP |
可選支持1張OCP 3.0網(wǎng)卡, 支持NCSI功能 |
管理 |
DC-SCM BMC管理模組 |
TPM模塊 |
TPM 2.0 |
風(fēng)扇模組 |
GPU區(qū)域:6個(gè)54V N+1冗余熱插拔風(fēng)扇 CPU區(qū)域:6個(gè)12V N+1冗余熱插拔風(fēng)扇 |
電源 |
2塊12V 3200W及6塊54V 2700W鈦金級(jí)CRPS電源,支持N+N冗余 |
尺寸 |
寬447mm,高263mm,深860mm |
重量 |
凈重90kg(毛重:125kg) |
環(huán)境參數(shù) |
工作溫度:10℃~35℃; 貯存溫度: -40℃~70℃ 工作濕度:10%~80% R.H.; 貯存濕度:10%~93% R.H. |
產(chǎn)品特性
性能
■ 支持8顆符合OAM v1.1和v1.5的開放加速模組(TDP 700W)和2顆Intel®第四代/第五代至強(qiáng)®可擴(kuò)展處理器 (TDP 350W)
■ 全互聯(lián)拓?fù)錆M足大模型訓(xùn)練張量并行每秒數(shù)百GB 通信需求,節(jié)點(diǎn)內(nèi)每顆OAM芯片可實(shí)現(xiàn)784GB/s的P2P峰值聚合通信帶寬(注:Gaudi3每顆OAM芯片的聚合帶寬是1TB/s,Gaudi2是512GB/s)
擴(kuò)展
■ 支持4.0 Tbps節(jié)點(diǎn)間網(wǎng)絡(luò)帶寬,可實(shí)現(xiàn)OAM模組:計(jì)算IB: 存儲(chǔ)IB=8:8:2 的配比 (注:怎么配的?)
■ 支持RDMA網(wǎng)絡(luò)進(jìn)行計(jì)算和存儲(chǔ)通信,滿足大模型流水線并行、 數(shù)據(jù)并行等通信需求
■ 支持Scale-Out直連架構(gòu),OAM模組可以通過QSFP模塊實(shí)現(xiàn)跨節(jié)點(diǎn)高速通信
能效
■ 12V和54V電源分離供電設(shè)計(jì),支持N+N冗余
■ 精細(xì)化分區(qū),智能散熱調(diào)控,散熱性能優(yōu)化, 風(fēng)道解耦設(shè)計(jì)提升20%系統(tǒng)能效比
■ 高功率負(fù)載動(dòng)態(tài)匹配,零電源轉(zhuǎn)換損耗
生態(tài)
■ 全球開放計(jì)算OCP開放加速器規(guī)范OAMv1.1 /UBBv1.5
■ 支持PyTorch / TensorFlow / PaddlePaddle等主流AI框架和Megatron / DeepSpeed等開發(fā)工具
■ 支持自然語(yǔ)言處理、語(yǔ)音識(shí)別、圖像處理、推薦等各類AI應(yīng)用場(chǎng)景
已搭載GPU
Gaudi2
浪潮信息于2023年第三季度推出Gaudi 2服務(wù)器NF5698G7。該服務(wù)器集成了八顆Habana® Gaudi®2 HL-225B加速器以及雙插槽第四代Xeon處理器,并符合OCP OAM和US BIS EAR標(biāo)準(zhǔn)。浪潮信息的Gaudi 2 G7服務(wù)器提供了高度可擴(kuò)展的、深度學(xué)習(xí)訓(xùn)練和推理性能。
來源 AI時(shí)代窗口