ChatGPT、Stable Diffusion、DALL-E 以及類似的應用程序讓生成式 AI 震驚了世界。ChatGPT 是有史以來發(fā)展最快的應用程序。其易用性和令人印象深刻的功能在短短幾個月內吸引了超過一億用戶。
(資料圖片僅供參考)
NVIDIA 加速計算技術堆棧使每個行業(yè)都能利用人工智能的強大功能,提供運行下一波應用程序所需的性能、規(guī)模和能效水平。
加速計算主要運行在三個基本元素之上:
CPU:用于串行處理和運行超線程應用程序。
GPU:擅長并行處理,并針對加速現代工作負載進行了優(yōu)化。
DPU:非常適合基礎設施計算任務;用于卸載、加速和隔離數據中心網絡、存儲、安全和管理工作負載。
在現代軟件定義數據中心中,執(zhí)行虛擬化、網絡、存儲和安全的操作系統(tǒng)可能會消耗近一半的數據中心 CPU 核心和相關電力。數據中心必須加速每個工作負載以節(jié)省電力,并釋放 CPU 來處理創(chuàng)收工作負載。
NVIDIA BlueField DPU(數據處理器)卸載并加速數據中心操作系統(tǒng)和基礎設施軟件。
NVIDIA 正在其數據中心計算系統(tǒng)中集成 BlueField-3 DPU,包括第三代 NVIDIA OVX 系統(tǒng),以便在數據中心規(guī)模創(chuàng)建和操作 NVIDIA Omniverse 應用程序。想了解更多信息,請參閱 NVIDIA 發(fā)布用于驅動工業(yè)元宇宙應用的第三代 OVX 計算系統(tǒng),推動 Omniverse 實現大規(guī)模部署。
Oracle 云基礎設施(OCI)繼在 GTC 2023 發(fā)布之后,最近公布了將 NVIDIA BlueField-3 DPU 集成到其網絡堆棧中的計劃。該計劃旨在通過將網絡和安全任務從 CPU 卸載到 DPU 來優(yōu)化數據中心性能,從而實現更快、更高效的處理。
通過利用 BlueField-3 DPU 的強大功能,OCI 隨時可以增強其基礎設施,為客戶提供無縫的云體驗。想了解更多詳細信息,請參閱 Oracle 云基礎設施(OCI)選擇 NVIDIA BlueField 數據中心加速平臺。
此外,包括 Check Point、Cisco 、DDN、Dell EMC、Juniper、Palo Alto Networks、Red Hat 和 VMWare 在內的二十多個生態(tài)系統(tǒng)合作伙伴使用 BlueField 數據中心加速技術來更高效地運行其軟件平臺。
NVIDIA BlueField-3 具有 220 億個晶體管,是第三代 NVIDIA DPU。它是一款片上系統(tǒng)(SoC)設備,可提供高達 400Gbps 以太網和 InfiniBand 連接。BlueField -3 DPU 最多支持四個不同的 MAC 地址,可以提供各種端口配置,從單個 400Gbps 端口(四通道 PAM4 112)到四個 25、50 或 100 Gbps端口。
與上一代相比,BlueField-3 DPU 具有 2 倍的網絡帶寬、4 倍的計算能力和幾乎 5 倍的內存帶寬,同時通過 NVIDIA DOCA 軟件框架提供完全的向后兼容性。
這些關鍵進步使 BlueField-3 DPU 能夠以高達 8 倍的速度運行工作負載,同時降低 TCO 并提高數據中心能效。例如,BlueField -3 DPU 可從 CPU 卸載 HPC / AI MPI 集合通信,將速度提高近 20%,這相當于為大型超級計算機節(jié)省 1800 萬美元的成本。想了解更多信息,請參閱節(jié)能環(huán)保:NVIDIA BlueField DPU 提升數據中心效率。
BlueField-3 DPU 由三個主要模塊組成:
網絡:集成網絡和安全硬件加速器的最新一代 NVIDIA ConnectX-7 智能網卡。
可編程計算:具有 16 個 ARM A78 v8.2 核心組成的強大集群,專為控制平面應用程序提供優(yōu)化的、完全一致的低延遲網絡互連技術。數據平面可編程性通過加速管道線(pipeline)和新的可編程數據路徑加速器(DPA)實現。數據路徑加速器是一顆由 16 個超線程核心組成的 I/O 和數據包處理器,專為設備仿真、擁塞控制、自定義協議等 IO 密集型、低計算任務而構建。
內存:雙 64 位 DDR5-5600 內存接口(80GB 帶寬)和集成的 32 通道第五代 PCIe 交換機。PCIe 接口可以分叉并用作服務器托管(端點)或自托管(根復合體),以管理 GPU 或直連 SSD 設備。
作為 “服務器前面的服務器”,BlueField-3 DPU 是唯一配備集成式 ASPEED AST2600 基板管理控制器(BMC)的 DPU 平臺。BlueField BMC 是一個專用處理器,用于監(jiān)控 DPU 板的物理狀態(tài),并使系統(tǒng)管理員能夠通過獨立連接來管理平臺。這增強了系統(tǒng)的安全性、可靠性、可用性和可維護性。
DPU BMC 是一個受信任的實體,具有自己的外部信任根,以確保其固件的安全。它支持通過獨立的帶外管理網絡調配和管理 BlueField DPU,并使用標準接口和 Redfish 協議管理 DPU 的整個生命周期。
BMC 的一些功能包括:
控制臺接口訪問 BlueField DPU
設置 BlueField UEFI 配置
監(jiān)測 BlueField DPU 及其資源
更新和恢復 BlueField DPU 固件
重置控制(即使在 BlueField 操作系統(tǒng)停止時)
NVIDIA 提供了各種 BlueField-3 DPU 平臺,旨在滿足各行各業(yè)和用例的獨特計算、內存和性能需求。這使客戶能夠選擇符合其特定要求的 BlueField-3 DPU 產品,同時享受先進的功能和尖端的性能。
圖 2:面向不同目標市場的
NVIDIA BlueField-3 DPU 旗艦平臺
BlueField-3 DPU 用于幾個關鍵旗艦平臺和目標市場,具體如下:
高性能計算和人工智能工作負載是率先采用 400Gbps(NDR InfiniBand 和 400 GbE)網絡速度的工作負載,因為高性能計算就是為了實現最高性能和巨大規(guī)模的。BlueField DPU 利用其 ARM 核心從系統(tǒng)主機 CPU 卸載消息傳遞接口(MPI)的元素,并實現了無阻塞集合通信,從而擴展了 NVIDIA 網絡計算能力。這使得系統(tǒng)主機 CPU 能夠在峰值重疊時執(zhí)行計算。
B3240:擁有滿足極具挑戰(zhàn)性的超大規(guī)模高性能計算/人工智能需求的強大性能和網絡能力。此 BlueField-3 DPU 平臺為 NVIDIA DGX H100 等系統(tǒng)提供動力,使其能夠承擔科學研究或生成人工智能的工作負載。它使用雙 400Gbps NDR 連接、32GB DDR5 內存子系統(tǒng)和 2.3GHz 的 ARM 核心速度。
B3140H:具有半高半長(HHHL)外形規(guī)格,使其與大多數企業(yè)服務器兼容。該設備提供單個 400Gbps 端口和 16GB DDR5 內存,同時在低功耗范圍內運行。這使其成為高性能計算/人工智能環(huán)境的理想選擇,在空間或電源可用性受限的環(huán)境下實現所需的可擴展性能。
云行業(yè)正在經歷的快速增長要求云提供商不斷創(chuàng)新和定制其服務產品,以滿足客戶需求。現代云平臺使用基于虛擬機監(jiān)控程序(Hypervisor)的虛擬化,以最大限度地增加在計算和數據中心層面可分配給租戶的虛擬實例數量。BlueField-3 DPU 支持多達 4096 個虛擬功能(VF),使云提供商能夠在云計算平臺上托管比上一代多 4-8 倍的虛擬實例。
B3220:提供雙 200Gbps 端口、32GB DDR5 內存子系統(tǒng)和 2.3GHz 的 ARM 核心速度,具有滿足最具挑戰(zhàn)性的云所需的性能和網絡功能。因此,超大規(guī)模 Oracle 云基礎設施(OCI)已在其網絡堆棧中添加了 BlueField-3 DPU,旨在提供最先進、可持續(xù)的云基礎設施,并提供卓越的性能。B3220 平臺還為 NVIDIA OVX 3.0 系統(tǒng)助力,實現更高的性能、零信任安全,并在云中無限擴展工業(yè)元宇宙應用程序。
B3210:100Gbps 速率的 B3210 非常適合滿足領先企業(yè)數據中心的需求。B3210 是運行企業(yè)工作負載平臺 VMware vSphere 的目標 DPU,為成千上萬的公司提高性能、效率和安全性。
B3220SH:B3220SH 自托管平臺對集成 NVMe-oF、NVMe/TCP 或靜態(tài)數據加速器的 NVMe 存儲系統(tǒng)進行了優(yōu)化。B3220SH 可通過 32 通道的第五代 PCIe 接口托管多達 16 個 SSD。
與上一代產品相比,BlueField-3 DPU 具有顯著的性能提升,使其成為需要高性能網絡的數據密集型人工智能工作負載的理想解決方案。圖 3 顯示了基準測試結果,證明了BlueField-3 DPU 領先的網絡性能。
在云主導企業(yè) IT 的時代,生成式 AI、數據科學和元宇宙應用程序等現代工作負載正在蓬勃發(fā)展。為了滿足對人工智能飛速發(fā)展的需求,云構建商開始采用 NVIDIA 加速計算(主要是 GPU 和 DPU)。
NVIDIA BlueField-3 DPU 由 NVIDIA DOCA 軟件提供助力,將傳統(tǒng)的計算環(huán)境轉變?yōu)楦咝А⒏咝阅堋踩铱沙掷m(xù)的數據中心,從而實現下一波應用程序的交付。
觀看下方視頻
了解更多關于 NVIDIA BlueField DPU 的信息!
標簽: