NVIDIA trình làng nền tảng trung tâm dữ liệu AI Vera Rubin với GPU Rubin và CPU Vera thế hệ mới

NVIDIA vừa chính thức công bố nền tảng trung tâm dữ liệu AI thế hệ tiếp theo mang tên Vera Rubin, được xây dựng dựa trên hai kiến trúc chủ đạo là GPU Rubin và CPU Vera. Theo NVIDIA, nền tảng Vera Rubin mang lại mức tăng trưởng sức mạnh tính toán ấn tượng, lên tới 40.000.000 lần chỉ trong vòng một thập kỷ.

Vera Rubin được thiết kế với tổng cộng bảy loại chip và sáu giá đỡ (rack) khác nhau, mỗi thành phần đảm nhận một nhiệm vụ riêng biệt nhằm tối ưu hóa hiệu suất cho các trung tâm dữ liệu AI thế hệ mới. Bảy chip vừa được NVIDIA công bố bao gồm: Rubin (GPU), Vera (CPU), CX9 (kết nối), BlueField-4 (DPU), NVLINK-6 Switch (liên kết), Spectrum-X CPO (quang học) và Groq 3 (LPU).

Khác biệt lớn nhất của nền tảng này nằm ở Vera Rubin Compute Tray, nơi thay đổi hệ thống lắp đặt giúp trung tâm dữ liệu AI chỉ mất 2 giờ để cài đặt thay vì 2 ngày như trước. Khay tính toán này được làm mát hoàn toàn bằng chất lỏng ở nhiệt độ 45°C, giảm áp lực lên hệ thống làm mát trung tâm dữ liệu. Đây cũng là nơi đặt các GPU Rubin mới, mỗi GPU sở hữu hai die kích thước reticle lớn và tám vị trí HBM.

Mỗi GPU Rubin của NVIDIA được trang bị 288 GB bộ nhớ HBM4, cung cấp băng thông lên tới 22 TB/s và hiệu suất tính toán NVFP4 đạt 50 PFLOPs. Mỗi chip chứa 336 tỷ bóng bán dẫn, cộng thêm 2,5 nghìn tỷ bóng bán dẫn từ bộ nhớ HBM4.

CPU Vera cũng được NVIDIA nhấn mạnh với hiệu năng lõi đơn rất cao, khả năng xuất dữ liệu lớn và hiệu suất năng lượng vượt trội. Vera là CPU trung tâm dữ liệu đầu tiên trên thế giới sử dụng bộ nhớ LPDDR5, mang lại hiệu suất trên mỗi watt không đối thủ. Ngoài việc tích hợp vào nền tảng Vera Rubin, CPU Vera còn được bán riêng, mở ra một lĩnh vực kinh doanh mới trị giá hàng tỷ USD cho NVIDIA.

NVLink Switch Tray sử dụng thế hệ NVLINK thứ 6, là hệ thống chuyển mạch quy mô lớn, cũng được làm mát hoàn toàn bằng chất lỏng. Khay tính toán Groq 3 LPX gồm 8 LPU Groq 3, mỗi LPU có 500 MB SRAM, băng thông SRAM 150 TB/s và hiệu suất FP8 đạt 1,2 PFLOPs, với 98 tỷ bóng bán dẫn mỗi chip.

Spectrum-X CPO Switch là công tắc quang học đồng đóng gói đầu tiên trên thế giới, sản xuất tại TSMC bằng công nghệ Cu-Litho của NVIDIA và hiện đã đi vào sản xuất hàng loạt. Vera Compute Tray (ConnectX-9) cũng sử dụng CPU Vera, đồng thời NVIDIA giới thiệu nền tảng lưu trữ BlueField-4 STX để đáp ứng nhu cầu lưu trữ của Vera Rubin.

Các cấu hình tiêu biểu của nền tảng này bao gồm:

• Vera Rubin NVL72: 72 GPU Rubin, 36 CPU Vera, hiệu suất NVFP4 Inference 3.600 PFLOPs, băng thông HBM4 đạt 1,6 PB/s, băng thông NVLINK6 đạt 260 TB/s.
• Vera Rubin Superchip: 2 GPU Rubin, 1 CPU Vera, hiệu suất NVFP4 Inference 100 PFLOPs, băng thông HBM4 44 TB/s.
• GPU Rubin đơn lẻ: 288 GB HBM4, băng thông 22 TB/s, hiệu suất NVFP4 Inference 50 PFLOPs.

Ngoài ra, CPU Vera còn được cung cấp dưới dạng rack 256 CPU, mang lại băng thông LPDDR5X lên tới 300 TB/s, kết nối qua ETL Spine, cho thông lượng cao gấp 6,5 lần so với thế hệ trước.

NVIDIA cho biết các sản phẩm dựa trên Vera Rubin sẽ được các đối tác phân phối từ nửa cuối năm nay. Danh sách đối tác bao gồm các nhà cung cấp dịch vụ đám mây lớn như Amazon Web Services, Google Cloud, Microsoft Azure, Oracle Cloud Infrastructure, cùng các đối tác NVIDIA Cloud như CoreWeave, Crusoe, Lambda, Nebius, Nscale và Together AI. Các nhà sản xuất hệ thống toàn cầu như Cisco, Dell Technologies, HPE, Lenovo, Supermicro, Aivres, ASUS, Foxconn, GIGABYTE, Inventec, Pegatron, Quanta Cloud Technology (QCT), Wistron và Wiwynn cũng sẽ cung cấp máy chủ dựa trên nền tảng này.

Các phòng thí nghiệm AI và nhà phát triển mô hình tiên phong như Anthropic, Meta, Mistral AI và OpenAI đang lên kế hoạch sử dụng nền tảng NVIDIA Vera Rubin để huấn luyện các mô hình lớn hơn, đa năng hơn, đồng thời phục vụ các hệ thống đa phương thức, ngữ cảnh dài với độ trễ và chi phí thấp hơn so với các thế hệ GPU trước.