Chúng có thể ra mắt thị trường hơi muộn, nhưng Giám đốc điều hành Nvidia, Jensen Huang, đã thông báo tại Computex 2023 ở Đài Bắc, Đài Loan rằng các siêu chip Grace Hopper của công ty hiện đã được sản xuất đầy đủ và nền tảng Grace hiện đã giành được sáu chiến thắng cho siêu máy tính. Những con chip này là khối xây dựng cơ bản của một trong những thông báo lớn khác của Huang về Computex 2023: Nền tảng siêu máy tính DGX GH200 AI mới của công ty, được xây dựng cho khối lượng công việc AI khổng lồ, hiện đã có sẵn với 256 Siêu chip Grace Hopper được ghép nối với nhau để tạo thành một cường quốc siêu máy tính với 144TB bộ nhớ dùng chung cho các tác vụ đào tạo AI tổng quát đòi hỏi khắt khe nhất. Nvidia đã có những khách hàng như Google, Meta và Microsoft sẵn sàng nhận các hệ thống tiên tiến nhất.
Nvidia cũng công bố kiến trúc tham chiếu MGX mới sẽ giúp các OEM xây dựng siêu máy tính AI mới nhanh hơn với hơn 100 hệ thống có sẵn. Cuối cùng, công ty cũng đã công bố nền tảng mạng Spectrum-X Ethernet mới được thiết kế và tối ưu hóa đặc biệt cho các cụm máy chủ và siêu máy tính AI. Hãy đi sâu vào.
Hình ảnh 1 của 9
Siêu chip Nvidia Grace Hopper hiện đang được sản xuất
Trước đây, chúng tôi đã đề cập sâu về Siêu chip Grace và Grace Hopper. Những con chip này là trung tâm của các hệ thống mới mà Nidia đã công bố hôm nay. Chip Grace là bộ xử lý chỉ dành cho CPU Arm của Nvidia và Siêu chip Grace Hopper kết hợp CPU lõi Grace 72, GPU Hopper, 96GB HBM3 và 512 GB LPDDR5X trên cùng một gói, tất cả đều nặng 200 tỷ bóng bán dẫn . Sự kết hợp này cung cấp băng thông dữ liệu đáng kinh ngạc giữa CPU và GPU, với thông lượng lên tới 1 TB/giây giữa CPU và GPU mang lại lợi thế to lớn cho một số khối lượng công việc giới hạn bộ nhớ.
Với Siêu chip Grace Hopper hiện đã được sản xuất hoàn chỉnh, chúng ta có thể mong đợi các hệ thống đến từ một loạt các đối tác hệ thống của Nidia, như Asus, Gigabyte, ASRock Rack và Pegatron. Quan trọng hơn, Nvidia đang triển khai các hệ thống của riêng mình dựa trên các chip mới và đang phát hành các kiến trúc thiết kế tham chiếu cho OxM và bộ siêu tỷ lệ mà chúng tôi sẽ đề cập bên dưới.
Siêu máy tính Nvidia DGX GH200
Hình ảnh 1 của 2
Các hệ thống DGX của Nvidia là kiến trúc tham chiếu và hệ thống dành cho các khối lượng công việc AI và HPC đòi hỏi khắt khe nhất, nhưng các hệ thống DGX A100 hiện tại chỉ giới hạn ở tám GPU A100 hoạt động song song như một đơn vị gắn kết. Trước sự bùng nổ của AI tổng quát, khách hàng của Nvidia rất háo hức với các hệ thống lớn hơn nhiều với hiệu suất cao hơn nhiều và DGX H200 được thiết kế để cung cấp thông lượng tối ưu cho khả năng mở rộng lớn trong khối lượng công việc lớn nhất, như đào tạo AI tổng quát, mô hình ngôn ngữ lớn, người giới thiệu hệ thống và phân tích dữ liệu, bằng cách vượt qua các hạn chế của các tùy chọn kết nối cụm tiêu chuẩn, như InfiniBand và Ethernet, với silicon Switch NVLink tùy chỉnh của Nvidia.
Thông tin chi tiết về các khía cạnh tốt hơn của siêu máy tính DGX GH200 AI mới vẫn còn sơ sài, nhưng chúng tôi biết rằng Nvidia sử dụng Hệ thống chuyển mạch NVLink mới với 36 công tắc NVLink để kết hợp 256 chip GH200 Grace Hopper và 144 TB bộ nhớ dùng chung thành một đơn vị gắn kết trông và hoạt động như một GPU khổng lồ. Hệ thống Công tắc NVLink mới dựa trên silicon Công tắc NVLink hiện đang ở thế hệ thứ ba.
DGX GH200 đi kèm với tổng số 256 CPU + GPU Grace Hopper, dễ dàng vượt xa sự sắp xếp DGX được kết nối NVLink lớn nhất trước đây của Nvidia với tám GPU và 144TB bộ nhớ dùng chung nhiều hơn 500 lần so với các hệ thống DGX A100 cung cấp ‘chỉ’ 320GB bộ nhớ dùng chung bộ nhớ giữa tám GPU A100. Ngoài ra, việc mở rộng hệ thống DGX A100 thành các cụm có hơn tám GPU yêu cầu sử dụng InfiniBand làm đường kết nối giữa các hệ thống, điều này dẫn đến các hình phạt về hiệu suất. Ngược lại, DGX GH200 đánh dấu lần đầu tiên Nvidia xây dựng toàn bộ cụm siêu máy tính xung quanh cấu trúc liên kết NVLink Switch, Nvidia cho biết cung cấp băng thông GPU-to-GPU gấp 10 lần và băng thông CPU-to-GPU gấp 7 lần so với thế hệ trước. hệ thống. Nó cũng được thiết kế để cung cấp hiệu suất năng lượng kết nối gấp 5 lần (có thể được đo bằng PJ/bit) so với các kết nối cạnh tranh và băng thông chia đôi lên tới 128 TB/s.
Hệ thống này có 150 dặm sợi quang và nặng 40.000 lbs, nhưng thể hiện chính nó dưới dạng một GPU duy nhất. Nvidia cho biết Siêu chip 256 Grace Hopper đẩy DGX GH200 đến một exaflop của ‘hiệu suất AI’, nghĩa là giá trị đó được đo bằng các loại dữ liệu nhỏ hơn phù hợp với khối lượng công việc AI hơn so với các phép đo FP64 được sử dụng trong HPC và siêu máy tính. Hiệu suất này nhờ vào băng thông GPU-GPU 900 GB/giây, đây là khả năng mở rộng khá ấn tượng do Grace Hopper vượt qua tốc độ 1 TB/giây với CPU Grace khi được kết nối trực tiếp với nhau trên cùng một bo mạch với NVLink -Kết nối chip C2C.
Nvidia đã cung cấp các điểm chuẩn dự kiến của DGX GH200 với Hệ thống chuyển mạch NVLink đối đầu với cụm DGX H100 được kết hợp với InfiniBand. Nvidia đã sử dụng số lượng GPU khác nhau để tính toán khối lượng công việc ở trên, từ 32 đến 256, nhưng mỗi hệ thống sử dụng cùng một số lượng GPU cho mỗi thử nghiệm. Như bạn có thể thấy, mức tăng bùng nổ về hiệu suất kết nối dự kiến sẽ mở khóa hiệu suất cao hơn từ 2,2 lần đến 6,3 lần ở bất kỳ đâu.
Nvidia sẽ cung cấp bản thiết kế tham chiếu DGX GH200 cho các khách hàng hàng đầu của mình, Google, Meta và Microsoft, trước cuối năm 2023, đồng thời cũng sẽ cung cấp hệ thống này dưới dạng thiết kế kiến trúc tham chiếu cho các nhà cung cấp dịch vụ đám mây và công cụ siêu quy mô.
Nvidia cũng đang ăn thức ăn cho chó của riêng mình; công ty sẽ triển khai một siêu máy tính Nvidia Helios mới bao gồm bốn hệ thống DGX GH200 mà công ty sẽ sử dụng cho công việc nghiên cứu và phát triển của riêng mình. Bốn hệ thống, có tổng cộng 1.024 Siêu chip Grace Hopper, sẽ được kết nối với mạng Quantum-2 InfiniBand 400 Gb/s của Nvidia.
Kiến trúc tham chiếu hệ thống Nvidia MGX
Trong khi DGX tham gia vào các hệ thống cao cấp nhất, thì các hệ thống HGX của Nvidia tham gia vào các bộ siêu âm. Tuy nhiên, các hệ thống MGX mới đóng vai trò là điểm trung gian giữa hai hệ thống này và DGX và HGX sẽ tiếp tục cùng tồn tại với các hệ thống MGX mới.
Các đối tác OxM của Nvidia phải đối mặt với những thách thức mới với thiết kế máy chủ tập trung vào AI, do đó làm chậm quá trình thiết kế và triển khai. Kiến trúc tham chiếu MGX mới của Nvidia được thiết kế để tăng tốc quá trình đó với hơn 100 thiết kế tham chiếu. Các hệ thống MGX bao gồm các thiết kế mô-đun mở rộng phạm vi danh mục CPU và GPU, DPU và hệ thống mạng của Nvidia, nhưng cũng bao gồm các thiết kế dựa trên x86 và bộ xử lý dựa trên Arm phổ biến có trong các máy chủ ngày nay. Nvidia cũng cung cấp các tùy chọn cho cả thiết kế làm mát bằng không khí và chất lỏng, do đó cung cấp cho OxM các điểm thiết kế khác nhau cho nhiều ứng dụng.
Hình ảnh 1 của 7
Đương nhiên, Nvidia chỉ ra rằng các hệ thống dẫn đầu từ QCT và Supermicro sẽ được cung cấp bởi các Siêu chip Grace và Grace Hopper của họ, nhưng chúng tôi hy vọng rằng các hương vị x86 có thể sẽ có nhiều hệ thống khả dụng hơn theo thời gian. Asus, Gigabyte, ASRock Rack và Pegatron đều sẽ sử dụng kiến trúc tham chiếu MGX cho các hệ thống sẽ tung ra thị trường vào cuối năm nay đến đầu năm sau.
Các thiết kế tham chiếu MGX có thể là thông báo ngủ quên về vụ nổ báo chí Computex của Nvidia – đây sẽ là những hệ thống mà các trung tâm dữ liệu và doanh nghiệp chính thống cuối cùng sẽ triển khai để đưa các kiến trúc lấy AI làm trung tâm vào các triển khai của họ và sẽ xuất xưởng với số lượng lớn hơn nhiều so với các thiết kế hơi kỳ lạ. và các hệ thống DGX đắt tiền hơn – đây là những yếu tố thúc đẩy âm lượng. Nvidia vẫn đang hoàn thiện thông số kỹ thuật, thông số này sẽ được công khai và sẽ sớm phát hành sách trắng.
Nền tảng mạng Nvidia Spectrum-X
Hình ảnh 1 của 2
Việc Nvidia mua Mellanox hóa ra lại là một động thái quan trọng đối với công ty, vì giờ đây công ty có thể tối ưu hóa và điều chỉnh các thành phần mạng và phần mềm cho các nhu cầu tập trung vào AI của mình. Nền tảng mạng Spectrum-X mới có lẽ là ví dụ hoàn hảo về những khả năng đó, vì Nvidia gọi nó là nền tảng mạng ‘Ethernet hiệu suất cao đầu tiên trên thế giới dành cho AI’.
Hình ảnh 1 của số 8
Một trong những điểm chính ở đây là Nvidia đang chuyển hướng sang Ethernet làm kết nối cho các nền tảng AI hiệu suất cao, trái ngược với các kết nối InfiniBand thường thấy trong các hệ thống hiệu suất cao. Thiết kế Spectrum-X sử dụng bộ chuyển mạch Ethernet 51 Tb/s Spectrum-4 400 GbE của Nvidia và DPU Nvidia Bluefield-3 kết hợp với phần mềm và SDK cho phép các nhà phát triển điều chỉnh hệ thống theo nhu cầu riêng của khối lượng công việc AI. Trái ngược với các hệ thống dựa trên Ethernet khác, Nvidia cho biết Spectrum-X không mất dữ liệu, do đó cung cấp độ trễ và QoS vượt trội. Nó cũng có công nghệ định tuyến thích ứng mới, đặc biệt hữu ích trong môi trường nhiều người thuê.
Nền tảng mạng Spectrum-X là một khía cạnh nền tảng trong danh mục đầu tư của Nvidia, vì nó mang lại khả năng cụm AI hiệu suất cao cho mạng dựa trên Ethernet, cung cấp các tùy chọn mới để triển khai AI rộng rãi hơn vào cơ sở hạ tầng siêu quy mô. Nền tảng Spectrum-X cũng hoàn toàn có thể tương thích với các ngăn xếp dựa trên Ethernet hiện có và cung cấp khả năng mở rộng ấn tượng với tối đa 256 cổng 200 Gb/giây trên một bộ chuyển mạch hoặc 16.000 cổng trong cấu trúc liên kết cột sống lá hai tầng.
Nền tảng Nvidia Spectrum-X và các thành phần liên quan của nó, bao gồm quang học 400G LinkX, hiện đã có sẵn.
Siêu máy tính Nvidia Grace và Grace Hopper giành chiến thắng
Hình ảnh 1 của 2
Các CPU Arm đầu tiên của Nvidia (Grace) đã được sản xuất và tạo ra ảnh hưởng với ba chiến thắng siêu máy tính gần đây, bao gồm cả Taiwania 4 mới được công bố sẽ được nhà cung cấp máy tính ASUS xây dựng cho Trung tâm Điện toán Hiệu năng Cao Quốc gia Đài Loan. Hệ thống này sẽ có 44 nút CPU Grace và Nvidia tuyên bố nó sẽ được xếp hạng trong số những siêu máy tính tiết kiệm năng lượng nhất ở châu Á khi được triển khai. Siêu máy tính sẽ được sử dụng để mô hình hóa các vấn đề biến đổi khí hậu.
Nvidia cũng chia sẻ thông tin chi tiết về siêu máy tính Đài Bắc 1 mới sẽ có trụ sở tại Đài Loan. Hệ thống này sẽ có 64 siêu máy tính DGX H100 AI và 64 hệ thống Nvidia OVX được kết nối với bộ mạng của công ty. Hệ thống này sẽ được sử dụng cho khối lượng công việc R&D địa phương không xác định khi nó được hoàn thành vào cuối năm nay.
