Chúng tôi vẫn đang theo dõi thông báo chính thức của AMD về bộ tăng tốc trung tâm dữ liệu AI của họ, MI300X. Đó chắc chắn là một lực lượng xử lý cần được tính đến – một lực lượng mà AMD nhắm đến sử dụng như một chiếc dùi cui để cố gắng đánh bật Nvidia khỏi vị trí kẻ thống trị trong thế giới tăng tốc AI. Nhưng việc tăng hiệu suất đôi khi chuyển thành mức tiêu thụ năng lượng cao hơn, mặc dù mỗi kiến trúc mới thường cải thiện hiệu quả sử dụng năng lượng (tiêu thụ ít năng lượng cho cùng một đơn vị công việc). Và dựa trên OAM của AMD (Mô-đun tăng tốc OCP) – MI300X – chắc chắn là một thiết bị ngốn điện: ở mức 750 W, nó thực sự là sản phẩm có TDP được đánh giá cao nhất từng có trong hệ số hình thức của nó. Tuy nhiên, đừng lo lắng: các thông số kỹ thuật cho các giải pháp OAM lên tới 1000 W công suất có thể phân phối, do đó, vẫn còn chỗ để mở rộng hiệu suất hơn nữa.
Mặc dù 750 W là lượng điện năng khổng lồ được tiêu thụ bởi bất kỳ phần cứng PC riêng lẻ nào (ít nhất là từ quan điểm của một cá nhân), chúng tôi phải lưu ý rằng những watt đó đang cung cấp năng lượng cho phần cứng nhanh hơn và chuyên dụng hơn nhiều so với ngay cả những card đồ họa mạnh nhất của AMD. Đối với công suất đó, AMD đang cung cấp thứ mà họ tuyên bố là bộ tăng tốc hiệu quả nhất cho khối lượng công việc liên quan đến AI (cả trong AI tổng quát và Mô hình ngôn ngữ lớn [LLM] xử lý).
Xem xét cách AMD quản lý để nhồi nhét 12 chiplet được xây dựng trên hai quy trình chế tạo (8x 5nm [GPU] và 4 nút 6nm [I/O die] với tổng số 153 tỷ bóng bán dẫn, tuyên bố đó có thể có một số hậu thuẫn. Tất nhiên, cũng có vấn đề là AMD đã quản lý để chạy mô hình LLM 40 tỷ tham số (Falcon 40-B) trên một MI300X duy nhất. Giờ đây, điều đó thật ấn tượng, đặc biệt khi xem xét mục tiêu của AMD là MI300X có thể mở rộng tới tám bộ gia tốc trong một gói duy nhất.
Hàng 0 – Ô 0 | AMD MI300X | AMD MI300A | AMD MI250X | AMD RX 7900XTX |
lõi CPU | 0 | 3x CCD 8 lõi (24 lõi) [Zen 4] | – | – |
lõi GPU | 8x GCD (304 CU) [CDNA 3] | 6x GCD (228 CU) [CDNA 3] | (220 CU) [CDNA 2] | (RDNA 3) |
Bộ nhớ địa chỉ | 192 GB (8x 24 GB HBM3) | 128 GB (8x 16 GB HBM3) | 128 GB (8x 16 GB HBM2e) | 24GB GDDR5 |
Băng thông bộ nhớ | 5,2TB/giây | 5,2TB/giây | ~ 3,28 TB/giây | 384GB/giây |
Băng thông vải vô cực | 896GB/giây | 896GB/giây | 800 GB/giây | – |
Số lượng bóng bán dẫn | 153 tỷ | 146 tỷ | ~ 58,2 tỷ | ~ 57 tỷ |
TDP | 750W | ? | 560W | 355 W |
Như chúng ta thấy từ bảng trên, sự tập trung của AMD vào việc tăng hiệu quả sử dụng năng lượng đã không đủ để bù đắp các yêu cầu tính toán ngày càng tăng đối với các kịch bản Điện toán hiệu năng cao (HPC), hiện bao gồm việc xử lý các mô hình LLM dường như đang phát triển trái và phải . Các yêu cầu về hiệu suất tăng lên có nghĩa là ngay cả với các công nghệ, kỹ thuật tiết kiệm năng lượng mới nhất của AMD và công nghệ chế tạo mới nhất của TSMC, vẫn cần phải tăng đường bao công suất lên 190 W.
Tuy nhiên, mức tăng TDP 190 W đó (mức tiêu thụ điện năng cao hơn khoảng 33%) tương đương với khoảng ba lần số bóng bán dẫn được cấp nguồn so với MI250X – một biểu hiện ấn tượng về mức tăng hiệu suất, ngay cả khi không tính đến khả năng hỗ trợ cải tiến của MI300X cho các thuật toán thưa thớt (cực kỳ quan trọng để xử lý LLM và AI). Điều đó không nói lên bất cứ điều gì về sự khác biệt giữa bộ tăng tốc tính toán của AMD và GPU chơi game hàng đầu của công ty, RX 7900 XTX tương đối nhỏ bé.