AMD đã công bố một loạt sản phẩm mới ngày hôm nay tại sự kiện Ra mắt Trung tâm Dữ liệu và Công nghệ AI của mình tại San Francisco, California. Công ty cuối cùng đã chia sẻ thêm thông tin chi tiết về bộ xử lý Instinct MI300A có các lõi CPU và GPU xếp chồng 3D trên cùng một gói với HBM và một mẫu MI300X chỉ có GPU mới mang tám bộ tăng tốc lên một nền tảng mang đến 1,5 TB HBM3 đáng kinh ngạc ký ức.
Công ty cũng đưa ra thông báo về bộ xử lý EPYC Bergamo 5nm dành cho các ứng dụng gốc trên đám mây và bộ xử lý EPYC Genoa-X với bộ nhớ đệm L3 lên đến 1,1 GB. Cả ba sản phẩm này hiện đã có sẵn, nhưng AMD cũng có bộ xử lý EPYC Sienna dành cho công ty viễn thông và sản phẩm tiên tiến sẽ ra mắt vào nửa cuối năm 2023.
Kết hợp với danh mục DPU và kết nối mạng Alveo và Pensando của AMD, AMD có đầy đủ các sản phẩm hướng đến khối lượng công việc AI, đặt nó vào thế cạnh tranh trực tiếp với công ty dẫn đầu thị trường Nvidia, đối thủ cạnh tranh chính của họ về các sản phẩm tăng tốc AI và Intel, công ty cũng cung cấp một số AI -các giải pháp tăng tốc trên một loạt các sản phẩm.
Bài viết này tập trung vào tin tức xung quanh MI300, nhưng chúng tôi sẽ sớm thêm các liên kết đến nội dung khác của chúng tôi. Chúng tôi vừa nhận được thông tin từ AMD, vì vậy bài viết này sẽ được cập nhật khi chúng tôi bổ sung thêm chi tiết.
Bản năng AMD MI300
Hình ảnh 1 của 2
Instinct MI300A là một APU trung tâm dữ liệu kết hợp tổng cộng 13 bộ ba, nhiều bộ ba trong số đó được xếp chồng lên nhau 3D, để tạo ra một gói chip duy nhất với 24 lõi CPU Zen 4 được hợp nhất với công cụ đồ họa CDNA 3 và tám ngăn bộ nhớ HBM3 tổng cộng 128GB. Nhìn chung, con chip này nặng tới 146 tỷ bóng bán dẫn, khiến nó trở thành con chip lớn nhất mà AMD đưa vào sản xuất. Chín khuôn điện toán, là sự kết hợp giữa CPU và GPU 5nm, được xếp chồng lên nhau 3D trên bốn khuôn nền 6nm, là các bộ xen kẽ hoạt động xử lý bộ nhớ và lưu lượng I/O, cùng các chức năng khác. Bản năng MI300 sẽ cung cấp năng lượng cho siêu máy tính El Capitan hai exaflop, được dự đoán là nhanh nhất thế giới khi ra mắt vào cuối năm nay.
Hình ảnh 1 của 2
Hôm nay AMD đã công bố một biến thể chỉ có GPU, MI300X và trình bày một số bản trình diễn về hiệu suất của nó. MI300X chỉ có GPU được tối ưu hóa cho các mô hình ngôn ngữ lớn (LLM) và chỉ được trang bị các ô GPU CDNA3 kết hợp với bộ nhớ HBM3 192GB.
Dung lượng bộ nhớ khổng lồ, trải rộng trên các chip HBM3 24GB, cho phép chip chạy LLM lên tới 80 tỷ tham số, mà AMD tuyên bố là kỷ lục đối với một GPU. Con chip này cung cấp băng thông bộ nhớ 5,2 TB/giây trên tám kênh và 896 GB/giây Băng thông Infinity Fabric. MI300X cung cấp mật độ HBM gấp 2,4 lần so với Nvidia H100 và băng thông HBM 1,6 lần so với H100, nghĩa là AMD có thể chạy các mô hình lớn hơn so với chip của Nvidia.
Con chip này được rèn từ 12 bộ ba nhỏ khác nhau trên sự kết hợp của các nút 5nm (GPU) và 6nm (khuôn I/O), bao gồm tám GPU và một số khuy I/O, với tổng số 153 tỷ bóng bán dẫn.
Hình ảnh 1 của 2
MI300A có thể chạy ở một số chế độ khác nhau, nhưng chế độ chính bao gồm một miền bộ nhớ duy nhất và miền NUMA, do đó cung cấp bộ nhớ truy cập thống nhất cho tất cả các lõi CPU và GPU. Trong khi đó, MI300X sử dụng bộ nhớ kết hợp giữa tất cả các cụm GPU của nó. Điểm nổi bật quan trọng là bộ nhớ kết hợp bộ nhớ cache giúp giảm chuyển động dữ liệu giữa CPU và GPU, vốn thường tiêu thụ nhiều năng lượng hơn so với bản thân quá trình tính toán, do đó giảm độ trễ và cải thiện hiệu suất cũng như hiệu quả sử dụng năng lượng.
AMD đã tiến hành demo mẫu Falcon-40B có 40 tỷ thông số chạy trên một GPU MI300X duy nhất, nhưng không cung cấp chỉ số hiệu suất nào. Thay vào đó, LLM đã viết một bài thơ về San Francisco, địa điểm diễn ra sự kiện của AMD. AMD cho biết đây là lần đầu tiên một mô hình lớn như vậy được chạy trên một GPU.
Hình ảnh 1 của 2
AMD cũng công bố Nền tảng AMD Instinct, kết hợp tám GPU MI300X trên một bo mạch chủ máy chủ duy nhất với tổng bộ nhớ HBM3 1,5TB. Nền tảng này tuân thủ OCP, trái ngược với nền tảng MGX độc quyền của Nvidia. AMD cho biết thiết kế nguồn mở này sẽ tăng tốc độ triển khai.
MI300A, kiểu CPU+GPU, hiện đang lấy mẫu. Nền tảng Bản năng MI300X và 8 GPU sẽ lấy mẫu trong quý thứ ba và ra mắt vào quý thứ tư. Chúng tôi vẫn đang tìm hiểu thêm thông tin chi tiết – hãy chú ý theo dõi để biết thêm thông tin trong những giờ tới.
