Sự khuếch tán ổn định chỉ chạy trong 260 MB RAM trên Raspberry Pi

Khuếch tán ổn định là một ứng dụng học sâu giúp tạo hình ảnh từ lời nhắc văn bản. Được phát hành vào năm 2022, nó yêu cầu sức mạnh tính toán cao hơn đáng kể so với Raspberry Pi. Thành tích ấn tượng này được kết hợp bởi nhà sản xuất và nhà phát triển Vita Plantamura, người đã quản lý để chạy thành công mô hình Khuếch tán ổn định 1 tỷ tham số trên Raspberry Pi Zero 2 W chỉ sử dụng 260MB RAM.

Đây là một kỳ tích ấn tượng, phần lớn là do Raspberry Pi Zero 2 W được biết đến với thiết kế nhỏ gọn hơn là hiệu năng tính toán. Nhưng nó không chỉ nhỏ về mặt vật lý mà còn có những hạn chế về phần cứng làm hạn chế hiệu suất của nó. Trong trường hợp này, Pi Zero 2 W chỉ có 512 MB RAM. Khuếch tán ổn định ưu tiên ít nhất 8GB RAM để có hiệu suất tối ưu.

Plantamura đã có thể thực hiện công việc này bằng cách phát triển cái mà anh ấy gọi là OnnxStream. Đây là thư viện suy luận được thiết kế đặc biệt nhằm giảm mức tiêu thụ bộ nhớ để có thể tạo hình ảnh trên Raspberry Pi Zero 2 W. Nó có thiết thực không? Không nhìn thấy chính xác vì phải mất nhiều thời gian hơn để tạo hình ảnh. Hình ảnh được tạo bằng bộ giải mã VAE ở độ chính xác W8A8 có thể mất ba giờ để tạo. Tuy nhiên, nó hoạt động và nó khá ấn tượng về mặt đó. Theo Plantamura, OnnxStream tiêu thụ bộ nhớ ít hơn 55 lần so với OnnxRuntime nhưng chỉ chậm hơn nhiều nhất là gấp đôi.

OnnxStream có rất nhiều tính năng hữu ích cho những người muốn tạo bằng công cụ này. Một vài ví dụ bao gồm phân chia sự chú ý, cả lượng tử hóa động và tĩnh, hỗ trợ FP16 và thậm chí là một công cụ suy luận được tách rời khỏi WeightsProvider. Bạn có thể tìm thấy danh sách đầy đủ các tính năng tại trang dự án chính thức.