Nvidia tuần này đã giới thiệu phương pháp nén kết cấu mới cung cấp độ phân giải cao hơn bốn lần so với các phương pháp Mã hóa cắt khối (BTC, BC) truyền thống trong khi có các yêu cầu lưu trữ tương tự. Khái niệm cốt lõi của phương pháp được đề xuất là nén nhiều kết cấu vật liệu và chuỗi mipmap của chúng lại với nhau, sau đó giải nén chúng bằng mạng thần kinh được đào tạo cho một mẫu cụ thể mà nó giải nén. Về lý thuyết, phương pháp này thậm chí có thể tác động đến kiến trúc GPU trong tương lai. Tuy nhiên, hiện tại phương pháp này có những hạn chế.
Yêu cầu mới
Những tiến bộ gần đây trong kết xuất thời gian thực dành cho trò chơi điện tử đã đạt đến chất lượng hình ảnh của phim do sử dụng các kỹ thuật như đổ bóng dựa trên vật lý để tạo mô hình vật liệu quang học, dò tia, dò đường và khử nhiễu để chiếu sáng toàn cầu chính xác. Trong khi đó, các kỹ thuật tạo họa tiết không thực sự tiến bộ với tốc độ tương tự, chủ yếu là do các phương pháp nén họa tiết về cơ bản vẫn giống như vào cuối những năm 1990, đó là lý do tại sao trong một số trường hợp, nhiều đối tượng trông mờ khi ở gần.
Lý do cho điều này là do GPU vẫn dựa vào các phương pháp nén kết cấu dựa trên khối. Những kỹ thuật này có triển khai phần cứng rất hiệu quả (vì phần cứng có chức năng cố định hỗ trợ chúng đã phát triển trong hơn hai thập kỷ), truy cập ngẫu nhiên, định vị dữ liệu và chất lượng gần như không mất dữ liệu. Tuy nhiên, chúng được thiết kế cho tỷ lệ nén vừa phải giữa 4x và 8x và được giới hạn ở tối đa 4 kênh. Các trình kết xuất thời gian thực hiện đại thường yêu cầu nhiều thuộc tính vật liệu hơn, đòi hỏi nhiều kết cấu.
Phương pháp của Nvidia
Đây là nơi nén kết cấu vật liệu thần kinh truy cập ngẫu nhiên của Nvidia (mở trong tab mới) (NTC) phát huy tác dụng. Công nghệ của Nvidia cho phép bổ sung hai cấp độ chi tiết (nhiều tex hơn 16 lần, do đó độ phân giải cao hơn bốn lần) trong khi vẫn duy trì các yêu cầu lưu trữ tương tự như các phương pháp nén kết cấu truyền thống. Điều này có nghĩa là kết cấu được nén với tính năng tối ưu hóa theo từng vật liệu với độ phân giải lên tới 8192 x 8192 (8K) hiện khả thi.
Để làm như vậy, NTC khai thác các dự phòng theo không gian, trên các cấp độ mipmap và trên các kênh vật liệu khác nhau. Điều này đảm bảo rằng chi tiết kết cấu được giữ nguyên khi người xem ở gần một đối tượng, điều mà các phương pháp hiện đại không thể kích hoạt.
Nvidia tuyên bố rằng kết cấu NTC được giải nén bằng cách sử dụng phần cứng nhân ma trận, chẳng hạn như lõi tensor hoạt động theo cách hợp tác SIMD, có nghĩa là công nghệ mới không yêu cầu bất kỳ phần cứng có mục đích đặc biệt nào và có thể được sử dụng trên hầu như tất cả các GPU Nvidia hiện đại. Nhưng có lẽ mối quan tâm lớn nhất là mọi kết cấu đều yêu cầu mạng thần kinh được tối ưu hóa của riêng nó để giải nén, điều này gây thêm gánh nặng cho các nhà phát triển trò chơi.
Nvidia cho biết chất lượng kết cấu thu được ở các tốc độ bit cực thấp này được cho là tương đương hoặc tốt hơn các tiêu chuẩn nén hình ảnh gần đây, chẳng hạn như AVIF và JPEG XL, dù sao cũng không được thiết kế để giải nén thời gian thực với quyền truy cập ngẫu nhiên.
Ưu điểm và nhược điểm thực tế
Thật vậy, những hình ảnh do Nvidia trình diễn cho thấy rõ ràng rằng NTC tốt hơn các công nghệ dựa trên Mã hóa khối truyền thống. Tuy nhiên, Nvidia thừa nhận rằng phương pháp của họ chậm hơn so với các phương pháp truyền thống (GPU mất 1,15 mili giây để hiển thị hình ảnh 4K với họa tiết NTC và 0,49 mili giây để hiển thị hình ảnh 4K với họa tiết BC), nhưng nó cung cấp nhiều tex hơn 16 lần mặc dù có bộ lọc ngẫu nhiên .
Mặc dù NTC sử dụng nhiều tài nguyên hơn so với tính năng lọc kết cấu được tăng tốc phần cứng thông thường, nhưng kết quả cho thấy nó mang lại hiệu suất cao và phù hợp với kết xuất thời gian thực. Hơn nữa, trong các cảnh phức tạp sử dụng trình kết xuất có đầy đủ tính năng, chi phí của NTC có thể được bù đắp một phần bằng cách thực hiện đồng thời các tác vụ khác (ví dụ: dò tia) do khả năng ẩn độ trễ của GPU.
Trong khi đó, kết xuất với NTC có thể được tăng tốc kiến trúc phần cứng mới, tăng số lượng đơn vị nhân ma trận chuyên dụng có thể được sử dụng, tăng kích thước bộ đệm và đăng ký sử dụng. Trên thực tế, một số tối ưu hóa có thể được thực hiện ở cấp độ có thể lập trình.
Nvidia cũng thừa nhận rằng NTC không phải là phương pháp nén kết cấu hoàn toàn không mất dữ liệu và tạo ra sự xuống cấp hình ảnh ở tốc độ bit thấp và có một số hạn chế, chẳng hạn như độ nhạy với tương quan kênh, yêu cầu độ phân giải đồng nhất và lợi ích hạn chế ở khoảng cách máy ảnh lớn hơn. Hơn nữa, lợi thế tỷ lệ thuận với số lượng kênh và có thể không quan trọng đối với số lượng kênh thấp hơn. Ngoài ra, vì NTC được tối ưu hóa cho kết cấu vật liệu và luôn giải nén tất cả các kênh vật liệu, nên nó có khả năng không phù hợp để sử dụng trong các ngữ cảnh kết xuất khác nhau.
Mặc dù ưu điểm của NTC là nó không sử dụng phần cứng lọc kết cấu chức năng cố định để tạo ra kết quả vượt trội, nhưng đây cũng là nhược điểm chính của nó. Chi phí lọc kết cấu rất tốn kém về mặt tính toán, đó là lý do tại sao hiện tại lọc bất đẳng hướng với NTC không khả thi để hiển thị thời gian thực. Trong khi đó, lọc ngẫu nhiên có thể gây nhấp nháy.
Nhưng bất chấp những hạn chế, việc nén nhiều kênh và cấp độ mipmap của NTC cùng nhau tạo ra kết quả vượt quá tiêu chuẩn ngành. Các nhà nghiên cứu của Nvidia tin rằng cách tiếp cận của họ đang mở đường cho hình ảnh chất lượng điện ảnh trong kết xuất thời gian thực và rất thiết thực cho các ứng dụng đồ họa hạn chế về bộ nhớ. Tuy nhiên, nó giới thiệu một chi phí thời gian khiêm tốn so với các thuật toán BTC đơn giản, điều này ảnh hưởng đến hiệu suất.
