Có rất nhiều cách để bạn có thể trò chuyện bằng văn bản với mô hình ngôn ngữ lớn, từ ChatGPT đến Google Bard hoặc MLC LLM, một chatbot cục bộ có thể chạy trên điện thoại của bạn. Biên giới tiếp theo của AI là mang sức mạnh của LLM cho các NPC (nhân vật không phải người chơi) trong các trò chơi mà thay vì có một tập hợp tương tác đóng hộp, bạn có thể có một cuộc trò chuyện cởi mở.
Trong bài phát biểu quan trọng về Computex 2023, Giám đốc điều hành Nvidia, Jensen Huang, đã tiết lộ ACE for Games, một dịch vụ đúc mô hình AI, được thiết kế để đưa các nhân vật trong trò chơi vào cuộc sống bằng cách sử dụng hội thoại ngôn ngữ tự nhiên, chuyển âm thanh thành biểu cảm khuôn mặt và chuyển văn bản thành giọng nói/lời nói. -khả năng văn bản. Huang đã chiếu một bản demo trò chơi trong đó một NPC tên là Jin, người điều hành một cửa hàng mì ramen, tương tác với một người chơi đang đặt câu hỏi bằng giọng nói và nhận lại những câu trả lời nghe có vẻ như thật phù hợp với cốt truyện của NPC.
Trong bản demo, người chơi (tên là Kai), bước vào cửa hàng Ramen của Jin, hỏi anh ấy dạo này thế nào (bằng giọng nói) và trò chuyện về thực tế là khu vực này có tỷ lệ tội phạm cao. Kai hỏi liệu anh ấy có thể giúp gì không và Jin trả lời rằng “nếu bạn muốn làm điều gì đó về việc này, tôi đã nghe tin đồn rằng chúa tể tội phạm quyền lực Kumon Aoki đang gây ra đủ loại hỗn loạn trong thành phố. Hắn có thể là gốc rễ của bạo lực này .” Kai hỏi tìm Aoki ở đâu và Jin nói với anh ta, khiến người dùng bắt đầu nhiệm vụ của mình.
“AI không chỉ đóng góp vào việc tái tạo và tổng hợp môi trường, mà còn tạo hoạt ảnh cho các nhân vật,” Huang nói. “AI sẽ là một phần rất quan trọng trong tương lai của trò chơi điện tử.”
Nvidia ACE for Games sẽ cung cấp khả năng truy cập tốc độ cao vào ba thành phần khác nhau hiện có. Đầu tiên, Nvidia NeMo, là một khung AI để đào tạo và triển khai LLM và nó bao gồm NeMo Guardrails, được thiết kế để ngăn chặn các cuộc hội thoại AI không phù hợp/”không an toàn”. Có lẽ, điều này sẽ ngăn các NPC trả lời những lời nhắc không phù hợp, lạc đề từ người dùng. Guardrails cũng có tính năng bảo mật sẽ ngăn người dùng hoặc những người sắp sửa “bẻ khóa” các bot và khiến chúng làm những việc xấu.
Nvidia Riva là giải pháp chuyển giọng nói thành văn bản/text-to-speech của công ty. Trong quy trình làm việc của ACE dành cho trò chơi, người chơi sẽ đặt câu hỏi qua micrô của họ và Riva sẽ chuyển đổi câu hỏi đó thành văn bản được cung cấp cho LLM. LLM sau đó sẽ tạo ra một phản hồi bằng văn bản mà Riva chuyển lại thành lời nói mà người dùng sẽ nghe thấy. Tất nhiên, chúng tôi mong trò chơi cũng hiển thị câu trả lời bằng văn bản. Bạn có thể tự mình thử khả năng chuyển giọng nói thành văn bản và chuyển văn bản thành giọng nói của Nvidia Riva trên trang web của công ty.
Nvidia Omniverse Audio2Face cung cấp bước cuối cùng trong quy trình làm việc của ACE dành cho trò chơi vì nó cho phép các nhân vật có biểu cảm khuôn mặt khớp với những gì họ đang nói. Công ty hiện đang cung cấp sản phẩm này ở dạng beta và bạn có thể dùng thử tại đây.
Bản demo, có tên là Kairos, được thiết kế bởi Convai, một công ty khởi nghiệp về AI trong trò chơi, là một phần của chương trình Inception của Nvidia nhằm kết nối các công ty mới nổi với vốn đầu tư mạo hiểm. Trên trang web của công ty, nó cung cấp một bộ công cụ cho phép các nhà phát triển trò chơi xây dựng các NPC giống như thật với những cốt truyện phức tạp.
Công ty có một video giải thích tuyệt vời về cách các công cụ của họ hoạt động và những gì họ có thể làm. Trong video, bạn có thể thấy người chơi nói chuyện với các NPC và yêu cầu họ làm những việc liên quan đến đồ vật thực tế và các nhân vật khác trong trò chơi.
Ví dụ: trong video, một người chơi yêu cầu NPC đưa cho anh ta một khẩu súng đang đặt trên bàn và NPC đã làm theo. Trong một phần khác của video, người chơi yêu cầu một NPC lính bắn vào một mục tiêu nằm ở một địa điểm cụ thể. Chúng tôi cũng xem cách các công cụ của Convai biến tất cả những điều này thành có thể.
Có bối cảnh được thêm vào để NPC biết những gì đang diễn ra trong trò chơi là rất quan trọng. Gần đây, chúng tôi đã thử nghiệm một plugin Minecraft AI cho phép bạn nói chuyện với các NPC trong trò chơi đó, nhưng các NPC này hoàn toàn không có nhận thức về tình huống. Chẳng hạn, chúng tôi có thể tiếp tục trò chuyện với một con cừu sau khi chúng tôi giết nó (và nó không biết là nó đã chết).
