Biểu đồ của các nhà nghiên cứu về sự suy giảm đáng báo động về chất lượng phản hồi ChatGPT

Trong những tháng gần đây, đã có rất nhiều bằng chứng mang tính giai thoại và những lời xì xào chung liên quan đến sự suy giảm chất lượng của các phản hồi ChatGPT. Một nhóm các nhà nghiên cứu từ Stanford và UC Berkeley đã quyết định xác định xem liệu có thực sự có sự xuống cấp hay không và đưa ra các số liệu để đo lường quy mô của sự thay đổi bất lợi. Tóm lại, việc giảm chất lượng ChatGPT chắc chắn là ngoài sức tưởng tượng.

Ba học giả nổi tiếng, Matei Zaharia, Lingjiao Chen và James Zou, đứng sau bài báo nghiên cứu được xuất bản gần đây Hành vi của ChatGPT thay đổi theo thời gian như thế nào? (PDF) Đầu ngày hôm nay, Giáo sư Khoa học Máy tính tại UC Berkeley, Zaharia, đã lên Twitter để chia sẻ những phát hiện. Anh ấy đã nhấn mạnh một cách đáng ngạc nhiên rằng “Tỷ lệ thành công của GPT -4 trên ‘số này có phải là số nguyên tố không? Nghĩ từng bước một’ đã giảm từ 97,6% xuống 2,4% từ tháng 3 đến tháng 6.”