Phản hồi ChatGPT có giới hạn ký tự hoặc từ không?

Bài học chính

Những hạn chế trong phản hồi của ChatGPT thường bị hiểu nhầm là vô hạn, tuy nhiên, chúng phải chịu một số ràng buộc nhất định xuất phát từ các yếu tố như hệ thống dựa trên mã thông báo, các tương tác trước đó và yêu cầu tính toán.

Việc sử dụng mã thông báo trong ChatGPT phụ thuộc vào kích thước kết hợp của độ dài truy vấn và phản hồi, với dung lượng mã thông báo khác nhau được xác định bởi mô hình GPT cụ thể được sử dụng.

Để nhận được các câu trả lời mở rộng từ ChatGPT, người ta có thể chọn hỏi về việc tiếp tục của nó, chia truy vấn của họ thành nhiều phân đoạn, sử dụng giải pháp thay thế"tái tạo", áp đặt giới hạn từ cụ thể hoặc bắt đầu một cuộc đối thoại mới. Bằng cách triển khai các chiến lược này, người dùng có thể tránh được những hạn chế chưa được thừa nhận và đạt được những phản hồi toàn diện hơn.

Quả thực, ChatGPT đã thu hút được sự chú ý đáng kể trong thời gian gần đây. Tuy nhiên, người ta có thể suy ngẫm về mức độ phản hồi được tạo ra bởi tác nhân đàm thoại nhiều mặt này.

Sự phức tạp của việc xác định vấn đề này vượt xa sự hiểu biết đơn giản. Để minh họa, việc đặt truy vấn này cho ChatGPT sẽ làm sáng tỏ sự vắng mặt của các ràng buộc được xác định trước đối với các câu trả lời của nó.

Mặc dù thoạt nhìn quá trình này có vẻ đơn giản nhưng nó không phải không có những hạn chế. Cụ thể, tồn tại những hạn chế về độ dài phản hồi do ChatGPT tạo ra. Tuy nhiên, may mắn thay, có một số chiến lược hiệu quả có thể được sử dụng để thu được những phản hồi sâu rộng hơn từ mô hình ngôn ngữ này.

ChatGPT xác định độ dài của phản hồi như thế nào?

Hoạt động của ChatGPT về bản chất là phức tạp và độ dài phản hồi của nó có thể thay đổi dựa trên yêu cầu cụ thể và mức độ chi tiết mà người dùng tìm kiếm. Tuy nhiên, trái ngược với một số niềm tin, ChatGPT không áp đặt các giới hạn cứng nhắc cho chính nó như được chứng minh bằng ảnh chụp màn hình tiếp theo chứng thực thực tế này.

Việc tìm hiểu về khả năng và kiến ​​thức của ChatGPT không phải lúc nào cũng đáng tin cậy do có thể có sự thiên vị trong quá trình tự đánh giá và những hạn chế về thông tin có sẵn. Để đánh giá mức độ phản hồi của nó, một thử nghiệm đã được tiến hành trong đó chatbot được yêu cầu soạn một tài khoản 5000 từ toàn diện về bối cảnh lịch sử của FIFA World Cup. Đánh giá do ChatGPT cung cấp khác với những phát hiện của chúng tôi.

ChatGPT thể hiện khả năng vượt trội, tuy nhiên có lẽ yêu cầu đầu ra 5.000 từ là quá tham vọng, do đó đòi hỏi yêu cầu khiêm tốn hơn là 2.500 từ.

Bất chấp nỗ lực của chúng tôi nhằm tạo ra phản hồi từ 1.000 từ trở lên, ChatGPT không thể đáp ứng kết quả đầu ra được yêu cầu. Sau nhiều lần lặp lại, rõ ràng là chatbot không có khả năng tạo ra phản hồi rộng rãi như vậy. Câu hỏi đặt ra là yếu tố nào đang cản trở chatbot tạo ra các phản hồi dài hơn.

Một lời giải thích khả dĩ cho hiện tượng này có thể là do một khái niệm được gọi là hệ thống mã thông báo.

Hệ thống mã thông báo ChatGPT sử dụng là gì?

ChatGPT sử dụng hệ thống dựa trên mã thông báo để xác định độ dài phản hồi thay vì chỉ dựa vào số từ. Cách tiếp cận này không chỉ tính đến độ dài câu hỏi của người dùng mà còn tính đến độ dài phản hồi được tạo ra. Bằng cách chia nhỏ đầu vào và đầu ra thành các mã thông báo riêng lẻ, hệ thống sẽ phân loại hiệu quả kích thước của cả yêu cầu và phản hồi.

Mặc dù số từ đóng một vai trò trong việc này nhưng đó không phải là toàn bộ câu chuyện. Ví dụ: ví dụ bên dưới đã được nhập vào Công cụ Tokenizer của OpenAI.

Quá trình chia nhỏ cụm từ “Tôi đã gõ bao nhiêu từ” cùng với câu trả lời tương ứng là “6”, dẫn đến tổng số 9 mã thông báo, phù hợp với tiêu chuẩn điển hình của OpenAI trong đó một mã thông báo gần tương đương với khoảng 0,75 từ.

Tính khả dụng của các độ dài mã thông báo khác nhau trong các mô hình OpenAI GPT gây ra một sự phức tạp nhỏ. Mô hình GPT-4 mặc định được cung cấp như một phần của đăng ký ChatGPT Plus cung cấp phạm vi mã thông báo từ 4k đến 8k cho thông tin theo ngữ cảnh. Ngoài ra, còn có tùy chọn cho phiên bản ngữ cảnh mã thông báo mở rộng 32k của GPT-4. Ngược lại, dòng GPT-3.5 có nhiều cấu hình mã thông báo, bao gồm các biến thể mã thông báo 4k, 8k và 16k; tuy nhiên, không phải tất cả các tùy chọn này đều có thể truy cập được đối với công chúng.

Chúng tôi đã tiến hành thử nghiệm bằng cách sử dụng cả đường cơ sở GPT-3.5 và GPT-4 giả định với thông số 8k, mặc dù chúng tôi phải coi chỉ định sau là chưa được xác minh do có sự mâu thuẫn được quan sát thấy trong quá trình phân tích cửa sổ ngữ cảnh. Hơn nữa, không có bằng chứng xác thực nào từ các nguồn có thẩm quyền để xác thực tuyên bố rằng mô hình GPT-4 có sẵn tại chat.openai.com sở hữu các tham số 8k.

Các giới hạn do các mô hình tương ứng của GPT-3.5 4k và GPT-4 8k áp đặt dẫn đến các hạn chế đối với cả truy vấn của người dùng và câu trả lời tương ứng, trong đó GPT-3.5 bị giới hạn ở 4.097 mã thông báo trong khi GPT-4 8k có giới hạn là 8.192 mã thông báo. Theo OpenAI, những giới hạn này tương ứng với khoảng 3.000 từ đối với GPT-3.5 và từ 5.000 đến 6.000 từ đối với GPT-4 8k. Mặc dù sở hữu năng lực ngôn từ phong phú như vậy nhưng thật khó hiểu khi ChatGPT lại không thể tạo ra các bài viết vượt quá 2.500 từ hoặc thậm chí đạt tới 1.500 từ theo yêu cầu. Nó ra

Tại sao phản hồi của ChatGPT bị hạn chế?

Về lý thuyết, khái niệm về độ dài mã thông báo có vẻ đơn giản và hợp lý; tuy nhiên, các mô hình AI có tính đến một số yếu tố khi xem xét những hạn chế đó. Hai khía cạnh quan trọng đáng được đề cập.

Do tính chất đàm thoại, ChatGPT tính đến các trao đổi trước đó khi trả lời các truy vấn của người dùng. Do đó, ngay cả những lời nhắc và câu trả lời trước đó cũng là một phần của cửa sổ ngữ cảnh, điều này có thể ảnh hưởng đến giới hạn mã thông báo hiện có. Việc đánh giá thông tin liên quan không chỉ dừng lại ở việc ghép nối truy vấn và phản hồi ngay lập tức.

ChatGPT đã đạt được thành công đáng kể và đạt được mức tăng trưởng theo cấp số nhân, dẫn đến nhu cầu về các dịch vụ của mình tăng cao đặc biệt. Để đáp ứng lượng người dùng, điều quan trọng cần lưu ý là số lượng mã thông báo có sẵn có thể dao động và có thể không nhất thiết phải tương đương với giới hạn đã nêu là 8000 mã thông báo mỗi tháng. Ngoài ra, các biện pháp đã được triển khai để điều chỉnh số lượng yêu cầu được đưa ra bởi người dùng cá nhân nhằm phân phối tải trên toàn hệ thống và duy trì hiệu suất tối ưu.

Cần lưu ý rằng không có hướng dẫn tuyệt đối nào được đưa ra-chúng tôi thực sự đã đưa ra những phản hồi vượt xa con số này gần hai trăm từ. Tuy nhiên, nó có thể được coi là mức trần có thể chấp nhận được để đưa ra câu trả lời toàn diện.

Cách nhận phản hồi dài hơn từ ChatGPT

Khi nhận ra sự tồn tại của ranh giới ngầm trong các câu trả lời của ChatGPT, một số cách tiếp cận đơn giản có thể được sử dụng để đưa ra các câu trả lời toàn diện hơn.

⭐ Yêu cầu ChatGPT tiếp tục: Nếu ChatGPT dừng giữa chừng khi trả lời thì có một lựa chọn là chỉ cần yêu cầu nó tiếp tục. Trong ví dụ bên dưới, chúng tôi đã nhập “Tiếp tục” và nó đã thêm hai trăm từ khác vào câu trả lời.

⭐ Chia câu hỏi của bạn thành các phần nhỏ hơn: Ví dụ: chúng tôi đã nhiều lần yêu cầu bạn viết một bài luận về tác động của AI đối với xã hội. Một lựa chọn ở đây là yêu cầu nó gạch đầu dòng một số chủ đề cho một bài luận về AI, sau đó sử dụng các dấu đầu dòng được cung cấp làm lời nhắc riêng lẻ.

Cho rằng việc cố gắng tạo lại giải pháp có thể dẫn đến một lỗi giống hệt nhau, người ta có thể lập luận rằng việc thử này không có hại gì. Bất chấp nguy cơ lặp lại vấn đề, việc khám phá tất cả các lựa chọn có sẵn trước khi loại bỏ chúng vì vô ích có thể có ích.

⭐ Chỉ định giới hạn trên cho số từ trong lời nhắc của bạn: Hình ảnh bên dưới minh họa cách sử dụng tính năng này để điều khiển số từ tối đa trong câu trả lời.

Bắt đầu một cuộc đối thoại mới mang lại cơ hội cho một khung vẽ trống mà trên đó người ta có thể xây dựng một cuộc trao đổi ý tưởng mới lạ mà không có bất kỳ quan niệm hoặc thành kiến ​​​​định sẵn nào bắt nguồn từ những tương tác trước đó. Bằng cách bắt đầu một cuộc thảo luận mới, người ta có thể khai thác lợi thế của bối cảnh chưa được khai thác và chưa được khám phá, từ đó cho phép trao đổi năng động và sáng tạo hơn giữa các bên liên quan.

Để nhận được câu trả lời toàn diện từ ChatGPT, hãy cân nhắc triển khai những đề xuất này. Điều này cũng có thể tránh được hạn chế không chính thức về thời lượng phản hồi.

ChatGPT: Chất lượng hơn số lượng

Mặc dù không có mức trần dứt khoát về thời lượng phản hồi ChatGPT được xác định thông qua các kênh được ủy quyền, nhưng vẫn tồn tại những hạn chế thực tế được xác định bởi các yếu tố như trao đổi lịch sử và nguồn lực sẵn có hiện tại. Bằng cách sử dụng các chiến thuật như phân chia truy vấn, thu hút đầu vào mở rộng từ AI, bắt đầu các cuộc thảo luận mới, áp đặt các hạn chế về số lượng từ hoặc bắt đầu các cuộc đối thoại thay thế, người dùng có thể nhận được các câu trả lời toàn diện và kéo dài hơn những gì thường được cung cấp. Mặc dù không hoàn hảo nhưng việc hiểu được những ranh giới ngầm này và sử dụng các phương pháp phù hợp cho phép các cá nhân có được tiện ích tối ưu từ tác nhân AI có khả năng đàm thoại mạnh mẽ này.