Czy odpowiedzi na ChatGPT mają limit znaków lub słów?
Kluczowe wnioski
Ograniczenia odpowiedzi ChatGPT są często błędnie rozumiane jako nieograniczone, jednak podlegają one pewnym ograniczeniom, które wynikają z czynników takich jak system oparty na tokenach, poprzednie interakcje i wymagania obliczeniowe.
Wykorzystanie tokenów w ChatGPT jest zależne od połączonych wymiarów zapytania i długości odpowiedzi, z różnymi pojemnościami tokenów określonymi przez zastosowany konkretny model GPT.
Aby uzyskać dłuższe odpowiedzi od ChatGPT, można zapytać o jego kontynuację, podzielić zapytanie na wiele segmentów, zastosować alternatywę “regeneruj”, nałożyć określone ograniczenie słów lub zainicjować nowy dialog. Wdrażając te strategie, użytkownicy mogą obejść nieuznane ograniczenia i uzyskać bardziej kompleksowe odpowiedzi.
Rzeczywiście, ChatGPT przyciągnął ostatnio znaczną uwagę. Można jednak zastanawiać się nad zakresem informacji zwrotnych generowanych przez tego wieloaspektowego agenta konwersacyjnego.
Złożoność określenia tej kwestii wykracza poza uproszczone zrozumienie. Aby to zilustrować, skierowanie tego zapytania do ChatGPT wyjaśnia brak z góry określonych ograniczeń w jego odpowiedziach.
Chociaż proces ten może wydawać się prosty na pierwszy rzut oka, nie jest on pozbawiony ograniczeń. W szczególności istnieją ograniczenia dotyczące długości odpowiedzi generowanych przez ChatGPT. Na szczęście jednak istnieje kilka skutecznych strategii, które można zastosować w celu uzyskania bardziej rozbudowanych odpowiedzi z tego modelu językowego.
Jak ChatGPT określa długość odpowiedzi?
Działanie ChatGPT ma skomplikowany charakter, a długość jego odpowiedzi może się różnić w zależności od konkretnego zapytania i stopnia szczegółowości poszukiwanego przez użytkownika. W przeciwieństwie jednak do niektórych przekonań, ChatGPT nie narzuca sobie sztywnych ograniczeń, o czym świadczy kolejny zrzut ekranu.
Zapytanie o możliwości i wiedzę ChatGPT nie zawsze jest wiarygodne ze względu na potencjalną stronniczość w samoocenie i ograniczenia w dostępnych informacjach. Aby ocenić zakres jego responsywności, przeprowadzono eksperyment, w którym chatbot został poproszony o skomponowanie obszernego, liczącego 5000 słów opisu historycznego tła Mistrzostw Świata FIFA. Ocena dostarczona przez ChatGPT odbiegała od naszych ustaleń.
ChatGPT wykazuje ogromne możliwości, ale być może żądanie 5000 słów było zbyt ambitne, co wymagało skromniejszego żądania 2500 słów.
Pomimo naszych prób wygenerowania odpowiedzi składającej się z 1000 lub więcej słów, ChatGPT nie był w stanie spełnić żądanego wyniku. Po kilku iteracjach stało się jasne, że chatbot nie jest w stanie wygenerować tak obszernej odpowiedzi. Powstaje pytanie, jakie czynniki utrudniają chatbotowi generowanie dłuższych odpowiedzi.
Jedno z możliwych wyjaśnień tego zjawiska można przypisać koncepcji znanej jako system tokenów.
Jakiego systemu tokenów używa ChatGPT?
ChatGPT wykorzystuje system oparty na tokenach do określania długości swoich odpowiedzi, zamiast polegać wyłącznie na liczbie słów. Podejście to uwzględnia nie tylko długość zapytań użytkowników, ale także długość generowanych odpowiedzi. Rozbijając dane wejściowe i wyjściowe na poszczególne tokeny, system skutecznie kategoryzuje rozmiar zarówno żądań, jak i odpowiedzi.
Chociaż liczba słów odgrywa w tym rolę, nie jest to cała historia. Na przykład poniższy przykład został wprowadzony do narzędzia OpenAI’s Tokenizer .
Proces rozbijania frazy “Ile słów wpisałem” wraz z odpowiadającą jej odpowiedzią “6”, zaowocował całkowitą liczbą dziewięciu tokenów, co jest zgodne z typowym standardem OpenAI, w którym jeden token w przybliżeniu odpowiada około 0,75 słowa.
Dostępność różnych długości tokenów w modelach GPT OpenAI stanowi niewielką komplikację. Domyślny model GPT-4 dostarczany w ramach subskrypcji ChatGPT Plus zapewnia zakres od 4k do 8k tokenów dla informacji kontekstowych. Dodatkowo istnieje opcja rozszerzonej wersji GPT-4 z 32 tys. tokenów kontekstu. Z kolei seria GPT-3.5 oferuje wiele konfiguracji tokenów, w tym warianty tokenów 4k, 8k i 16k; jednak nie wszystkie z tych opcji są dostępne dla ogółu społeczeństwa.
Przeprowadziliśmy nasz eksperyment, wykorzystując zarówno linię bazową GPT-3.5, jak i hipotetyczny GPT-4 z parametrami 8k, chociaż musimy zakwalifikować to drugie oznaczenie jako niezweryfikowane ze względu na niespójności zaobserwowane podczas analizy okna kontekstowego. Co więcej, nie ma żadnych potwierdzających dowodów z wiarygodnych źródeł, aby potwierdzić twierdzenie, że model GPT-4 dostępny na chat.openai.com posiada parametry 8k.
Ograniczenia nałożone przez odpowiednie modele GPT-3.5 4k i GPT-4 8k skutkują ograniczeniami zarówno zapytań użytkowników, jak i odpowiadających im odpowiedzi, przy czym GPT-3.5 jest ograniczony do 4097 tokenów, podczas gdy GPT-4 8k ma limit 8192 tokenów. Według OpenAI limity te przekładają się na około 3000 słów w przypadku GPT-3.5 i od 5000 do 6000 słów w przypadku GPT-4 8k. Pomimo posiadania tak dużej pojemności słów, zastanawiające jest, że ChatGPT nie był w stanie tworzyć artykułów przekraczających 2500 słów, a nawet osiągających 1500 słów na żądanie. Dlaczego odpowiedzi ChatGPT są ograniczone?
W teorii koncepcja długości tokena wydaje się prosta i rozsądna; jednak modele sztucznej inteligencji uwzględniają kilka czynników przy rozważaniu takich ograniczeń. Warto wspomnieć o dwóch kluczowych aspektach.
Ze względu na swój konwersacyjny charakter, ChatGPT bierze pod uwagę poprzednie wymiany podczas odpowiadania na zapytania użytkowników. W związku z tym nawet wcześniejsze monity i odpowiedzi stanowią część okna kontekstowego, co może mieć wpływ na dostępny limit tokenów. Ocena istotnych informacji wykracza poza bezpośrednie parowanie zapytań i odpowiedzi.
ChatGPT osiągnął niezwykły sukces i doświadczył gwałtownego wzrostu, co spowodowało wyjątkowo wysoki poziom popytu na jego usługi. Aby dostosować się do napływu użytkowników, należy pamiętać, że ilość dostępnych tokenów może się zmieniać i niekoniecznie musi być równa podanemu limitowi 8000 tokenów miesięcznie. Ponadto wdrożono środki mające na celu regulację liczby żądań składanych przez poszczególnych użytkowników w celu rozłożenia obciążenia w systemie i utrzymania optymalnej wydajności.
Należy zauważyć, że nie istnieją żadne bezwzględne wytyczne - w rzeczywistości udzieliliśmy odpowiedzi przekraczających ten limit o prawie dwieście słów. Niemniej jednak można to uznać za akceptowalny pułap dla udzielania wyczerpujących odpowiedzi.
Jak uzyskać dłuższe odpowiedzi od ChatGPT
Po rozpoznaniu istnienia ukrytej granicy w odpowiedziach ChatGPT, można zastosować kilka prostych podejść, aby uzyskać bardziej wyczerpujące odpowiedzi.
⭐ Poproś ChatGPT o kontynuowanie: Jeśli ChatGPT zatrzyma się w połowie odpowiedzi, jedną z opcji jest po prostu poproszenie go o kontynuowanie. W poniższym przykładzie wpisaliśmy “Kontynuuj”, co spowodowało dodanie kolejnych dwustu słów do odpowiedzi. 
⭐ Podziel pytanie na mniejsze sekcje: Na przykład kilkakrotnie prosiliśmy o napisanie eseju na temat wpływu sztucznej inteligencji na społeczeństwo. Jedną z opcji jest poproszenie go o wypunktowanie niektórych tematów eseju na temat sztucznej inteligencji, a następnie użycie dostarczonych wypunktowań jako indywidualnych podpowiedzi. 
Biorąc pod uwagę, że próba odtworzenia rozwiązania może skutkować identycznym błędem, można argumentować, że nie ma nic złego w próbowaniu. Pomimo możliwości powtórzenia problemu, korzystne może być zbadanie wszystkich dostępnych opcji przed odrzuceniem ich jako daremnych.
⭐ Określ górny limit liczby słów w podpowiedzi: Poniższy obrazek ilustruje, jak można to wykorzystać do manipulowania maksymalną liczbą słów w odpowiedzi. 
Rozpoczęcie nowego dialogu stanowi okazję do stworzenia czystego płótna, na którym można skonstruować nową wymianę pomysłów pozbawioną jakichkolwiek uprzedzeń lub uprzedzeń wynikających z poprzednich interakcji. Inicjując nową dyskusję, można wykorzystać przewagę niewykorzystanego kontekstu, który nie został jeszcze zbadany, co pozwala na bardziej dynamiczną i kreatywną wymianę między zaangażowanymi stronami.
Aby uzyskać wyczerpujące odpowiedzi z ChatGPT, rozważ wdrożenie tych sugestii, które mogą również obejść nieformalne ograniczenie długości odpowiedzi.
ChatGPT: Jakość ponad ilość
Chociaż nie ma ostatecznego limitu długości odpowiedzi ChatGPT uzyskanych za pośrednictwem autoryzowanych kanałów, istnieją praktyczne ograniczenia, które są określane przez czynniki takie jak historyczne wymiany i bieżąca dostępność zasobów. Stosując taktyki, takie jak dzielenie zapytań, zabieganie o rozszerzony wkład ze strony sztucznej inteligencji, inicjowanie nowych dyskusji, nakładanie ograniczeń liczby słów lub rozpoczynanie alternatywnych dialogów, użytkownicy mogą uzyskać bardziej kompleksowe i dłuższe odpowiedzi niż te, które byłyby zwykle udzielane. Chociaż niedoskonałe, zrozumienie tych milczących granic i wykorzystanie odpowiednich metodologii pozwala osobom fizycznym czerpać optymalną użyteczność z tego potężnego agenta konwersacyjnej sztucznej inteligencji.