주요 내용
ChatGPT는 무제한 응답을 제공한다고 주장하지만, 토큰 시스템, 이전 상호작용, 운영 요구 사항 등의 요인으로 인해 본질적인 제한이 있다는 점에 유의하는 것이 중요합니다. 이러한 제약으로 인해 출력 길이가 제한될 수 있습니다.
ChatGPT에서 사용하는 토큰 할당은 문의의 길이뿐만 아니라 응답의 길이도 고려하며, 허용되는 토큰 한도는 사용되는 특정 GPT 버전에 따라 달라집니다.
ChatGPT의 긴 응답을 유도하려면 모델에 계속 진행 요청하기, 문의를 여러 세그먼트로 나누기, “재생성” 기능 활용하기, 단어 수 제한 적용하기, 새 대화 시작하기 등의 전략을 사용하는 것이 좋습니다. 이러한 전략을 구현하면 인식되지 않은 한계를 우회하고 AI 언어 모델로부터 보다 포괄적인 응답을 이끌어낼 수 있습니다.
실제로 ChatGPT는 최근 상당한 관심을 불러일으키고 있습니다. 그러나 대화 에이전트로서의 다각적인 기능을 통해 이끌어내는 피드백의 정도에 대해 생각해 볼 수 있습니다.
실제로 처음에는 이러한 매개변수를 정의하는 것이 간단한 프로세스로 구성될 것이라고 생각할 수 있지만, ChatGPT 자체에서 문의해 보면 응답의 확장에 무한한 차원이 존재한다는 것을 알 수 있습니다.
언뜻 보기에는 간단해 보일 수 있지만, 사실 ChatGPT에서 생성되는 응답의 길이에는 한계가 있습니다. 그러나 필요한 경우 보다 광범위한 답변을 제공할 수 있는 영리한 솔루션이 있습니다.
ChatGPT는 응답 길이를 어떻게 결정하나요?
ChatGPT의 기능은 다방면에 걸쳐 있으며, 문의의 성격과 필요한 구체성의 정도에 따라 응답의 길이가 달라질 수 있습니다. 이러한 복잡성에도 불구하고 다음 스크린샷에서 볼 수 있듯이 ChatGPT는 엄격한 제한을 두지 않습니다.
ChatGPT의 기능과 관련하여 단어 수에 대한 한계를 확인하기 위해, 저희는 인공지능에게 FIFA 월드컵의 역사적 진화에 대한 5000개의 단어로 구성된 포괄적인 글을 작성하도록 요청하는 실험을 진행했습니다. 흥미롭게도 실험 결과는 ChatGPT의 자체 평가 결과와 크게 달랐습니다.
제 기대치를 더 잘 관리하고 ChatGPT와의 보다 생산적인 상호작용을 촉진하기 위해 원래 규정된 5,000단어 대신 2,500단어로 단어 수를 줄이기로 결정했습니다.
이러한 시도에도 불구하고 ChatGPT는 1,000단어 응답 요청을 충족할 수 없었습니다. 여러 번의 반복을 시도한 끝에 챗봇에서 약 1,000단어만 생성할 수 있었습니다. 그러나 반복적인 시도에도 챗봇으로부터 1,000단어 응답을 얻지 못했을 때 예상치 못한 장애물이 발생했습니다. 챗봇의 확장 응답 생성 능력을 제한하는 요인은 무엇일까요?
이 현상에 대한 한 가지 가능한 설명은 토큰 시스템이라는 개념에 기인할 수 있습니다.
ChatGPT가 사용하는 토큰 시스템이란 무엇인가요?
ChatGPT는 단어 수에만 의존하지 않고 응답의 길이를 결정하기 위해 토큰 기반 시스템을 사용합니다. 이 접근 방식은 쿼리와 답변을 개별 토큰으로 분류하여 각각의 크기를 평가할 때 쿼리와 답변을 모두 고려합니다. 이렇게 함으로써 시스템은 요청과 응답 차원을 정확하게 분류할 수 있습니다.
단어 수가 여기에 영향을 미치기는 하지만, 이것이 전부는 아닙니다. 예를 들어, 아래 예제는 OpenAI의 토큰화 도구에 입력된 .
입력된 텍스트를 분석한 결과, “몇 단어를 입력했나요”라는 문구와 그에 해당하는 응답 “6”이 총 9개의 토큰으로 구성되어 있는 것으로 확인되었습니다. OpenAI의 확립된 가이드라인에 따라 각 토큰은 대략 단어 길이의 약 75%에 해당하는 것으로 간주됩니다.
OpenAI가 제시한 GPT 모델 내에서 다양한 토큰 길이를 사용할 수 있는 것은 다소 복잡한 것으로 간주될 수 있습니다. ChatGPT Plus 멤버십에 포함된 일반 GPT-4 버전은 컨텍스트 크기에 따라 4k~8k 토큰 범위를 포함합니다. 또한 OpenAI에서 제공하는 32k 토큰 컨텍스트 GPT-4 모델도 있습니다. GPT-3.5 컬렉션의 경우 토큰 수에 대한 여러 옵션이 존재합니다. 특히, GPT-3.5 시리즈에는 4k, 8k, 16k 토큰 변형이 있습니다. 하지만 이러한 모든 버전이 일반 대중에게 공개되지는 않았습니다.
평가를 수행하기 위해 기본 GPT-3.5와 가상의 GPT-4 8k 버전의 언어 모델을 모두 활용했습니다. 그러나 컨텍스트 창 테스트를 통해 “8k”라는 명칭을 확인할 수 없었으며, 또한 chat.openai.com에서 제공되는 GPT-4 모델의 파라미터 수가 그렇게 많은지 여부에 대해 OpenAI로부터 공식적인 확인을 받지 못했다는 점에 유의해야 합니다.
OpenAI에서 제공한 정보에 따르면, GPT-3.5 4k 및 GPT-4 8k 모델의 최대 토큰 한도는 전자의 경우 4,097 토큰, 후자의 경우 8,192 토큰으로 설정되어 있는 것으로 보입니다. 그러나 자세히 살펴보면 약 2,500단어에서 1,500단어의 요청에 대한 응답으로 ChatGPT가 더 긴 기사를 생성하지 못한 이유에 대해 일관성이 없어 보입니다. 이는 생성된 텍스트가 해당 모델의 광고된 토큰 또는 컨텍스트 제한에 크게 미치지 못하는 이유에 대한 의문을 제기합니다.
ChatGPT의 응답이 제한되는 이유는 무엇인가요?
토큰 길이의 개념은 서류상으로는 단순해 보이지만, 인공지능 모델에서 고려할 때는 미묘한 차이가 있습니다. 이 측면을 평가할 때 두 가지 핵심 요소가 작용합니다.
대화 기반 챗봇인 ChatGPT는 일관성과 자연스러운 대화를 유지하기 위해 질문에 답변할 때 이전 논의를 고려합니다. 따라서 이전의 프롬프트와 응답도 컨텍스트 창에 포함되며, 이는 사용 가능한 토큰 한도에 영향을 줄 수 있습니다. 컨텍스트 창을 결정하는 것은 단순히 가장 최근의 질문과 답변을 검토하는 것 이상으로 확장됩니다.
ChatGPT는 기하급수적인 성장과 인기를 얻으며 서비스에 대한 높은 수요를 경험했습니다. 이러한 사용자 유입을 수용하기 위해 사용 가능한 토큰 수가 변동될 수 있으며, 이로 인해 응답 시간에 영향을 미칠 수 있습니다. 따라서 전반적인 시스템 부담을 완화하기 위해 개별 요청을 공지된 토큰 할당량 이하로 제한하는 조치를 시행하고 있습니다.
트위터에서 제시된 단어 수를 200단어 가까이 초과한 결과에서 알 수 있듯이, 이와 관련하여 딱딱하고 빠른 규칙은 없다는 점에 유의해야 합니다. 그럼에도 불구하고 주어진 제한의 범위 내에서 포괄적인 답변을 생성하기 위한 벤치마크로 삼을 수 있습니다.
ChatGPT에서 더 긴 응답을 얻는 방법
ChatGPT의 출력에 내재된 제약이 존재한다는 것을 인식하면 몇 가지 간단한 전략을 사용하여 AI 언어 모델로부터 더 포괄적이고 만족스러운 응답을 이끌어낼 수 있습니다.
⭐ ChatGPT에 계속을 요청합니다: ChatGPT가 답변 도중에 멈추는 경우 한 가지 옵션은 단순히 계속하도록 요청하는 것입니다. 아래 예에서는 “계속”이라고 입력했더니 응답에 200단어를 더 추가했습니다. 
⭐ 질문을 더 작은 섹션으로 나누세요: 예를 들어 AI가 사회에 미치는 영향에 대한 에세이를 작성해 달라고 여러 번 요청했습니다. 여기서 한 가지 옵션은 AI에 대한 에세이의 몇 가지 주제를 글머리 기호로 표시하도록 요청한 다음 제공된 글머리 기호를 개별 프롬프트로 사용하는 것입니다. 
코드를 다시 생성하려고 시도하면 동일한 오류가 표시될 수 있지만, 시도해도 아무런 결과가 없다는 점을 고려하면 최후의 수단으로 시도해 볼 가치가 있을 수 있습니다.
⭐ 프롬프트에서 단어 수에 대한 상한을 지정합니다: 아래 이미지는 이 기능을 사용하여 답변의 최대 단어 수를 조작하는 방법을 보여줍니다. 
새로운 대화를 시작하면 사전 토론이나 상호작용에 구애받지 않고 새로운 아이디어를 창출하고 탐색할 수 있는 깨끗한 캔버스를 만들 수 있는 기회가 제공됩니다. 한 가지 중요한 점은 ChatGPT는 대화 내 이전 프롬프트와 응답을 고려하여 결과물을 생성한다는 점입니다. 따라서 새로운 토론을 시작하면 아직 활용되지 않은 맥락 정보에 접근할 수 있는 이점이 있으며, 이를 통해 독특하고 통찰력 있는 교류의 잠재력을 높일 수 있습니다.
이러한 전략을 구현함으로써 사용자는 시스템에서 부과하는 응답 길이에 대한 비공식적인 제약을 우회하면서 ChatGPT로부터 보다 포괄적인 응답을 얻을 수 있습니다.
ChatGPT: 양보다 질
ChatGPT 응답 길이의 상한에 대한 명시적인 규정은 없지만, 토큰 기반 시스템 내의 이전 상호 작용 및 현재 수요와 같은 요소의 영향을 받는 특정 암묵적인 제한이 존재합니다. 쿼리 분할, 재생성 커뮤니케이션 주기 시작, 특정 어휘 상한선 설정, 새로운 대화 시작과 같은 전략을 사용하면 AI 기반 대화 촉진자로부터 보다 포괄적이고 장기적인 재참여자를 추출할 수 있습니다. 불완전하지만 이러한 공식화되지 않은 경계를 인식하고 적절한 전술을 구현함으로써 사용자는 이 고급 언어 모델에 대한 경험을 최적화할 수 있습니다.