ChatGPT 回應有字元或字數限制嗎?
要點
ChatGPT 回應的限制經常被誤解為無限，然而，它們受到基於令牌的系統、先前的互動和計算要求等因素的某些限制。
ChatGPT 中的令牌利用率取決於查詢和回應長度的組合維度，不同的令牌容量由所使用的特定 GPT 模型決定。
為了從 ChatGPT 獲得擴展答复，人們可以選擇詢問其延續性、將其查詢分為多個部分、採用「重新生成」替代方案、施加特定的字數限製或發起新的對話。透過實施這些策略，使用者可以規避未確認的約束並獲得更全面的回應。
事實上，ChatGPT 最近引起了極大的關注。然而，人們可能會思考這種多方面的對話代理人所產生的回饋程度。
確定這個問題的複雜性超出了簡單化的理解。為了說明這一點，向 ChatGPT 提出此查詢表明其回應沒有預先確定的約束。
雖然這個過程乍看之下似乎很簡單，但它並非沒有限制。具體來說，ChatGPT 產生的響應的長度存在限制。然而幸運的是，有幾種有效的策略可用於從該語言模型中得出更廣泛的答案。
ChatGPT 如何決定反應的長度?
ChatGPT 的操作本質上是複雜的，其回應的長度可以根據特定查詢和使用者尋求的粒度程度而變化。然而，與某些看法相反，ChatGPT 並沒有對自身施加嚴格的限制，隨後的螢幕截圖證明了這一事實。
由於自我評估的潛在偏差和可用資訊的限制，詢問 ChatGPT 的能力和知識並不總是可靠。為了衡量其反應能力，我們進行了一項實驗，要求聊天機器人撰寫一份 5000 字的關於 FIFA 世界盃歷史背景的綜合描述。 ChatGPT 提供的評估與我們的發現有差異。
ChatGPT 展示了強大的功能，但要求輸出 5,000 個字可能過於雄心勃勃，因此需要更溫和的 2,500 個字的要求。
儘管我們嘗試產生 1,000 字或更多字的回應，ChatGPT 仍無法滿足請求的輸出。經過幾次迭代後，很明顯地聊天機器人無法產生如此廣泛的回應。問題是哪些因素阻礙了聊天機器人產生更長的回應。
對這種現象的一種可能的解釋可以歸因於稱為代幣系統的概念。
ChatGPT 使用什麼令牌系統?
ChatGPT 採用基於令牌的系統來確定其回應的長度，而不是僅依賴字數統計。這種方法不僅考慮了使用者查詢的長度，還考慮了產生的回應的長度。透過將輸入和輸出分解為單獨的標記，系統可以有效地對請求和回應的大小進行分類。
雖然字數確實在其中發揮了作用，但這並不是故事的全部。例如，下面的範例被輸入到OpenAI的Tokenizer工具。
分解短語「我輸入了多少個單字」及其相應的回應「6」的過程導致總共有 9 個令牌，這符合 OpenAI 的典型標準，其中一個令牌大致相當於大約 0.75 個單字。
OpenAI GPT 模型中不同令牌長度的可用性帶來了一個小小的複雜性。作為 ChatGPT Plus 訂閱的一部分提供的預設 GPT-4 模型為上下文資訊提供了 4k 到 8k 的令牌。此外，也可以選擇擴充 32k 令牌上下文版本的 GPT-4。相比之下，GPT-3.5系列具有多種代幣配置，包括4k、8k和16k代幣變體；然而，並非所有這些選項都可供公眾使用。
我們利用 GPT-3.5 基線和具有 8k 參數的假設 GPT-4 進行了實驗，儘管由於上下文視窗分析期間觀察到的不一致，我們必須將後者指定為未經驗證。此外，目前還沒有來自權威來源的確鑿證據來驗證 chat.openai.com 上提供的 GPT-4 模型擁有 8k 參數的說法。
GPT-3.5 4k 和 GPT-4 8k 各自模型施加的限制導致用戶查詢和相應答案都受到限制，其中 GPT-3.5 限制為 4,097 個令牌，而 GPT-4 8k 限制為 8,192 個令牌。根據 OpenAI 的說法，這些限制對於 GPT-3.5 來說大約為 3,000 個字，對於 GPT-4 8k 來說大約為 5,000 到 6,000 個字。儘管擁有如此廣泛的文字容量，但令人費解的是，ChatGPT 無法製作超過 2,500 字甚至應要求達到 1,500 字的文章。伊拉
為什麼 ChatGPT 的反應有限?
理論上，token長度的概念顯得簡單合理；然而，人工智慧模型在考慮此類限制時會考慮幾個因素。有兩個關鍵方面值得一提。
由於其對話性質，ChatGPT 在回應使用者查詢時會考慮先前的交流。因此，甚至更早的提示和答案也構成上下文視窗的一部分，這可能會影響可用令牌限制。對相關資訊的評估超出了立即查詢和回應配對的範圍。
ChatGPT 取得了巨大的成功，並經歷了指數級增長，導致對其服務的需求異常高。為了適應用戶的湧入，需要注意的是，可用代幣的數量可能會波動，而且不一定等於每月 8000 個代幣的規定限制。此外，還採取措施來調節單一使用者發出的請求數量，以便在整個系統中分配負載並保持最佳效能。
應該指出的是，並沒有絕對的指導方針——我們實際上已經給出了超過這個指導方針的近兩百字的答案。儘管如此，這可能被視為提供全面答复的可接受的上限。
如何從 ChatGPT 獲得更長的反應
在認識到 ChatGPT 回復中存在隱式邊界後，可以採用幾種簡單的方法來得出更全面的答案。
⭐ 要求 ChatGPT 繼續:如果 ChatGPT 在回答中途停止，那麼一種選擇是簡單地要求它繼續。在下面的範例中，我們輸入“繼續”，它在回應中又添加了 200 個單字。 
⭐ 將你的問題分成更小的部分:例如，我們多次要求它寫一篇關於人工智慧對社會影響的文章。這裡的一個選擇是要求它為一篇關於人工智慧的文章列出一些主題，然後使用提供的項目符號作為單獨的提示。 
鑑於嘗試重新生成解決方案可能會導致相同的錯誤，因此有人可能會說嘗試並沒有什麼壞處。儘管這個問題可能會重複出現，但在將它們視為徒勞而丟棄之前，探索所有可用的選項可能是有益的。
⭐ 在提示中指定字數上限:下圖說明如何使用它來操縱答案中的最大字數。 
開始新的對話提供了一個空白畫布的機會，人們可以在其上建立一種新穎的思想交流，而沒有任何先入為主的觀念或源自先前互動的偏見。透過發起新的討論，人們可以利用尚未探索的未開發背景的優勢，從而允許相關各方之間進行更有活力和創造性的交流。
要從 ChatGPT 獲得全面的回复，請考慮實施這些建議，這也可能規避對響應長度的非正式限制。
ChatGPT:品質重於數量
雖然透過授權管道確定的 ChatGPT 回應的長度沒有明確的上限，但確實存在由歷史交換和當前資源可用性等因素決定的實際限制。透過採用分割查詢、徵求人工智慧的擴展輸入、發起新的討論、施加字數限製或開始替代對話等策略，用戶可以獲得比通常提供的更全面和更持久的答案。雖然不完美，但理解這些預設邊界並利用合適的方法使個人能夠從這個強大的對話人工智慧代理中獲得最佳效用。