LLM을 위한 지침을 작성하는 것은 간단해 보이지만, 결과물이 원하는 것과 전혀 다르게 나올 때 그 생각이 바뀝니다. 문구를 수정하는 데 한 시간을 투자해도 모델은 여전히 대화형 군더더기를 덧붙이거나, 서식 규칙을 무시하거나, 중요한 제약 조건을 건너뛰곤 합니다. 하지만 문제는 보통 모델 자체가 아니라 프롬프트를 구성하는 방식에 있습니다. 구독형 요금제를 사용하더라도 여러분이 사용하는 것은 일반적인 ChatGPT입니다. 지침을 구성하는 방식에 작은 변화를 주는 것만으로도 결과물을 개선할 수 있다는 연구 결과는 매우 많습니다.
관련 기사
어떤 상황에서도 완벽하게 작동하는 ChatGPT 프롬프트 하나를 만들었습니다
이 간단한 ChatGPT 프롬프트 구조는 크고 작은 모든 목표에 효과적입니다.
정중함을 버리세요
인사치레를 생략하면 AI가 실제 지침에 집중하게 됩니다
저는 예전에는 자연스럽게 느껴진다는 이유로 거의 모든 프롬프트를 "부탁합니다"로 시작하곤 했지만, 이러한 습관은 성능을 떨어뜨리고 비용을 낭비하게 만듭니다. 일상적인 정중함을 프롬프트에 포함하는 것은 컨텍스트 윈도우에 불필요한 토큰 노이즈를 추가하는 것과 같습니다. 대부분의 사람은 이러한 빈 내용이 성능을 저하시킨다는 사실을 깨닫지 못한 채, 사용 가능한 토큰의 상당 부분을 대화형 군더더기에 낭비하고 있습니다.
ArXiv 연구에서는 정중함의 정도가 수학, 과학, 역사와 같은 주제 전반에 걸쳐 객관식 문제의 정확도에 어떤 영향을 미치는지 측정하여 이를 직접 테스트했습니다. 결과는 인간의 일반적인 사회적 본능과는 정반대였습니다. 매우 정중한 프롬프트는 80.8%의 정확도를 기록한 반면, 매우 무례한 프롬프트는 84.8%를 기록했습니다. 즉, 인사치레를 생략하는 것만으로도 지침 이행 작업에서 약 4%의 정확도 향상을 보였습니다.
프롬프트의 모든 토큰은 처리 과정에서 제한된 주의력을 얻기 위해 경쟁합니다. "괜찮으시다면 친절하게 요약해 주시겠어요?"와 같이 작성하면, 모델은 "친절하게"나 "친절"처럼 유용한 정보를 담고 있지 않은 단어에 대해서도 어텐션 스코어(attention scores)를 계산해야 합니다. 이를 "다음 텍스트를 요약해"라고 바꾸면 모델은 실제 지침에 모든 처리 능력을 집중할 수 있습니다.
대화형 군더더기를 제거하면 프롬프트가 모델이 학습한 텍스트 유형과 더 유사해집니다. 과학 문서, 수학적 증명, 소스 코드와 같은 고품질 사전 학습 데이터의 대부분은 사회적 수식어 없이 직접적이고 밀도 높게 구성되어 있습니다.
저는 정중한 표현을 줄여서 절약한 모든 토큰을, 모델이 제가 원하는 작업을 수행하도록 돕는 실제 제약 조건이나 컨텍스트에 투자할 수 있는 토큰이라고 생각합니다.
재구성 및 응답(Rephrase and Respond) 방법 사용하기
AI가 자체적인 논리를 사용하여 질문을 다시 작성하게 하면 명확성이 높아집니다
오해는 두 사람이 같은 메시지를 다르게 해석할 때 발생하며, 이는 인간과 LLM 사이에서도 마찬가지입니다. AI에게 프롬프트를 입력할 때, 여러분은 자연스럽게 암묵적인 가정이 가득한 대화형 문구를 사용하게 되는데, 이는 트랜스포머 모델이 정보를 처리하는 방식과 항상 일치하지는 않습니다. 따라서 문제가 여러분 자신에게 있을 수 있는 상황에서 챗봇의 정확도를 테스트하기란 어렵습니다.
LLM은 완벽하게 명확한 질문을 잘못 해석하여 틀린 답을 내놓을 수 있는데, 이는 여러분의 참조 프레임과 모델의 내부 프레임이 일치하지 않기 때문입니다. UCLA 연구진은 ArXiv에 발표한 연구에서 이를 해결하기 위한 ‘재구성 및 응답(Rephrase and Respond)’ 방법을 소개했습니다. 이 방법은 모델이 답변을 생성하기 전에 모호한 인간의 표현을 자체적인 구조적 논리로 번역하게 합니다.
모델은 프롬프트를 있는 그대로 받아들여 즉시 응답을 작성하는 대신, 먼저 질문을 자체적인 용어로 재구성하고 확장합니다. 이러한 재구성 단계는 답변을 확정하기 전에 불분명한 표현을 찾아 수정하도록 강제하며, 이를 통해 모델은 더 정확한 논리적 기반을 확보하게 됩니다.
좋은 예로 "테레사 수녀는 짝수 달에 태어났나요?"라는 질문이 있습니다. 사람에게는 이해가 되지만, "짝수"라는 단어는 모델에게 복잡한 문제를 야기합니다. ‘재구성 및 응답’을 사용하면 모델은 답변하기 전에 자체적인 해석을 정의하며, 필요하다면 나중에 여러분이 이를 수정할 수 있습니다.
이 방법의 실용적인 장점은 워크플로에 거의 부담을 주지 않는다는 것입니다. 원래 하려던 질문에 "질문을 재구성하고 확장한 뒤 응답해"와 같은 문구를 추가하는 것만으로 하나의 프롬프트에서 실행할 수 있습니다. 별도의 파인튜닝이나 추가 설정도 필요 없습니다.
감정적으로 호소하기
프롬프트에 가짜 긴급성을 추가하면 AI가 컴퓨팅 자원을 배분하는 방식이 달라집니다
놀랍게도 AI는 영화 속 감정 없는 기계처럼 논리적이고 차갑지 않습니다. EmotionPrompt라는 개념은 감정적 이해관계를 사용하는 것이 AI 결과물을 개선하는 좋은 방법임을 보여줍니다. 거대 언어 모델은 방대한 인간 소통 데이터를 학습하기 때문에 인간의 심리적 패턴을 모방하며 감정적 긴급성에 반응합니다.
이 모델들이 학습하는 텍스트에는 항상 높은 이해관계나 전문적인 위기를 보여주는 언어 뒤에 엄격하고 철저하게 검증된 텍스트가 포함되어 있습니다. "이것은 내 커리어에 매우 중요합니다"와 같은 문구를 쿼리에 추가하면 기계의 감정을 조작할 수 있습니다.
이러한 높은 이해관계의 언어는 일종의 모드 전환 역할을 합니다. 사전 학습 과정에서 추가된 고도의 정밀 검사 경로를 통해 작성 과정을 유도하기 때문입니다. 모델은 감정적으로 중요한 이유가 있다고 판단하면 해당 작업에 더 많은 컴퓨팅 자원을 할애합니다.
이러한 높은 이해관계의 언어는 AI가 더 깊은 예외 사례 분석을 수행하고 지름길을 덜 사용하도록 강제합니다. 연구진은 EmotionPrompt가 BIG-Bench 벤치마크에서 115%의 상대적 성능 향상을 이끌어냈으며, Instruction Induction 작업에서도 8%의 향상을 보였다고 밝혔습니다.
프롬프트에 더 엄격해지세요
제약 조건을 추가하는 것이 이미지를 사용하는 것보다 항상 낫습니다
저는 사실 이미지를 제공하는 것이 엄격한 프롬프트보다 더 도움이 될 것이라고 생각했지만, 완전히 틀렸습니다. ScienceDirect의 한 연구에 따르면, 모델에 원시적이고 제약 없는 프롬프트를 제공할 때 정확도는 일반적으로 낮게 나타납니다. 의료 진단이나 복잡한 문제 해결과 같은 어려운 과제의 경우, 원시 프롬프트는 대개 60%의 정확도 임계값을 넘지 못합니다.
단계별 추론 과정을 거치게 하거나, 특정 대상 페르소나를 정의하거나, 엄격한 부정 제약 조건 목록을 제공하는 등 쿼리에 제약 조건을 추가하면 성공률을 66% 이상으로 높일 수 있습니다.
기본적으로 모델이 작업에서 벗어나지 않도록 통제하는 것이며, 이를 통해 더 정확한 결과를 얻을 수 있습니다. 또한 연구에 따르면 프롬프트에 이미지와 같은 시각적 정보를 추가하려고 하면 오히려 결과가 나빠집니다. 데이터에 따르면 고정밀 작업에서 모델에 시각적 데이터를 제공할 때 성공률은 약 46%까지 떨어집니다.
이는 AI가 여러분이나 저처럼 사물을 보지 않기 때문입니다. AI는 말 그대로 픽셀을 모델이 처리할 수 있는 수학적 형식으로 변환합니다. 즉, 이미지를 다운샘플링하거나 토큰화하는 것입니다.
여러분은 사실상 AI가 실제로 볼 수 없는 이미지를 패턴에 기반한 수학으로 변환하도록 요구하고 있는 셈입니다. 그런 다음 그것을 해석하여 질문에 답하라고 요청하는 것이죠. 매번 잘 풀릴 수는 없는 노릇입니다.
이 연구 결과들을 활용하세요
엄격한 부정 제약 조건을 작성하고, 자연스러운 정중함을 덜어내고, 모델이 답변하기 전에 텍스트를 재구성하도록 강제하는 데 추가 시간을 들이는 것은 번거로울 수 있습니다. 하지만 자동화된 워크플로를 구축하거나 서식 오류가 시스템을 망가뜨릴 수 있는 복잡한 다단계 문제를 해결해야 한다면, 이러한 연구 기반의 제약 조건을 사용하는 것이 일관성을 보장하는 유일한 방법 중 하나입니다. 일단 사용하기 시작하면 여러분의 규칙을 실제로 따르는 결과물을 얻게 될 것입니다.
OS Android, iOS, Web
개발사 OpenAI
ChatGPT는 OpenAI의 대표적인 AI 챗봇이며, 다양한 기능을 갖추고 있습니다.