대규모 언어 모델(LLM)은 생성 AI 챗봇의 급격한 부상을 뒷받침하는 기반 기술입니다. ChatGPT, Google Bard, Bing Chat과 같은 도구는 모두 LLM을 사용하여 사용자의 프롬프트와 질문에 대해 사람과 유사한 응답을 생성합니다.
그렇다면 LLM이란 무엇이며 어떻게 작동할까요? 여기에서는 LLM을 이해하기 쉽게 설명합니다.
대규모 언어 모델이란 무엇인가요?
간단히 말해서 LLM은 프롬프트에 대한 인간과 유사한 응답을 생성하기 위해 참조할 수 있는 방대한 텍스트 데이터 데이터베이스입니다. 텍스트는 다양한 출처에서 제공되며 수십억 단어에 달할 수 있습니다.
사용되는 텍스트 데이터의 일반적인 소스는 다음과 같습니다:
⭐ 문학: LLM에는 종종 방대한 양의 현대 및 고전 문학이 포함되어 있습니다. 여기에는 책, 시, 희곡이 포함될 수 있습니다.
⭐ 온라인 콘텐츠: LLM에는 블로그, 웹 콘텐츠, 포럼 질문 및 답변, 기타 온라인 텍스트를 포함한 방대한 온라인 콘텐츠 저장소가 포함되어 있는 경우가 대부분입니다.
⭐ 뉴스 및 시사: 전부는 아니지만 일부 LLM은 최신 뉴스 주제에 액세스할 수 있습니다. GPT-3.5와 같은 특정 LLM은 이러한 의미에서 제한됩니다.
⭐ 소셜 미디어: 소셜 미디어는 방대한 자연어 리소스입니다. LLM은 페이스북, 트위터, 인스타그램과 같은 주요 플랫폼의 텍스트를 사용합니다.
물론 방대한 텍스트 데이터베이스를 보유하는 것도 중요하지만, 사람과 같은 응답을 생성하려면 LLM이 텍스트를 이해하도록 훈련받아야 합니다. 그 방법에 대해서는 다음에서 다룰 예정입니다.
LLM은 어떻게 작동하나요?
LLM은 이러한 리포지토리를 어떻게 사용하여 응답을 생성하나요? 첫 번째 단계는 딥러닝이라는 프로세스를 사용하여 데이터를 분석하는 것입니다.
딥 러닝은 인간 언어의 패턴과 뉘앙스를 식별하는 데 사용됩니다. 여기에는 문법과 구문에 대한 이해가 포함됩니다. 하지만 중요한 것은 문맥도 포함된다는 점입니다. 문맥을 이해하는 것은 LLM의 중요한 부분입니다.
LLM이 문맥을 어떻게 활용할 수 있는지 예를 들어 보겠습니다.
다음 이미지의 프롬프트는 밤에 박쥐를 보았다고 언급합니다. 이를 통해 ChatGPT는 예를 들어 야구 방망이가 아닌 동물에 대해 이야기하고 있다는 것을 이해했습니다. 물론 Bing Chat이나 Google Bard와 같은 다른 챗봇은 완전히 다르게 대답할 수도 있습니다.
그러나 이 답변이 완벽하지는 않으며, 이 예에서 볼 수 있듯이 원하는 답변을 얻기 위해 추가 정보를 제공해야 하는 경우도 있습니다.
이 예에서는 컨텍스트가 얼마나 쉽게 손실되는지 보여주기 위해 의도적으로 약간의 커브볼을 던졌습니다. 하지만 사람 역시 질문의 문맥을 잘못 이해할 수 있으며, 추가 프롬프트만 있으면 답변을 수정할 수 있습니다.
이러한 응답을 생성하기 위해 LLM은 자연어 생성(NLG)이라는 기술을 사용합니다. 여기에는 입력을 검토하고 데이터 저장소에서 학습한 패턴을 사용하여 문맥에 정확하고 관련성 있는 응답을 생성하는 작업이 포함됩니다.
하지만 LLM은 이보다 더 깊숙이 들어갑니다. 입력의 감정적 어조에 맞게 응답을 맞춤화할 수도 있습니다. 문맥 이해와 결합된 이 두 가지 측면은 LLM이 사람과 같은 응답을 생성할 수 있도록 하는 주요 원동력입니다.
요약하면, LLM은 딥러닝과 NLG 기술이 결합된 방대한 텍스트 데이터베이스를 사용하여 프롬프트에 대해 사람과 유사한 응답을 생성합니다. 하지만 이 방식이 달성할 수 있는 것에는 한계가 있습니다.
LLM의 한계는 무엇인가요?
LLM은 인상적인 기술적 성취를 보여줍니다. 하지만 이 기술은 아직 완벽하지 않으며, 달성할 수 있는 것에는 여전히 많은 한계가 있습니다. 그 중 주목할 만한 몇 가지는 다음과 같습니다:
⭐ 문맥 이해: 앞서 LLM이 답변에 포함시키는 요소로 언급했습니다. 하지만 항상 정답을 맞추는 것은 아니며 문맥을 이해하지 못하는 경우가 많아 부적절하거나 명백한 오답으로 이어지는 경우가 많습니다.
⭐ 편향: 학습 데이터에 존재하는 모든 편향이 종종 답변에 나타날 수 있습니다. 여기에는 성별, 인종, 지역 및 문화에 대한 편견이 포함됩니다.
⭐ 상식: 상식은 정량화하기 어렵지만, 인간은 어릴 때부터 주변 세상을 관찰하는 것만으로도 상식을 습득합니다. LLM은 이러한 내재적 경험이 없습니다. 학습 데이터를 통해 제공된 정보만 이해할 수 있기 때문에 자신이 존재하는 세상에 대한 진정한 이해가 이루어지지 않습니다.
⭐ LLM은 학습 데이터만큼만 우수합니다: 정확도는 절대 보장할 수 없습니다. “가비지 인, 가비지 아웃”이라는 오래된 컴퓨터 격언은 이러한 한계를 완벽하게 요약합니다. LLM은 학습 데이터의 품질과 양이 허용하는 한도 내에서만 성능이 향상됩니다.
윤리적 문제가 LLM의 한계로 간주될 수 있다는 주장도 있지만, 이 주제는 이 글의 범위를 벗어납니다.
3 인기 있는 LLM의 예
AI의 지속적인 발전은 현재 대부분 LLM에 의해 뒷받침되고 있습니다. 따라서 완전히 새로운 기술은 아니지만 확실히 중요한 모멘텀의 시점에 도달했으며 현재 많은 모델이 있습니다.
다음은 가장 널리 사용되는 LLM 중 일부입니다.
GPT
생성적 사전 학습 트랜스포머(GPT)는 아마도 가장 널리 알려진 LLM일 것입니다. 이 글의 예제에 사용된 ChatGPT 플랫폼은 GPT-3.5를 지원하며, 최신 버전인 GPT-4는 ChatGPT Plus 구독을 통해 사용할 수 있습니다. Microsoft는 Bing Chat 플랫폼에서도 최신 버전을 사용합니다.
LaMDA
이것은 Google의 AI 챗봇인 Google Bard에서 사용하는 초기 LLM입니다. Bard가 처음 출시된 버전은 LLM의 “라이트” 버전으로 설명되었습니다. 이후 더 강력한 버전의 LLM인 PaLM이 이를 대체했습니다.
BERT
BERT는 트랜스포머에서 양방향 인코더 표현을 나타냅니다. 모델의 양방향 특성은 BERT를 GPT와 같은 다른 LLM과 차별화합니다.
훨씬 더 많은 LLM이 개발되었으며, 주요 LLM에서 파생된 것이 일반적입니다. 이러한 LLM은 발전함에 따라 복잡성, 정확성, 관련성이 계속 증가할 것입니다. 그렇다면 LLM의 미래는 어떻게 될까요?
LLM의 미래
이는 의심할 여지없이 앞으로 우리가 기술과 상호 작용하는 방식을 형성할 것입니다. ChatGPT와 Bing Chat과 같은 모델이 빠르게 확산되고 있는 것이 그 증거입니다. 단기적으로는 AI가 직장에서 사람을 대체할 가능성은 낮습니다. 하지만 앞으로 우리 삶에서 얼마나 큰 역할을 하게 될지는 아직 불확실합니다.
윤리적 논쟁은 아직 이러한 도구를 사회에 통합하는 방식에 대해 발언권을 가질 수 있습니다. 그러나 이를 한쪽으로 치워두고 예상되는 LLM의 발전은 다음과 같습니다:
⭐ 효율성 향상: 수억 개의 매개변수가 있는 LLM은 리소스를 엄청나게 많이 사용합니다. 하드웨어와 알고리즘이 개선되면 에너지 효율성이 향상될 가능성이 높습니다. 또한 응답 시간도 빨라질 것입니다.
⭐ 향상된 컨텍스트 인식: LLM은 자가 학습이 가능하므로 더 많은 사용과 피드백을 받을수록 더 좋아집니다. 중요한 점은 별도의 엔지니어링이 필요하지 않다는 점입니다. 기술이 발전함에 따라 언어 능력과 문맥 인식 능력은 더욱 향상될 것입니다.
⭐ 특정 작업을 위한 훈련: LLM의 대중적인 얼굴인 만능 도구는 오류가 발생하기 쉽습니다. 그러나 이러한 도구가 개발되고 사용자가 특정 요구에 맞게 훈련하면 의학, 법률, 금융 및 교육과 같은 분야에서 LLM이 큰 역할을 할 수 있습니다.
⭐ 더 큰 통합: LLM은 개인 디지털 비서가 될 수 있습니다. 스테로이드를 장착한 Siri를 생각하면 이해가 쉬울 것입니다. LLM은 식사 제안부터 서신 처리까지 모든 것을 도와주는 가상 비서가 될 수 있습니다.
이는 LLM이 우리 삶의 방식에서 더 큰 부분을 차지하게 될 가능성이 있는 몇 가지 영역에 불과합니다.
LLM의 변화와 교육
LLM은 흥미진진한 가능성의 세계를 열어가고 있습니다. ChatGPT, Bing Chat, Google Bard와 같은 챗봇이 빠르게 성장하고 있는 것은 이 분야에 많은 리소스가 투입되고 있다는 증거입니다.
이러한 리소스의 확산은 이러한 도구가 더욱 강력하고 다재다능하며 정확해질 수 밖에 없습니다. 이러한 도구의 잠재적 응용 분야는 방대하며, 현재로서는 놀라운 새로운 자원의 표면만 긁어모으고 있을 뿐입니다.