주요 내용
딥러닝의 기본 측면은 학습 데이터로부터 일반화하여 새로운 사례에 대한 정확한 예측을 하는 것이며, 이는 제로 샷 학습을 통해 달성할 수 있습니다. 이 접근 방식을 통해 인공지능 시스템은 기존의 지식을 활용하고 라벨링된 정보 없이도 이전에 관찰되지 않은 범주에 대해 유효한 결과를 생성할 수 있습니다.
제로 샷 학습은 데이터에서 지식을 처리하고 습득하는 인간의 인지 능력을 모방합니다. 기존 모델에 의미론적 세부 정보를 추가하여 새로운 카테고리를 효과적으로 인식할 수 있도록 지원하며, 이는 마치 속이 빈 기타를 정의 속성에 따라 구별하는 개인의 능력과 유사합니다.
제로 샷 학습은 일반화, 효율적인 확장, 과적합 방지, 비용 최소화를 통해 인공지능의 역량을 강화하는 고급 기법입니다. 이 접근 방식을 통해 모델은 광범위한 데이터베이스로부터 학습하고, 전이 학습을 통해 추가 지식을 습득하고, 문맥 이해력을 향상시키고, 주석이 적은 정보를 필요로 할 수 있습니다. 기술이 발전함에 따라 제로 샷 학습은 다양한 영역에서 복잡한 문제를 해결하는 데 점점 더 중요해질 것입니다.
딥러닝 영역의 주요 목표는 학습 과정을 통해 일반화 가능성을 보여줄 수 있는 모델을 개발하는 것입니다. 일반화된 지식을 습득한다는 것은 모델이 학습 과정에서 관련 패턴을 식별하여 새로운 정보나 이전에 관찰되지 않았던 정보에 노출되었을 때 정확한 예측이나 판단을 내릴 수 있다는 것을 의미하므로 중요한 의미를 갖습니다. 이러한 유형의 모델을 구축하려면 방대한 양의 주석이 달린 데이터가 필요한 경우가 많지만, 이러한 데이터를 확보하는 데는 비용과 시간이 많이 소요되며 때로는 실행이 불가능할 수도 있습니다.
제한된 레이블이 지정된 학습 데이터로 인해 발생하는 문제를 해결하기 위해 제로 샷 학습은 명시적인 감독 없이 합리적인 추론과 예측을 위해 AI 시스템의 기존 지식 기반을 활용하는 솔루션으로 개발되었습니다.
제로 샷 학습이란?
제로 샷 학습은 이전에 학습된 모델을 활용하여 추가 학습 데이터 없이 새로 도입된 클래스의 특정 특성에 대한 보충 정보만을 바탕으로 새롭거나 익숙하지 않은 카테고리를 인식하는 고급 형태의 전이 학습을 포함합니다.
특정 주제에 대한 모델의 기존 이해도를 활용하면서 추가 컨텍스트 정보를 제공하면 모델이 목표 주제를 보다 정확하게 인식하고 식별할 수 있습니다.
얼룩말 식별을 위해 특별히 고안된 모델이 없는 경우 말을 인식하도록 훈련된 기존 모델을 대리로 활용할 수 있습니다. 이 모델에 대체 색상을 가진 말을 얼룩말로 분류하도록 지시하면 추론 중에 말과 얼룩말 이미지를 모두 정확하게 식별할 수 있을 것으로 기대하는 것이 합리적입니다.
제로 샷 학습은 우리가 정보를 학습하고 분석하는 방식을 모방한다는 점에서 인간의 인지와 유사합니다. 명시적으로 가르치지 않아도 새로운 개념을 이해하는 능력은 제로 샷 학습에 대한 타고난 적성을 나타냅니다. 예를 들어, 악기 매장에서 속이 빈 기타를 찾으라는 요청을 받았지만 그 특징에 대한 사전 지식이 없는 사람은 어려움을 겪을 수 있습니다. 그러나 이러한 기타는 일반적으로 양쪽에 F자 모양의 입구가 있다는 사실을 알게 된다면 다른 악기들 사이에서 쉽게 식별할 수 있을 것입니다.
일상생활의 실제 사례를 들어 요점을 설명해 보겠습니다. 오픈 소스 언어 모델 호스팅 사이트 허깅페이스에서 제공하는 제로샷 분류 애플리케이션을 활용하겠습니다.
이 사진은 높은 좌석에 고정된 쇼핑백 안에 빵 한 덩어리가 들어 있는 모습을 보여줍니다. 모델이 학습 과정에서 광범위한 시각 데이터에 노출되었기 때문에 빵, 식료품, 의자, 구속 장치 등 장면에 존재하는 다양한 구성 요소를 정확하게 인식하고 분류할 가능성이 높습니다.
모델이 ‘편안한 빵’, ‘안전한 빵’, ‘앉아있는 빵’, ‘운전 중인 식료품’, ‘안전한 식료품’과 같이 이전에 정의되지 않은 클래스를 기반으로 이미지를 분류하기를 원합니다.
이미지를 다룰 때 제로샷 분류의 효과를 설명하기 위해 의도적으로 모호하고 생소한 카테고리와 비주얼을 사용했습니다.
추론 결과를 바탕으로 모델은 약 80%의 신뢰도로 묘사된 물체에 가장 적합한 분류가 “안전한 빵”이라고 판단했습니다. 이러한 결정은 높은 의자가 편안함, 휴식 또는 이동을 위한 좌석을 제공하기보다는 주로 안전을 보장하는 수단으로 사용된다는 모델의 믿음에서 비롯된 것이라고 가정하는 것이 합리적입니다.
이 모델은 특정 작업이나 도메인에 대해 명시적으로 학습하지 않고도 응답을 생성할 수 있는 기술인 제로 샷 학습을 활용했습니다. 이 방법에서 모델은 훈련 중에 학습한 기존 지식과 패턴을 사용하여 입력 데이터에 제공된 문맥 단서를 기반으로 답변을 공식화합니다.그런 다음 모델은 매개변수 내에 저장된 다양한 정보 소스의 정보를 종합하여 출력을 생성할 수 있습니다. 이러한 접근 방식을 통해 모델은 작업별 학습 없이도 여러 영역과 작업 전반의 질문에 효과적으로 응답할 수 있습니다.
제로 샷 학습의 작동 방식
제로 샷 학습의 개념을 참조하면, 이전에 학습된 머신 러닝 모델이 추가적인 라벨링 정보 없이 기존 지식 기반만 활용하여 익숙하지 않은 분류를 인식할 수 있습니다. 이 과정에는 가설의 초기 형성, 평가 단계, 경험적 증거에 기반한 가설의 확인 또는 거부로 결론을 내리는 일련의 간단한 절차가 포함됩니다.
준비
제로 샷 학습을 시작하려면 먼저 세 가지 범주의 정보를 생성하고 처리해야 합니다.
사전 학습된 모델은 초기 학습 과정에서 사용하는 “보이는 클래스”로 알려진 레이블이 지정된 예제 데이터 세트에 액세스할 수 있습니다. 이러한 클래스는 분류의 기준이 되며, 제로 샷 학습을 수행하려는 연구자가 활용할 수 있습니다. 이 접근 방식으로 최적의 결과를 얻으려면 식별할 대상 클래스는 기존의 보이는 클래스와 상당한 유사성을 공유하는 클래스를 사용하는 것이 좋습니다.
훈련 과정에서 이전에 활용되지 않았으며 모델을 통해 사용할 수 없으므로 사용자가 수동으로 선택해야 하는 데이터입니다.
의미 및 보조 정보는 AI 모델이 새로운 카테고리를 인식하는 데 도움이 되는 추가 데이터 역할을 합니다. 이러한 정보는 개별 단어, 구문, 단어 임베딩 또는 클래스 레이블로 구성될 수 있습니다.
시맨틱 매핑
익숙하지 않은 카테고리의 속성을 묘사하기 위해 단어 표현을 생성하고 제공된 추가 정보와 함께 미지의 그룹의 자질 또는 특성 간의 연결을 설정하는 의미 네트워크를 구축합니다. 이전에 전이 학습을 통해 새로운 분류와 관련된 수많은 측면이 확인되었기 때문에 인공지능을 활용하면 이 절차가 상당히 용이해집니다.
추론
추론 과정에는 사전 학습된 모델을 활용하여 입력 데이터를 기반으로 출력을 생성하거나 예측을 하는 과정이 포함됩니다. 제로 샷 이미지 분류에서 이 기술은 이미지 샘플에서 단어 임베딩을 생성하고 보조 데이터로 알려진 추가 관련 정보와 비교하는 과정을 수반합니다.이러한 결과에 대한 신뢰도는 입력된 데이터와 제공된 데이터 사이에 존재하는 일치 정도에 따라 달라집니다.
제로샷 학습으로 AI를 개선하는 방법
인공지능의 중요한 발전 중 하나는 제로샷 학습으로, 제한된 데이터 가용성 및 도메인 불일치 등 머신러닝과 관련된 다양한 문제를 해결합니다.
레이블이 지정된 데이터에 대한 의존도를 줄이면 더 큰 데이터 세트를 사용하여 머신 러닝 알고리즘을 학습할 수 있으므로 일반화 및 렌더링 능력이 향상되고 더욱 탄력적이고 신뢰할 수 있게 됩니다. 경험과 일반화 능력이 향상되면 이러한 모델은 기존의 분석 방법에만 의존하지 않고 상식적인 지식을 습득할 수 있습니다.
전이 학습이라는 프로세스를 통해 AI 언어 모델은 시간이 지남에 따라 추가 데이터에 대한 학습을 통해 지속적으로 기능을 확장할 수 있습니다. 이를 통해 확장 가능한 개선이 가능하여 기업과 개인 연구자 모두 언어 숙련도를 높이기 위해 각 모델의 성능을 향상시킬 수 있습니다.
훈련 과정에서 제로 샷 학습을 활용하면 잠재적인 입력 시나리오의 전체 범위를 포괄하지 못하는 불충분하게 다양한 데이터 세트를 사용하여 모델을 훈련할 때 발생할 수 있는 과적합의 가능성을 줄일 수 있습니다. 이 접근 방식을 사용하면 다양한 주제를 맥락적으로 이해하는 모델의 역량이 향상되어 과적합의 위험을 줄일 수 있습니다.
제로샷 전이 학습을 활용하면 광범위한 수작업 주석 작업이 필요한 기존 방식에 비해 시간과 라벨링된 데이터 투자량을 크게 줄이면서 강력한 모델을 효율적으로 개발할 수 있습니다.
인공지능의 발전으로 제로 샷 학습과 같은 접근 방식의 중요성이 더욱 강조될 것입니다.
제로샷 학습의 미래
제로샷 학습은 사전 교육 없이도 익숙하지 않은 클래스를 분류하고 인식할 수 있기 때문에 머신러닝 분야에서 그 활용도가 매우 중요합니다. 고급 모델 구조, 특징 기반 방법론 및 교차 모드 통합 기능의 지속적인 개발로 제로 샷 학습의 범용성이 향상되어 로봇 공학, 의료 및 컴퓨터 비전과 같은 분야의 복잡한 문제를 효과적으로 해결할 수 있게 되었습니다.