OpenAI와 같은 인공 지능(AI) 연구 및 배포 회사는 인류를 위한 기능을 지속적으로 출시합니다. ChatGPT, DALL-E, Point-E 및 기타 성공적인 도구에 더해 OpenAI는 새로운 혁신 모델인 Shap-E를 출시했습니다.
OpenAI의 Shap-E는 무엇이며, 어떤 기능을 사용할 수 있나요?
OpenAI의 Shap-E란 무엇인가요?
2023년 5월, OpenAI의 연구원이자 기고자인 알렉스 니콜과 전희원 씨는 회사의 최신 혁신 기술인 Shap-E 를 발표하는 논문을 발표했습니다. Shap-E는 쌍을 이루는 3D 이미지와 텍스트의 방대한 데이터 세트로 학습된 새로운 도구로, 텍스트나 이미지에서 3D 모델을 생성할 수 있습니다. 텍스트에서 2D 이미지를 생성할 수 있는 DALL-E와 유사하지만 Shap-E는 3D 에셋을 생성합니다.
Shap-E는 조건부 확산 모델과 3D 에셋 매핑에 대해 학습됩니다. 3D 자산 매핑이란 Shap-E가 기존 3D 개체의 대규모 데이터 세트에서 텍스트 또는 이미지를 해당 3D 모델과 연관시키는 방법을 학습하는 것을 의미합니다. 조건부 확산 모델은 대상 출력의 노이즈 버전에서 시작하여 노이즈를 제거하고 디테일을 추가하여 점진적으로 개선하는 생성 모델입니다.
이 두 가지 요소를 결합하여 Shap-E는 주어진 텍스트 또는 이미지 입력과 일치하고 다양한 각도와 조명 조건에서 볼 수 있는 사실적이고 다양한 3D 모델을 생성할 수 있습니다.
OpenAI의 Shap-E 사용 방법
Shap-E는 다른 OpenAI 도구처럼 공개되지는 않았지만 모델 가중치, 추론 코드, 샘플은 Shap-E GitHub 페이지에서 다운로드할 수 있습니다.
Shap-E 코드는 무료로 다운로드할 수 있으며, 컴퓨터에서 Python pip 명령을 사용하여 설치할 수 있습니다. 또한 Shap-E는 리소스를 많이 사용하므로 NVIDIA GPU와 고성능 CPU가 필요합니다.
설치가 완료되면 Microsoft 그림판 3D에서 생성한 3D 이미지를 엽니다. 마찬가지로 3D 프린터를 사용하여 인쇄하려는 경우 이미지를 STL 파일로 변환할 수 있습니다.
Shap-E 깃허브 페이지에서 문제를 보고하고 다른 사람이 이미 제기한 문제에 대한 해결책을 찾을 수도 있습니다.
OpenAI의 Shap-E로 할 수 있는 일
Shap-E를 사용하면 아이디어를 시각적으로 표현하여 복잡한 아이디어를 설명할 수 있습니다. 이 기술의 잠재적 응용 분야는 무한하며, 특히 시각적 표현은 일반적으로 텍스트보다 훨씬 더 전달력이 높기 때문에 더욱 그렇습니다.
건축가는 Shap-E를 사용하여 서면 설명을 기반으로 건물과 구조물의 3D 모델을 만들 수 있습니다. 간단한 문장을 사용하여 구조물의 치수, 재질, 색상 및 스타일을 지정할 수 있습니다. 예를 들어 다음과 같이 입력할 수 있습니다: “60층에 유리 난간이 있는 고층 빌딩 만들기”와 같은 메시지를 표시하고, 결과물이 마음에 들면 다른 소프트웨어로 내보내서 추가 편집을 할 수 있습니다.
게이머와 애니메이션 아티스트는 디테일한 3D 오브젝트와 캐릭터를 만들어 가상 환경과 시각적 경험을 개선할 수 있습니다. 엔지니어링 분야에서는 기계 및 장비의 구성 요소, 사양 및 기능을 설명하고 실제 프로토타입을 만들기 전에 3D 모델로 결과를 얻을 수 있습니다.
또한 교육 분야에서도 Shap-E는 생물학, 기하학, 물리학 등의 과목에서 교육자가 복잡하고 추상적인 아이디어를 학생들에게 전달할 수 있도록 도와줍니다.
아직 개발 중이긴 하지만 Shap-E는 텍스트 프롬프트를 기반으로 3D 포인트 클라우드를 생성하는 OpenAI의 POINT-E 보다 한 발 앞서 있습니다. 포인트 클라우드는 표현력과 해상도가 제한되어 흐릿하거나 불완전한 모양을 생성하는 경우가 많습니다.
OpenAI의 Shap-E를 사용하여 3D 모델 생성
Shap-E는 자연어 또는 이미지에서 3D 콘텐츠를 생성하는 AI의 힘을 보여주는 인상적인 데모입니다. 이를 통해 컴퓨터 게임, 인터랙티브 VR 경험, 프로토타입 및 기타 목적에 맞는 3D 개체를 만들 수 있습니다. 출력 품질에 대한 보장은 없지만 AI 모델은 무엇이든 3D 모델을 빠르고 효율적으로 만들 수 있는 방법을 제공합니다.
또한 이 AI 모델은 딥 러닝 분야에서 중요한 기여를 하고 있으며, 미래의 첨단 혁신과 창작물로 이어질 가능성이 높습니다.