주요 시사점
OpenAI가 개발한 인터넷 기반 로봇 엔티티인 GPTBot은 GPT-4 및 ChatGPT와 같은 인공지능 시스템의 개선 및 향상에 활용될 수 있는 정보 획득을 목적으로 온라인 콘텐츠를 체계적으로 탐색하는 프로세스와 일치하는 방식으로 작동합니다.
다수의 유명 온라인 플랫폼에서 보호되는 지적 재산의 무단 활용 및 복제로 인해 GPTBot에 대한 제한을 시행하고 있으며, 이로 인해 원저작자에 대한 정당한 보상이 이루어지지 않고 있습니다.
웹사이트 소유자는 robots.txt 파일과 같은 메커니즘을 활용하여 GPTBot의 접근을 차단할 수 있지만, OpenAI가 이러한 제한을 준수하는지 여부는 보장할 수 없다는 점에 유의해야 합니다. 따라서 웹사이트 운영자는 무단 액세스 및 잠재적인 저작권법 위반에 취약할 수 있습니다.
2023년 8월, ChatGPT를 개발한 유명한 인공 지능 조직인 OpenAI는 인터넷에서 정보를 탐색하고 수집하도록 설계된 고급 웹 크롤링 애플리케이션인 GPTBot을 공개했습니다.
최근 공개 이후 여러 유명 온라인 플랫폼에서 OpenAI가 개발한 인공지능 기반 언어 모델인 GPTBot의 접근을 막기 위한 조치를 취했습니다. 이러한 결정의 배경은 아직 명확하지 않지만, 고급 기능으로 인한 잠재적인 부정적 결과에 대한 우려가 이러한 사이트들이 우려를 표명한 원인일 수 있다는 추측이 제기되고 있습니다.
OpenAI의 GPTBot이란?
OpenAI는 보다 강력한 인공지능을 개발하기 위한 조직의 노력을 지원하기 위해 공개 웹사이트에서 정보를 수집하는 인터넷 크롤링 로봇인 GPTBot을 개발했습니다. 이 봇은 웹을 가로지르며 발견한 데이터를 OpenAI의 서버로 전달하여 분석하고 AI 모델 학습을 위한 입력으로 사용할 수 있도록 설계되었습니다. 목표는 이렇게 수집된 데이터를 활용하여 AI 시스템의 기능을 향상시키고, 궁극적으로 GPT-4와 같은 더욱 복잡한 지능형 머신과 ChatGPT와 같은 파생 제품을 만드는 것입니다. 웹 스크래퍼는 이러한 목표를 달성하는 데 중요한 역할을 합니다.
AI 학습을 활용하려면 방대한 양의 정보가 필요하며, 이는 웹 크롤러와 같은 도구를 배포하여 효율적으로 확보할 수 있습니다. 이러한 자동화는 인터넷을 체계적으로 검사하고 상호 연결된 링크를 탐색하여 상당한 양의 웹사이트를 포괄하는 동시에 미리 정해진 기준에 해당하는 텍스트, 시각적 요소, 메타데이터 등 필수 세부 정보를 식별할 수 있습니다.
웹 크롤러가 추출한 정보는 인공지능 시스템을 구성하고 입력하는 데 활용되어 자연어 처리, 이미지 생성 및 기타 다양한 인공지능 애플리케이션의 기능을 향상시킵니다. 기본적으로 이러한 웹 크롤러는 ChatGPT 및 DALL-E와 같은 고급 기술의 기능에 필요한 데이터를 수집합니다.
데이터 추출 및 분석을 위한 웹 크롤러의 활용은 디지털 시대에 널리 퍼져 있습니다. 온라인에서 수십억 개의 웹사이트에 접속할 수 있기 때문에 이러한 방대한 가상 공간을 탐색하기 위해 수많은 크롤러가 존재할 가능성이 높습니다. 웹 크롤러의 존재는 적어도 1990년대 초반으로 거슬러 올라갑니다. 한 가지 구체적인 예로 OpenAI가 소유한 GPTBot이 있습니다. 웹 크롤러의 보편화에도 불구하고, 특히 GPTBot을 둘러싼 논쟁은 여전히 진행 중입니다.
대형 기술 사이트가 GPTBot을 차단하는 이유는 무엇인가요?
몇몇 유명 웹사이트가 OpenAI의 웹 크롤링 기술을 금지하기로 결정했다는 사실은 이러한 결정의 배경에 대한 의문을 불러일으킵니다. 인공지능의 발전으로 많은 이익을 얻었던 이들 웹사이트가 인공지능의 발전에 반대하는 입장을 취한다는 것은 당혹스러운 일입니다. 이는 GPTBot과 같은 이니셔티브를 통해 AI를 향상시키려는 사람들에게 수수께끼를 제시하며, 어떤 요인이 이러한 저항을 유발할 수 있는지에 대한 의문을 불러일으킵니다.
실제로 2022년 생성 AI 기술이 다시 등장한 이후, 인터넷에서 얻은 데이터를 사실상 제약 없이 광범위하게 활용할 수 있는 AI 기업의 권리의 경계를 둘러싼 상당한 담론이 형성되고 있습니다. 이러한 정보는 저작권법에 따라 법적으로 보호되는 상당 부분을 포함하지만, 상업적 목적의 수집과 사용을 규제하는 명시적인 규정은 아직 없습니다.
본질적으로 GPTBot과 같은 웹 크롤링 엔티티는 인터넷을 탐색하여 텍스트, 시각적 요소 또는 다양한 미디어를 포함한 다양한 형식으로 나타나는 개인의 창작물을 추출하여 허가, 라이선스 취득 또는 원작자에 대한 보상 없이 상업적 의도로 활용합니다.
현재 인공지능의 환경은 규제가 없고 자유롭기 때문에 기업들이 자사의 이익을 위해 가능한 모든 자원을 공격적으로 확보하려고 하는 것이 특징입니다. 특히 Quora, CNN, 뉴욕타임스, 비즈니스 인사이더, 아마존과 같은 유명 웹사이트는 자동화된 웹 스크레이퍼에 의해 저작권이 있는 자료가 무단으로 추출되어 OpenAI가 이를 악용하여 금전적 이익을 얻는 것에 대해 불만을 표명했습니다.
이러한 사이트들이 웹 크롤러를 차단하는 수십 년 된 방법인 “robots.txt”를 배포하는 이유입니다. OpenAI 에 따르면, GPTBot은 웹 크롤러에게 사이트에서 작동하는 방법을 알려주는 작은 텍스트 파일인 robots.txt에 포함된 규칙에 따라 웹 사이트를 크롤링하거나 크롤링을 피하라는 지침을 따릅니다. 자체 사이트가 있고 GPTBot이 데이터를 수집하지 못하도록 막고 싶은 경우 OpenAI의 크롤러가 웹사이트를 스크래핑하지 못하도록 차단하는 방법은 다음과 같습니다.
웹 사이트에서 정말 GPTBot을 막을 수 있나요?
GPTBot은 최첨단 인공지능 모델 학습에 필요한 방대한 양의 정보를 수집하는 데 매우 유용한 도구이지만, 지적 재산권 및 윤리적 사용과 관련된 문제를 무시해서는 안 됩니다.
robots.txt와 같은 초보적인 메커니즘이 제한된 콘텐츠에 대한 무단 액세스를 억제하는 데 도움이 될 수 있지만, 이러한 지침을 준수하는 것은 OpenAI의 재량에 달려 있습니다. 이러한 지침의 준수 여부는 보장할 수 없으며, 실시간으로 준수 여부를 확인할 수 있는 안전장치도 존재하지 않습니다. 현재로서는 OpenAI가 저작권이 있는 자료에 액세스하지 못하도록 보호하는 데 있어 우위를 점하고 있습니다.