Google이나 Bing과 같은 검색 엔진이 도달할 수 없는 다양한 도메인과 페이지가 존재하기 때문에 모든 온라인 콘텐츠를 검색 엔진으로 쉽게 찾을 수 있는 것은 아닙니다.
방대한 딥 웹을 파헤치려면 전문 검색 엔진을 활용하는 것이 중요합니다. 이 영역에서 포괄적인 검색을 수행하기 위한 12가지 도구와 리소스 목록을 아래에 정리했습니다:
보이지 않는 웹이란 무엇인가요?
딥 웹이라고도 하는 ‘보이지 않는 웹’은 기존의 검색 엔진 결과나 웹 디렉토리를 통해 액세스할 수 없는 온라인 콘텐츠를 말합니다.
공식적인 수치는 없지만, 보이지 않는 웹의 크기가 보이는 웹에 비해 훨씬 크다는 것은 전문가들 사이에서 널리 인정되고 있습니다. 이는 구글, 아마존, 마이크로소프트, 페이스북과 같은 주요 기술 대기업이 저장하는 방대한 데이터 저장소가 총 1,200페타바이트 이상의 정보를 차지하기 때문일 수 있습니다. 이 디지털 환경의 엄청난 규모는 경외감을 불러일으킵니다.
온라인 정보는 크게 딥 웹과 다크 웹의 두 가지 범주로 분류할 수 있습니다.
딥 웹
딥 웹에 액세스하려면 인증 또는 권한 부여가 필요하며, 이는 자격 증명, 초대 또는 특수 소프트웨어와 같은 다양한 수단을 통해 이루어질 수 있습니다. 딥 웹에는 학술 저널, 금융 데이터, 의료 기록, 법원 소송, 기업 네트워크, 정부 정보 등 광범위한 콘텐츠가 포함되며, 모두 적절한 권한 부여를 통해 액세스해야 합니다.
적절한 정보가 있으면 일반 웹 브라우저를 통해 콘텐츠에 액세스할 수 있습니다.
다크 웹
일반적으로 다크 웹이라고 불리는 인터넷의 모호한 영역은 토르와 같은 전용 브라우저를 통해서만 액세스할 수 있습니다. 광활한 딥 웹의 이 특정 영역은 높은 수준의 기밀성을 자랑하기 때문에 마약과 무기를 포함한 불법 거래가 이루어지는 장소로 선호됩니다.
다크 웹에 있는 대부분의 콘텐츠는 본질적으로 불법이지만, 이 규칙에는 몇 가지 예외가 있다는 점에 주목할 필요가 있습니다. 물론, 가장 유명한 다크 웹 플랫폼 중 상당수는 억압적인 정권에 거주하는 개인이 자유롭게 접근할 수 있도록 설계된 기존 사이트의 대체 버전일 뿐입니다.
Pipl
Pipl이라는 브랜드는 개인을 위한 세계에서 가장 광범위한 데이터베이스로 운영되는 온라인 플랫폼으로 자신을 소개합니다.구글과 같은 기존 검색 엔진과는 달리 Pipl은 공공 기록, 회원 디렉토리, 다양한 웹 기반 리소스를 포함한 포괄적인 데이터 세트에 액세스하고 분석할 수 있습니다. 그 결과, 사용자가 정보를 찾고자 하는 모든 개인에 대한 철저한 프로필을 제공합니다. 또한 이 도구는 개인이 집중적인 자기 검색을 수행하는 데 활용할 수 있습니다.
웨이백 머신
기존 웹 검색 엔진은 일반적으로 보관되거나 제거되었을 수 있는 이전 버전은 무시한 채 온라인 플랫폼의 최신 버전에서만 정보를 제공합니다.
웨이백 머신은 서버에 저장된 3,610억 개 이상의 웹 페이지 아카이브를 포함하고 있어 현재 인터넷에서 더 이상 액세스할 수 없는 정보도 검색할 수 있다는 점에서 차별화됩니다. 또한 모든 웹사이트의 이전 버전을 열람할 수 있는 플랫폼 역할도 합니다.
WWW 가상 라이브러리
WWW 가상 라이브러리는 1991년 월드와이드웹의 발명가인 팀 버너스 리 경에 의해 시작된 선구적인 온라인 카탈로그입니다.
자원봉사단은 수작업을 통해 하이퍼링크 명단을 꼼꼼하게 작성하여 여러 분류에 걸친 다양한 도메인의 재인용 정보에 대한 철저한 카탈로그를 제작합니다.
DuckDuckGo
표면 웹을 위한 유명한 개인 검색 엔진인 DuckDuckGo는 사용자의 개인 정보를 최대한 고려한 모바일 브라우저도 제공하고 있는 것으로 밝혀졌습니다. 또한, 이 회사는 토르 네트워크를 통해 액세스 가능한 익명 웹 사이트를 유지하여 사용자가 일반적으로 딥 웹 또는 다크 웹으로 알려진 인터넷의 숨겨진 영역을 더 깊이 파고들 수 있도록 합니다.
표준 DuckDuckGo 검색 엔진은 500개 이상의 독립적인 검색 도구를 활용하여 결과를 생성함으로써 Google에 비해 더 많은 양의 딥 웹 콘텐츠를 검색할 수 있습니다. 이 검색 엔진을 Onion 버전과 결합하여 사용자는 포괄적인 인터넷 검색을 수행할 수 있습니다.
The Onion의 웹사이트는
USA.gov
USA.gov에서 제공되는 정보의 범위는 정말 놀라울 정도로 방대하며 연방 기관은 물론 주, 지방 및 부족 정부와 관련된 모든 공식 자료에 대한 철저한 관문 역할을 하고 있습니다.
이 웹사이트는 정부 일자리 기회, 대출 및 보조금을 통한 재정 지원, 세금 정책 및 다양한 추가 리소스와 같은 다양한 측면에 관한 포괄적인 정보를 제공합니다. 플랫폼에 있는 콘텐츠의 상당 부분은 Google과 같은 인기 검색 엔진을 통해 액세스하지 못할 수 있습니다.
오픈 액세스 저널 디렉토리
오픈 액세스 저널 디렉토리(DOAJ)는 학술 출판물에 대한 무제한 액세스를 허용하는 고급 웹 기반 검색 도구로, 모든 사용자에게 무료로 제공됩니다.
현재 리포지토리에는 다양한 학문 분야를 아우르는 890만 개 이상의 개별 논문을 포함하는 19,000개 이상의 학술 저널 컬렉션이 있습니다. Google Scholar와 같은 검색 엔진을 통해 무료 논문에 편리하게 액세스할 수 있지만, DOAJ는 우수한 연구 리소스 역할을 한다고 생각합니다.
SearX
가시 웹과 딥 웹을 모두 탐색할 수 있는 검색 엔진을 찾는 경우 Searx는 탁월한 옵션입니다. 도메인이 Onion 주소로 숨겨져 있기 때문에 기존 인터넷 브라우저로는 액세스할 수 없습니다. 하지만 Tor와 같은 보안 브라우징 플랫폼을 이용하면 URL 필드에
이 고급 검색 엔진은 다양한 소스에서 정보를 검색할 수 있으므로 무한한 가능성에 대한 액세스를 제공합니다. 포괄적인 검색 기능을 통해 특정 주제나 주제에 대해 사용할 수 있는 모든 정보를 찾아낼 수 있습니다.
Elephind
Elephind는 전 세계의 역사적인 신문 아카이브에 액세스할 수 있는 포괄적인 플랫폼을 제공하기 위해 노력하고 있습니다. 이 특별한 저장소는 특히 조상 연구, 계보학 및 교육에 종사하는 학자들에게 유용합니다.
이 플랫폼을 통해 액세스할 수 있는 뉴스 기사의 상당 부분은 딥 웹에 존재하며 Google과 같은 유명 검색 엔진에서 생성된 검색 결과에는 나타나지 않습니다. 현재 플랫폼에서 360만 개 이상의 신문 기사를 찾을 수 있습니다.
토치
토치는 수년 동안 운영되어 온 평판이 좋은 딥 웹 검색 엔진입니다. 이 플랫폼은 정보의 성격이나 출처에 관계없이 사용자에게 딥 웹의 모든 정보에 대한 액세스를 제공하겠다는 확고한 약속을 자랑합니다. Torch는 매일 인터넷 깊숙한 곳까지 검색하여 Tor 네트워크에서 호스팅되는 새로 생성된 .onion 사이트를 찾아내어 데이터베이스를 최신의 포괄적인 상태로 유지합니다.
Ahmia
Ahmia는 다크 웹 영역 내에서 운영되는 온라인 검색 플랫폼으로 설명할 수 있지만, 기존 인터넷 채널을 통해 액세스할 수 있습니다.
토르 브라우저를 미리 설치하지 않으면 하이퍼링크 및 결과에 대한 접근성이 저하될 수 있지만, 이 플랫폼을 사용하면 딥 웹의 잠재적인 서비스를 경험할 수 있는 기회를 제공하는 동시에 그에 수반되는 위험에 대한 노출을 최소화할 수 있습니다.
WorldCat
각 개별 시설의 웹사이트를 수동으로 정독하는 것은 지루하고 오류가 발생하기 쉬운 과정일 수 있다는 점을 고려할 때, 가까운 곳에 위치한 다양한 도서관의 소장품에서 이용 가능한 문학 작품을 어떻게 알 수 있는지 문의할 수 있습니다.
대신 전 세계 도서관의 20억 개가 넘는 항목을 색인화하여 데이터베이스를 통해서만 액세스할 수 있는 다양한 리소스를 포괄하는 종합 인터넷 검색 엔진인 WorldCat을 활용하는 것이 좋습니다.
프로젝트 구텐베르크
Google에서 저작권이 없는 전자책을 얻는 과정에는 다운로드 가능한 파일에 액세스하기 위해 여러 웹 페이지를 탐색해야 하는 과정이 포함됩니다.
프로젝트 구텐베르크 웹 사이트는 다양한 파일 형식을 포괄하고 다운로드할 수 있는 관련 타이틀을 제공하는 6만 개가 넘는 무료 전자책의 광범위한 컬렉션을 제공합니다. 무료로 전자책을 얻을 수 있는 가장 주목할 만한 출처 중 하나로 널리 알려져 있습니다.
보이지 않는 웹에 대해 자세히 알아보기
앞서 언급한 12개의 검색 엔진은 정보 추구를 시작하는 데 훌륭한 기반이 됩니다. 안타깝게도 과거에 가장 유명했던 딥 웹 검색 엔진 중 하나였던 딥핍은 지금은 사라졌지만, 앞서 언급한 모든 웹 사이트가 이전의 기능을 어느 정도 재현할 수 있습니다.
다크 웹의 영역을 더 깊이 파고들고 싶다면 목적에 맞게 활용할 수 있는 다양한 전문 검색 엔진이 존재합니다.