1. 개요
네이버, 구글 같은 민간 검색 엔진으로 검색이 불가능한 웹을 일컫는 말. 반대말은 표면 웹(surface web)이다. 출처또한 이 웹에서 유통되는 다양한 서비스들도 포함한다. 인터넷 하면 흔히 웹만 생각하기 쉽지만 그뿐만 아니라, 이메일, 파일 공유(토렌트, eMule 등), 웹캠, 동영상 스트리밍, 온라인 게임, VoIP, 모바일 앱 등 다양한 서비스들을 포함한다.[1] 이처럼 딥 웹은 웹뿐만 아니라 다양한 서비스들을 포함하고 있기 때문에 딥 웹보다 딥넷(deepnet)이 더 정확한 표현이다.[2]
처음 등장한 것은 2000년 당시 에든버러 대학교 학생 이언 클라크(Ian Clarke, 1977 ~ )의 논문 프로젝트인 프리넷(Freenet)이 공개되면서 시작된 것으로 알려졌다.
온라인에서 익명으로 통신하고 파일을 공유하는 새로운 방법을 만드는 것을 목표를 한 것이었다.
[3]
2. 접속방식
- 주소를 관계자로부터 알아내서 직접 입력해야 하는 방식
- 특정 소프트웨어나 하드웨어를 통해 접속허가를 얻어야 하는 방식.
3. 종류
모든 딥웹이 범죄사이트인 건 아니다. 딥 웹은 단순히 검색에 걸리지 않는 모든 사이트들을 포괄하는 단어이다.- 개인 프라이버시: 스마트폰 애플리케이션 대다수는 인터넷과 연결되어 있지만, 해당 서비스 운영사가 보관하는 고객들의 자료는 통상적으로 검색되지 않는다. 대표적으로 흔히 사용되는 카카오톡 대화방이나 이메일 역시 딥 웹에 속한다. 대화방의 경우에는 해당 방의 참가자들만이, 그리고 이메일의 경우는 발신자와 수신자만이 내용을 열람할 수 있기 때문이다. 다른 예시를 들자면 pixiv FANBOX나 넷플릭스 등에서 구독한 컨텐츠를 열람하는것도 구독한 개개인만이 열람할 수 있으니 일종의 딥웹이다.
- 국가, 군대 내부망: 정부기관은 개개인의 주민등록번호와 주소지, 가족관계, 납세내역 등의 중요한 개인정보들을 모두 전산화하여 보유하고 있는데, 당연히 이러한 정보들은 내부망에 저장되며 인가를 가진 계정으로만 접근할 수 있다. 또한 각국이 안보를 위해 제작, 보유하는 군사기밀은 기밀 정도에 따라 단계별로 분류하여 군대가 내부적으로 보유하고 있는 인트라넷에 보관한다.
- 기업 사내망: 대부분의 기업들은 자신들의 사업 기밀을 보호하기 위해 인트라넷(사내망)을 구축한다. 이러한 사이트들은 대개 robots.txt 파일 설정을 통해 검색 로봇이 내용을 긁어가는 것을 막으며, 허가된 단말기와 소프트웨어, 사원 계정으로만 접속할 수 있다. 네이버 웹툰에서 현재는 공개되지 않는 웹툰들도 주소 자체는 살아있기도 한데, 이 역시 딥웹에 속한다.
- 학술자료 검색엔진: 국회도서관이나 다수의 학술 데이터베이스 역시 딥웹이라 할 수 있다. 연구자료에 접근하려면 해당 연구기관에 돈을 지불하고 이용권 내지 논문을 구매해야 한다. 검색 엔진에 노출시켜 트래픽을 만들 필요가 없으니 검색 노출을 차단하고 내부에서만 검색 가능한 독자적인 네트워크를 형성하여 연구자들끼리만 이용한다.
- 키프리스를 제외한 특허검색 사이트: 특허청에서 제공하는 무료 특허검색 사이트인 키프리스를 제외한 나머지 검색엔진들 또한 딥 웹으로 볼 수 있다. 이는 전술한 학술자료와 마찬가지로 사이트 운영사에 일정 금액을 지불하고 미리 등록한 아이피나 계정으로만 검색 및 이용 할 수 있게 한다. 이런 사설 특허검색 사이트는 주로 로펌이나 특허법률 사무소에서 이용하며, 키프리스에서는 제공하지 않는 부분까지 세밀하게 서비스 되는 특징이 있다. 반면에 구글에서 판례번호를 넣으면 검색되는 케이스노트는 딥 웹이 아니다.
- 특정 고객층에게만 제공: 제한된 전산실에서만 네트워크 주문빌지를 만들어 손님들께 서비스를 제공하는 경우 역시 딥 웹이라 할 수 있다. 이런 서버 같은 경우에도 http:// 이후 199.53.224.173 같은 숫자로 나열된 고유의 아이피 주소가 엄연히 존재하나 당연히 아무나 접속할 수는 없고, 특정 서버에 사원 로그인으로 접속이 가능하다.
- 진짜 범죄 관련 사이트: 대부분은 딥 웹 하면 이 유형을 떠올리겠으나, 실제 '딥 웹'으로 분류되는 트래픽에는 상술한 유형의 합법적, 일상적인 내용의 트래픽이 거의 대부분을 차지하며 진짜 범죄자들의 딥 웹은 민간 영역에 비해선 극도로 작은 규모다.
- 폐쇄적인 커뮤니티: 완전한 딥 웹이라고 보기는 어렵지만, 폐쇄적인 커뮤니티의 경우 인증된 계정에 한하여 정보를 보거나 작성할 수 있는 경우가 많고 이에 따라 검색 엔진은 해당 글들을 수집할 수 없다. 대표적으로 여성시대의 경우 총 글 수는 카페 활동 내역 기준으로 6100만 여개로 집계되고 되고 있지만 구글 검색에서는 약 600만 개정도만 노출되어 약 10%의 게시물만이 검색되고 있다. 이와 같이 특별한 인증을 통해 가입을 해야만 게시물을 열람, 작성할 수 있는 경우가 많은[4] 커뮤니티는, 작성할 때는 가입이 필요하더라도 최소한 열람하는 데에는 자격이 불필요한 대부분의 타 커뮤니티들과는 달리 명백히 폐쇄적이며, 검색 엔진에 거의 노출되지 않는 부분적인 딥 웹으로 볼 수 있을 것이다.
4. 실체가 알려진 딥 웹
[1] 지금은 한정적인 분야에서만 쓰이는 텔넷, FTP, IRC 등도 있으며 이제는 거의 사라진 유즈넷, 고퍼, 아키(Archie)도 모두 인터넷에 해당한다. 인터넷은 생각보다 광범위한 개념이다.[2] 영어 위키백과에서 deepnet으로 검색하면 deep web으로 문서를 넘겨준다.[3] 근거: https://en.wikipedia.org/wiki/Freenet[4] 심지어 이마저도 회원 등급을 철저히 차등하여 내부적으로 이용할 수 있는 게시판이 여러 단계로 구분지어진다. 이를 악용한 대표적인 사건이 SLR클럽 소모임 성인 정보 자료실화 사건이다.#