1. 개요
딥페이크의 오용과 폐해 중 성범죄에 대한 부분을 다룬다.2. 역사
2.1. AI 기술 등장 이전
사실 AI 등장 이전에도 포토샵 등을 이용한 고전적인 합성 방식의 성범죄는 존재했다. 스타크래프트의 옷벗기기 유즈맵나 일본의 아이코라가 이에 해당하는 대표적 사례이다.2013년 드라마 별에서 온 그대에서도 PC방에서 남자 청소년들이 작중 연예인인 천송이의 얼굴을 비키니에 합성하는 모습이 나왔는데, 당시 시대상에서도 흔한 일이였음을 반영한다.[1]
2013년부터 소라넷 내 연예인 합성 카페인 '아이돌 페이크(Idol Fake)'에서 EXID의 하니 등 주로 여자 연예인을 대상으로 나체 사진을 합성해 유포하는 범죄를 저질렀다. 해당 카페 운영자는 2016년에 체포되었다. #
이러한 범죄 피해는 남자 연예인도 예외는 아니었는데, 2012년에 한 부녀자가 BIGBANG의 T.O.P을 게이 동영상에 합성한 사진을 트위터에 올리거나#(ⓐ)[X], 2016년에도 부녀자 블로거가 방탄소년단 멤버들을 게이 키스 사진에 합성해 알페스로 엮은 사진등이 올라오기도 하였다.(ⓐ)[X]
2016년부터는 자기 주변 지인을 대상으로 한 일명 '지인 능욕'이라는 범죄가 성행하면서 피해 대상이 연예인, 유명인이 아닌 일반인까지 확대되기 시작하였다. #
2.2. AI 기술 등장 이후
2017년 말, 'deepfakes' 라는 닉네임의 Reddit 사용자가 특정 사람의 얼굴을 학습한 뒤 다른 동영상의 얼굴에 바꿔치기 하는 기술을 공개하였고, 개발자의 닉네임을 따 처음으로 '딥페이크'라는 용어가 탄생하였다. 당연히 이 기술은 탄생한 직후 유명인들의 얼굴을 포르노에 합성하는 등 빠르게 악용되었다.2022년부터 생성형 AI의 발달로 실사와 구분이 불가능한 고화질, 고품질의 AI 이미지 생성이 가능해졌다. 물론 대부분의 서비스들은 성적인 프롬프트를 금지하는 등의 필터링이 되어있지만 유저가 직접 모델을 설치하는 Stable Diffusion 등에서는 아무런 제약이 없기 때문에 실존 인물의 얼굴로 실사 나체 사진을 만드는 등 디지털 성범죄에 악용되기도 하였다.
기존의 영상에서 얼굴을 바꾸는 딥페이크 기술은 얼굴을 바꿀 해당 인물의 다각도로 촬영된 여러장의 사진이 있다는 제약이 있었기에 일반인들을 대상으로 쓰이긴 어려웠으나, 스테이블 디퓨전 같은 이미지 생성형 AI의 경우 특정 영역을 지정해 해당하는 부분만 합성하는 기능이 있는데 이를 통해 옷을 입고있는 멀쩡한 사진에서 몸 부분만 알몸으로 바꿔치기 하는 등 사진 한장만으로도 이러한 합성 범죄가 가능해졌다.
단순 영상, 이미지 뿐만 아니라 목소리를 학습시켜 원하는 말을 내뱉게 하는 방식으로 성적인 발언이나 신음 소리등을 합성하는 오디오 딥페이크(딥보이스)도 존재한다.[4]
3. 단어의 정의
사실 현 시점에서는 '딥페이크'라는 용어가 더 이상 2017년에 개발된 '딥페이크'라는 기술명만을 의미하지는 않게 되었다. 딥페이크(기술명)이란 다량의 사진으로 특정인의 얼굴을 학습시킨 후, 특정 실사 동영상에서 얼굴만 바꿔치기 하는 원리지만 현재는 생성형 AI의 Inpaint 기능 처럼 사진의 일부 혹은 전체를 생성된 이미지로 채워넣는 방식 등 다른 방식이나 원리의 AI로도 합성 성범죄를 하는 사례가 많아졌기 때문이다.[5] 굳이 따지자면 딥페이크는 동영상용, 생성형 AI는 사진용 이라는 차이점이 있지만[6] 이제는 '딥페이크'란 단어가 AI 모델이나 작동 방식을 따지지 않고 특정인을 대상으로 가짜 이미지/동영상을 AI로 생성해내는 행위 일체를 통칭하는 의미로 확장되었다.시간이 지남에 따라 '딥페이크'란 단어가 실존인물을 대상으로 성적 목적으로 합성을 하는 행위 일체를 뜻하는 고유명사화가 되었다고도 볼 수 있는데[7], AI 등장 이후로도 지식과 여건 부족 등의 이유로[8] AI를 활용하기 어려운 사람들은 여전히 포토샵 등 고전적인 합성방식을 이용하기도 하는데 이런 비AI 합성 성범죄도 일각에선 크게 구분하지 않고 '딥페이크'라고 부르는 경우도 있다. 다만 이는 엄연히 잘못된 단어 사용으로 딥페이크는 실존인물을 대상으로 하여 딥러닝, AI를 통해 조작,생성된 자료를 의미하기 때문이다.[9]
4. 상세 및 현황
아직은 싸고 조악한 수준의 영상들이 많아서 대부분 가짜임을 짐작할 수 있지만 영상의 화질이나 처리되는 데이터의 질에 따라 딥페이크 영상과 원본영상의 구분이 어려울 정도로 발전하는 추세이며, 특히나 유명인들은 온라인에 공개된 리소스의 양이 당연히 많으므로 영상 합성이 용이하기 때문에 딥페이크 포르노의 탄생에 크게 일조하였다. 특히 다수의 포르노 사이트, 트위터와 같이 접근성이 높은 사이트에도 실제로 이런 영상들이 돌아다녔다.한국의 경우는 이를 제작해서 인터넷 등에 배포하면 성폭력범죄의 처벌 등에 관한 특례법 제14조의2에 따라 처벌받는다. 일방적으로 당사자를 성적 대상으로 삼는 행위인 데다가 다른 사람의 영상에 얼굴을 합성한 행위이므로 '허위사실 적시에 의한 사이버 명예훼손'이 성립하며, 어찌 되었든 포르노이므로 공연히 적시했다면 음란물 유포죄로 형사 처벌이 가능하다.[10] 또한 민사사건으로서는 당사자의 동의 없이 딥페이크 포르노를 제작하였으므로 초상권 침해가 성립한다. 하지만 이러한 우회적 처벌이 아니라, 직접적으로 처벌할 수 있는 근거가 되는 법을 신설해야 한다는 목소리가 높아지면서 2020년 6월25일, <불법합성물 제작·유포에 대한 처벌 규정을 담은 성폭력범죄의 처벌 등에 관한 특례법 개정안>이 시행됐다.기사
대다수 나라에서 현재 법적으로 대처가 불가능하다.기사[11] 사생활 침해에 관한 클레임도 걸 수 없는 게 동영상에 나오는 몸은 당연히 해당 일반인 및 연예인이 아니기 때문에 법적으로 사생활 침해가 인정되지 않는다. 그나마 동영상이라도 내릴 수 있는 유일한 방법은 얼굴이 나온 원본 영상에 대한 저작권 침해로 클레임을 거는 방법밖에 없다. 이와 같은 문제가 대두되기 시작하자 폰허브 같은 대형 플랫폼들은 딥페이크 영상들을 내리는 조치를 취하자 딥페이크 영상들을 모은 전용 사이트들이 생겨났다.
2월 27일 그것이 알고싶다에서 온라인 딥페이크 사용 목적의 96%가 포르노그라피인 것으로 보도되었다. 자세한 건 해당 문서 참조. 독일 경찰은 이를 역이용해서 아동성범죄 검거에 쓰고있다.
이렇게 실존 인물을 대상으로 딥페이크 기술을 이용해 당사자의 동의가 없는 불법적 커플링을 묘사하는 사례에 관한 자세한 내용은 Real Person Slash[12]의 줄임말인 알페스이다. 이는 알페스 공론화 사건 문서 참고.
미국 전문지 롤링 스톤에 따르면 중국 K팝의 주요 소비국이며 한국 연예인의 딥페이크 영상은 대부분 중국에서 제작된다고 한다. 해외 조사 업체에 따르면 주요 인터넷 사이트 5곳에 25%가 한국 여자 연예인이고, 41%가 미국 여자 연예인이었다.#
2021년 5월 2일 경찰청 국가수사본부가 발표한 내용에 따르면, 2020년 12월 한 달 동안의 집중수사를 통해 94명의 딥페이크 제작 및 유포자를 적발했으며, 그 중 65명이 10대, 17명이 20대로 나타났다. 즉 딥페이크로 검거된 사람들의 87.2%는 1020 연령층이자 과반수가 10대에 집중된 것으로 확인되었다.기사 피해자는 114명으로 나타났으며 66명은 10대, 46명은 20대로서, 피해자들의 98.2%도 마찬가지로 1020 연령층이자 과반수가 10대에 집중되어 있었다. 또한 피해자들 중 109명이 여성이었고 남성 피해자는 단 5명에 그쳤다. 검거된 피의자들 중에는 10만 건이 넘는 딥페이크 자료들이 업로드된 불법 사이트를 운영하거나, 텔레그램에 8개의 채널을 만들고 727개의 딥페이크 자료들을 유통하던 경우도 있었다.
2022년 이후 생성형 인공지능이 대중화되면서 비슷한 문제에 대한 우려가 있으나 딥페이크만큼 논란이 된 경우는 없는데, 딥페이크의 경우 기술적 발전보다 부작용에 대한 우려가 더 이목을 끌면서 사실상 양지화되지 못한 문화 지체 사례로 볼 수 있다.
다음은 2023년 Security Hero 에서 95,820개의 딥페이크 비디오, 온라인 플랫폼 전반에 걸친 85개의 전담 채널, 딥페이크 생태계에 연결된 100개 이상의 웹사이트 등을 분석한 결과이다.#
- 2023년 온라인에 공개된 딥페이크 영상의 총 수는 95,820개로 2019년 대비 550% 증가했다. 딥페이크 포르노 사이트 시장점유율은 90%에 달하며 주류 포르노 웹사이트는 작지만 여전히 주목할 만한 10%의 점유율을 차지했다.
- 2022년부터 2023년까지 제작된 딥페이크 포르노의 양은 1년만에 2022년 약 3,725개에서 2023년 약 21,019개로 464% 증가했다.
- 그중 국가별 딥페이크 포르노 피해는 한국 53%, 미국 20%, 일본 10%, 영국 6%, 중국 3%, 인도&대만 2% 순으로 한국이 압도적인 1위를 차지했다. 이는 대부분 중국에서 제작된 K-POP 여성 아이돌을 대상으로 한 딥페이크 포르노의 비율이 압도적이었기 때문. 피해자 성별은 99%가 여성이었다.
- 시큐리티 히어로의 2023 딥페이크 현황 보고서에 따르면 지난해 7, 8월 두 달간 올라온 영상을 분석한 결과인데, 딥페이크 음란물의 등장 인물이 53%가 한국인으로 나타났으며 딥페이크 성범죄에 가장 취약한 나라로 꼽혔다.#
- 피해자 직업은 가수(58%), 배우(33%), 소셜 미디어 인플루언서(3%), 모델&운동선수(2%)로 상위 10명 중 8명이 KPOP으로 위시된 한국 가수이며 피해자 94%가 엔터테인먼트 업계에 종사하고 있다.
- 설문 조사에 참여한 미국 남성의 48%가 딥페이크 포르노를 적어도 한 번은 본 적이 있다고 답했으며 사용자의 74%는 시청에 대해 죄책감을 느끼지 않는다고 답했다. 설문 참여자의 73%는 가까운 사람이 딥페이크 포르노의 피해자가 될 경우 당국에 신고하고 싶어했으며 68%는 딥페이크 포르노 콘텐츠 제작 과정에서 누군가의 사생활과 동의를 침해하는 것에 대해 충격과 분노를 느낄 것이라고 밝혔다.
롤링스톤은 한국 여자 연예인들이 딥페이크 영상 주인공의 25%를 차지하는 것에 대해 "케이팝이 50억달러(약 5조9740억) 규모의 세계적인 산업으로 성장하면서 케이팝 스타들이 딥페이크 영상의 피해자가 되고 있다"며 한류 열풍을 이유로 꼽았다. 이어 한국 여자 연예인들을 합성한 딥페이크 영상은 대부분 한국이 아닌 중국에서 제작됐으며, 이는 중국이 케이팝 주 소비국 중 하나인 만큼 관심도 많기 때문이라고 설명했다. #
2024년 9월 26일, 성폭력범죄의 처벌 등에 관한 특례법 일부개정법률안(대안)에 대한 수정안이 가결되었다.
5. 사례
- 대표적으로 엠마 왓슨의 얼굴을 사용한 포르노가 있는데, 처음 보는 사람들은 분간이 안 갈 정도로 자연스럽다. 게다가 점점 더 빠른 추세로 일반인들에게 보급과 이용이 되고 있는 데다가 제작자가 차기 딥페이크는 구분이 거의 되지 않을 정도의 성능을 보여줄 것이라 공언하였고 실제로 문제 또한 심각해졌다. 딥페이크 보급이 용이해지면서 공공연한 딥페이크가 음지 내에서 만연하는데 적발이 어려운 사태가 벌어졌다. 독일은 여기서 한술 더떠서 딥페이크를 적극적으로 활용해 가짜 아청물을 찍어내서 함정수사를 한다.#
- 일본에서도 2020년에 연예인에 대한 딥페이크 포르노를 제작·공개한 혐의로 적발한 사례가 있다.#
- 트위터나 텔레그램 같은 SNS상에서 링크를 통해 딥페이크 영상물을 사고파는 악성범죄가 자주 일어난다
. '지인 합성', '능욕 합성' 등의 키워드를 검색해보면 지인이나 가족 등의 사진을 영상, 19금 사진에 합성해준다는 계정이 굉장히 많다. 심지어 이들 중 여럿은 공개 계정으로 버젓이 활동하고 있다. 특히 텔레그램에서는 여자의 신체들만 대상으로 한 딥페이크 비밀방이 다수 운영되고 있으며 트위터와 같이 '지인 합성', '능욕 합성 ' 여성 지인이나 (여동생,누나)가족 등의 사진을 영상, 19금 사진에 합성한 딥페이크 피해가 전국 단위로 퍼져나가고 있다.
[단독] 전국 학교 230곳에 '딥페이크방'…"얼굴 나온 거 다 지워라" 패닉
텔레그램에서 女아이돌 대상 '딥페이크방' 다수 운영 확인
10대 파고든 딥페이크 성범죄
[단독] ‘○○○ 능욕방’ 딥페이크, 겹지인 노렸다…지역별·대학별·미성년까지
기사
5.1. 서울대학교 허위 음란물 제작 유포 사건
5.2. 2024년 텔레그램 딥페이크 음란물 유포 사건
[1] 다만 일반적인 비키니 사진에 합성하는 정도로는 범죄라고 보기 어렵다.[X] 접속 시 수의 주의[X] [4] 일찍이 부녀자들 세계에서 유행했던 알페스의 일종인 '섹테'도 이와 유사한 결[5] 특히 기존 딥페이크(기술명)은 얼굴 학습을 위해 다각도로 촬영된 사진 여러장이 필요했기에 일반인들을 대상으로 하기에는 적합하지 않았다. 반면 생성형 인공지능을 사용한 Inpaint 방식은 사진 한장만으로도 알몸 합성이 가능하기에 일반인을 대상으로한 지인 능욕은 오히려 딥페이크(기술명)이 아닌 Stable Diffusion 같은 Inpaint 기능을 지원하는 생성형 AI가 사용되는 빈도가 더 많다.[6] 심지어 사진을 동영상으로 변환하는 Image to Video AI도 발전됨에 따라, 합성 사진을 영상으로 만드는 것도 충분히 가능해졌다.[7] 딥페이크란 단어 이전에는 '합성 성범죄', '불법 합성'등으로 불리긴 했지만 크게 용어화되지 못했고 비슷한 개념인 '지인 능욕'이라는 말은 엄연히 지인을 대상으로만 해당하는 것이라 연예인 등에 대한 합성까지 포함시킬만한 단어는 없었다.[8] 프로그램을 다루기 어려워하거나 고성능 GPU가 없는 경우 등.[9] 사실 포샵을 사용했냐 AI를 사용했냐, 어떤 프로그램과 어떤 모델을 사용했냐의 여부는 그걸 만드는 가해자한테나 중요한 사항이지 피해자 입장에선 다 똑같은 피해기 때문에 굳이 생성 원리를 구분하는게 무의미 하기 때문.[10] 단, 딥페이크 포르노 영상의 유포라는 하나의 행위가 명예훼손과 음란물 유포죄 양측으로 해석되는 상황이므로, 상상적 경합이 적용되어 실제 처벌은 사이버 명예훼손으로 이뤄지게 된다. 허위사실 적시에 의한 사이버 명예훼손은 징역 장기 7년까지 가능한 중범죄다.[11] 당연한 것이, 법의 변화는 기술 발달보다 훨씬 느리다보니 법에 구멍이 뚫리는 경우가 많다. '투자'로 취급되어 소비자보호법이 적용되지 못하는 와디즈가 대표적인 사례다.[12] 소설 뿐만 아니라 그림, 영상 등 다양한 방식의 창작물도 실존 인물을 엮는 내용이라면 모두 RPS라고 부른다. 그리고 이 과정에서 영상물의 경우 딥페이크 기술이 사용된다.