인공지능이 만드는 모두의 딥페이크

2023-01-31

alookso 재직 당시 게재한 글.

간단한 질문 하나로 시작하겠습니다.

SNS에 내 얼굴이 나오는 사진을 올린 적이 있나요?

‘그렇다’고 답한 누구나 딥페이크 성착취물의 대상이 될 수 있습니다. 여성이라면 특히 더요. 누구나? 그건 좀 과장이 아닐까요? SBS에서 최근 보도한 사건을 봅시다.

한 여성이 있습니다. 인스타그램에 올린 자기 사진이 다른 여성의 나체와 합성된 사진을 트위터, 텔레그램 등에서 접했다는 제보를 받습니다. 사진과 계정 주소가 함께 노출되어 모르는 사람으로부터 원치 않는 연락을 받습니다. 게시물 제작자로부터 사진 삭제를 빌미로 추가 성착취를 요구하는 협박을 당합니다. (SBS 2023-01-25) 2021년 2월 방영된 “그것이 알고 싶다”에서도 SNS에 올린 사진을 도용해 누군가 제작한 성착취 동영상이 신상정보와 함께 인터넷에 유포되거나 금전적 협박을 당한 피해자 사례가 여럿 등장합니다.

작년 11월에는 연예인, 아동, 청소년 얼굴을 음란물에 합성한 영상 3천여 건을 텔레그램으로 유료 판매한 남성이 구속되고, 구매한 회원 일부가 입건되었습니다. (연합뉴스 2022-11-15) 지인의 얼굴사진을 텔레그램 등으로 전달해 허위영상물과 합성해달라는 의뢰를 주고 받기도 합니다. (KBS 2023-01-11)

앞의 SBS 보도에 따르면 경찰에서 파악한 딥페이크 영상 범죄만 2021년부터 2022년 11월까지 300건이 넘고, 방송통신심의위원회가 시정 요구 및 삭제 처리한 허위 영상물도 지난 해 4천 건이 넘는 등 해마다 증가하는 추세입니다. 본인의 사진이 도용되어 허위 영상물에 사용되었는지 쉽게 알기 어렵기 때문에, 실제 발생하고 있는 딥페이크 성착취물의 양은 이것보다 훨씬 많으리라 짐작할 수 있습니다.

어떻게 이런 일이 가능할까요?

한국 사회가 딥페이크라는 단어를 만난 주요한 계기는 n번방 사건이었습니다. 디지털 성착취는 n번방 이전에도 존재하는 범죄였으나, n번방 사건은 텔레그램, 디스코드 등 수사기관이 사용자를 추적하기 어려운 커뮤니케이션 도구를 사용하여 (특히 미성년자를 대상으로 한) 성착취물 유포를 고도화했다는 점이 특징이었습니다. 또한 이 사건이 보도되는 과정에서 많은 이들이 딥페이크 기술을 활용한 성착취물 제작이라는 현실을 만나게 되었습니다.

딥페이크 성착취물은 대부분 당사자 동의 없이 제작된 음란물이라는 점에서 그 자체로도 성폭력이지만, 그 유포 과정에서 개인정보 노출, 성폭력 댓글, 음란물이 아닌 사진/영상에 대한 성희롱(일명 ‘지인 능욕’) 등 추가적인 가해가 발생하기도 합니다. 영상 삭제를 미끼로 협박에 이용되기도 합니다. 특히 금전적인 협박뿐만 아니라 새로운 사진/영상이나 음란행위를 요구하는 등, 성폭력 가해를 지속시키는 수단이 되기도 합니다. 제작, 의뢰, 유포/소비, 협박 등 다양한 행태가 복잡하게 작용하는 성착취 네트워크 안에서 작동하는 한 가지 구성요소인 셈입니다.

딥페이크는 이미지나 음성을 조작해 사진이나 영상에 등장하는 인물을 다른 사람의 모습으로 바꾸는 기술을 묶어 부르는 이름입니다. 이미지에 등장한 인물의 모습을 바꾸는 일 자체는, 그리고 그런 조작을 통해 음란물을 제작하는 행위는 포토샵에서 필름 사진 시절까지 거슬러 올라가는 활동입니다. 그런데 2010년대 중반에 등장한 딥페이크의 특징은 당시 급격히 발전하던 딥러닝 기반 이미지 생성 기법을 활용하여 조작을 더 쉽고 정교하게 만들었다는 점에 있습니다. 기존에는 학술연구의 맥락에서만 주로 실험하던 기술을 일반인들이 사용할 수 있게 되면서 다양한 활용 사례가 나타났고, 점점 사실적인 결과를 내는 쪽으로 기법과 사용자들의 노하우가 발전하여 이제는 헐리웃 영화에도 적용될 정도입니다.

여기에 인터넷에 공개된 무수히 많은 사진과 일상화된 개인 SNS 활동이 만나, 그야말로 모두의 딥페이크가 가능해졌습니다. 이 기술에 ‘딥페이크’라는 이름이 붙은 이유가 된 레딧 사용자 deepfakes는 연예인의 얼굴을 음란물에 등장하는 여성 신체에 합성한 제작물을 여럿 만들어 게시하는 과정에서 유명해졌습니다. 딥페이크 기술이 음란물 제작에 활용되는 것은 어떻게 보면 너무도 예견 가능한 일이었습니다.

Engraving from Mechanic’s Magazine (cover of bound Volume II, Knight & Lacey, London, 1824). Courtesy of the Annenberg Rare Book & Manuscript Library, University of Pennsylvania, Philadelphia, USA.

인공지능 기술이 강화하는 디지털 성착취

제작, 의뢰, 유포, 협박 등 디지털 성착취의 여러 구성 행위 중 어느 한 단계가 용이해지면, 다른 행위들 또한 그에 맞물려 강화되리라 쉽게 짐작할 수 있습니다. 딥페이크 기술은 허위 영상물 제작을 용이하게 함으로써 디지털 성착취를 증강하는 효과를 가져왔습니다. 아르키메데스의 지렛대 이야기를 기억하시나요? ‘내게 설 땅과 충분히 긴 막대기를 주면 지구를 들어 보이겠다’고 했다는 이야기 말입니다. 지렛대의 원리는 작은 힘으로 큰 효과를 내는 법을 보여주는 고전적인 사례죠. 딥페이크 기술은 디지털 성착취에서 가해자와 피해자 사이에 놓인 지렛대를, 가해자가 더 적은 힘을 들여도 되는 방향으로 조정한 셈입니다. 이렇게 바꿔 표현할 수도 있겠습니다. ‘내게 얼굴 사진과 합성할 음란물을 주면 당신의 일상을 파괴해 보이겠다’고요.

딥페이크 기술이 성착취 가해자에게 유리한 방향으로 힘의 균형을 움직이는 것에 대항하는 움직임도 분명히 존재합니다. n번방 같은 성착취 범죄를 추적하는 언론 보도, 시민사회 운동, 경찰 수사 등을 통해 도입부에 소개한 것 같은 사건이 수면 위로 드러납니다. 법제도 개편을 통해 성폭력처벌법에 근거한 허위합성물 처벌이 가능해졌고, 정부는 게시물 삭제 등 피해자 지원 조치를 시행했습니다. 학계와 업계에서 딥페이크 제작물을 탐지하는 기술을 연구하거나 공모하기도 합니다. 인공지능 관련 작업에 많이 쓰이는 도구인 구글 코랩은 딥페이크 모델 학습을 금지하는 정책을 도입했습니다.

이처럼 다각도에서 딥페이크 기반 디지털 성착취를 억제하기 위한 시도들이 이루어지고 있는 것은 물론 좋은 일입니다. 그러나 이들 시도에도 불구하고, 딥페이크 기술을 활용한 성착취물 제작이 혁신적으로 손쉬워졌다는 변화를 되돌리는 일은 요원해 보입니다. 지렛대는 이미 조정되었고, 우리는 바뀐 지렛대의 균형이 사람들을 덜 해치도록 분주히 움직이는 것이죠.

이 시점에, 지렛대를 가해자에게 유리한 쪽으로 조정하는 또다른 인공지능 기술을 검토해볼 필요가 있습니다. ‘그림 AI’라고도 불리기도 하는, 텍스트 기반 이미지 생성 AI입니다. 딥페이크가 두 개의 원본(예를 들어 얼굴 사진과 음란물 동영상)을 ‘합성’하는 것을 쉽게 만든다면, 그림 AI는 존재하지 않는 장면을 ‘상상’하는 것을 쉽게 만듭니다. 텍스트 명령어(프롬프트)를 입력하면 그 텍스트에 부합하는 이미지를 그려내기도 하고, 입력으로 받은 이미지를 참조해서 새로운 이미지를 만들어내거나 일부 영역만 새롭게 그리기도 합니다.

원본 음란물에 특정인의 얼굴 사진을 합성하는 딥페이크와 달리, 그림 AI는 원본 음란물 없이도 얼굴 사진 주위에 음란물을 ‘생성’해내는 데 활용될 위험이 있는 것입니다.

최근 그림 AI를 대중의 손에 쥐여준 중요한 계기는 스테이블 디퓨전(Stable Diffusion, 이하 SD)이라는 이미지 생성 AI 모델의 공개였습니다. 2022년 8월 스태빌리티AI라는 스타트업은 SD를 오픈 소스로 공개하겠다는 계획을 밝히며, 연초 오픈AI가 공개한 달리2(DALL-E 2) 등으로 달궈진 그림 AI에 관한 관심을 자신들에 대한 주목으로 끌고 오는 데 성공합니다.

한편 스태빌리티AI보다 더 일찍 관련 기술을 연구하고 구현하는 데 성공한 오픈AI나 구글 등은 자신들이 만든 AI 모델을 공개하지 않았습니다. 달리2는 전용 웹서비스를 통해서만 이용 가능하고, 구글의 그림 AI는 아직 공개된 것이 없습니다. 사람들이 주목하는 신기술을 굳이 공개하지 않는 데에는 사업적 판단 등 여러 이유가 있겠지만 생성AI를 공개하는 데 따르는 위험성 또한 크게 작용합니다. 2022년 4월 오픈AI가 공개한 명세 카드에 따르면 달리2 같은 생성모델이 허위정보나 선정적/폭력적 이미지 등 유해한 콘텐츠를 생산하는 데 사용될 위험이 있고, 그 위험을 관리하고 예방하기 위해 모델의 공개 범위 및 대상에 제한을 두는 것이 (완벽하지는 않지만) 중요한 장치라고 설명합니다. 반면 스태빌리티AI는 모델을 우선 공개하고, 대신 사용자들이 그것을 “윤리적, 도덕적, 합법적으로 사용할 것”을 당부했습니다.

그러자 레딧이나 4chan 등 익명 커뮤니티에서는 곧바로 SD의 안전장치를 해제하고 음란물을 제작하기 시작했습니다. 한국 익명 커뮤니티에서도 머지 않아 관련 게시판이 생겨났습니다. 이런 공간에서는 생성한 이미지, 그 이미지를 만드는 데 사용한 명령어뿐만 아니라 SD 외의 다른 모델을 조합하고 실행하는 노하우가 공유됩니다. SD 구축에 사용된 데이터에는 선정적 이미지 비중이 적어서 음란물 제작의 효과가 떨어진다는 이유로, 선정적 이미지를 집중적으로 사용하여 구축한 새로운 모델에 관한 정보도 빠르게 업데이트됩니다. 딥페이크 관련 게시판에는 ‘스테이블 디퓨전으로 사진을 나체로 변형하는 법’ 같은 제목의 게시물이 등장합니다. 이미지 생성 명령어를 공유하고 검색할 수 있는 서비스에서도 나체 여성의 선정적 이미지를 생성하는 명령어를 어렵지 않게 찾을 수 있습니다.

그림 AI의 보급의 효과로, 이전보다 손쉽게 음란물 이미지를 제작할 수 있는 능력을 보유한 사용자의 커뮤니티가 조성되고 있는 현황인 것입니다. 그리고 제작의 용이함은 앞서 이야기한 것처럼 디지털 성착취에 연관된 여러 행동을 강화할 위험을 갖습니다. 그림 AI가 디지털 성범죄의 지렛대를 가해자에게 유리한 방향으로 또 한 번 조정할 참입니다. 이 균형의 이동에 우리는 어떻게 대응해야 할까요?