고아침 Koh Achim

(draft) 창의적 인공지능과 모두의 딥페이크

2023-01-25

인공지능이 만드는 모두의 딥페이크 의 초고.

장면#1: “딥페이크” 시간여행자 (2022년 12월, 트위터)

트로이 목마를 배경으로 찍은 셀카 사진이 있습니다. 머리가 벗겨진 중년 백인 남성이 카메라를 들고 있고, 오디세우스 장군이 남성 쪽을 바라보고 있습니다. 목마 아래에는 병사들이 모여 있고, 그 뒤에는 그리스식 석조 건물이 흐릿하게 보입니다. 그리스 신화를 다루는 영화 세트장에서 찍은 사진일까요? 아뇨, 이건 시간여행의 기록입니다.

트로이 목마를 배경으로 찍은 셀카 합성사진

‘시간여행자 스텔피’는 역사 속 과거나 미래, 신화에 나오는 가상의 시공간을 배경으로 셀카를 찍어 작년 12월부터 트위터에 올리고 있습니다. 스텔피의 ‘시간여행’을 가능하게 만드는 것은 이미지 생성 AI입니다. 계정주의 말에 따르면 작년에 공개된 스테이블 디퓨전(Stable Diffusion)과 더불어 배경에 특화된 생성모델과 얼굴에 특화된 생성모델에서 나온 결과물을 조합해 제작하며, 이미지 한 장을 완성할 때 세 시간 정도 작업한다고 합니다.

📎 여기서 잠깐! 이미지 생성 AI란?

대량의 이미지와 이미지 캡션 자료에서 패턴을 학습하여, 텍스트 명령어(프롬프트)를 입력하면 그 텍스트에 부합하는 이미지를 그려낼 수 있는 컴퓨터 알고리즘을 말합니다. 오픈AI에서 발표한 달리2(DALL-E 2), 스태빌리티AI에서 공개한 스테이블 디퓨전 등 최근 1-2년 사이 고성능 모델이 발표되며 대중적 관심을 끌고 있습니다. 이미지 생성 AI의 주요 기능은 다음과 같습니다.

▪️ 텍스트 기반 이미지 생성 (txt2img): 명령어에 부합하는 이미지를 생성합니다.
▪️ 이미지 변환 (img2img): 입력으로 받은 이미지의 색, 구성 등을 참고해서 다른 이미지를 결과물로 생성합니다. 텍스트 명령어를 사용하는 경우도 있습니다.
▪️ 인페인팅 (inpainting): 입력으로 받은 이미지 중 특정 영역(’마스크’)에 대해서만 출력 이미지를 생성합니다. 텍스트 명령어를 사용하는 경우도 있습니다. 기존 이미지과 새로 생성된 (마스크로 가린) 영역이 자연스럽게 연결되게끔 하는 것이 관건입니다.
▪️ 아웃페인팅 (outpainting): 인페인팅을 이미지 바깥 영역에 적용하는 기법. 예를 들어 사진 프레임 밖에 있는 배경을 상상해서 그린다거나 하는 접근입니다.

스텔피의 제작자는 특히 인페인팅을 많이 활용한다고 합니다. 기본적인 구성요소 및 구도를 잡은 뒤 특정 영역의 디테일을 개선하는 식으로 작업하리라 상상해 봄직합니다. 본인이 말한 것처럼 이미지 한 장을 만드는 데 세 시간이 걸린다면, 상상이 인스턴트하게 구현된다고까지는 할 수 없지만 그래도 굉장한 속도라고 볼 수 있습니다. 이런 이미지를 만들기 위해 세트를 제작하고 배우를 섭외해서 촬영하거나 컴퓨터 그래픽으로 모델링을 한다고 생각해보면 아마도 시간 측정 단위가 최소 ‘일’ 내지 ‘주’ 단위로 달라지겠죠. 이미지 생성 AI 기반 ‘딥페이크’를 창의적이고 효과적으로 이용했을 때 어떤 가능성이 열리는지 보여주는 사례입니다.

장면2: 스테이블 디퓨전 (SD) 발표 (2022년 8월)

스텔피는 여행을 계속하도록 보내주고, 우리도 시간을 거슬러 잠시 이동해볼까요. 너무 많이는 말고, 몇 개월만요. 목적지는 2022년 8월입니다. 스태빌리티AI라는 스타트업은 이미지 생성 AI 모델 ‘스테이블 디퓨전’을 오픈 소스로 공개하겠다는 계획을 밝히며, 연초 달리2의 공개나 구글의 이매진(Imagen) 및 파티(Parti) 연구 발표 등으로 달궈진 생성 AI에 관한 관심을 자신들에 대한 주목으로 끌고 오는 데 성공합니다. 처음에는 신청자를 대상으로 모델을 제공하다가 9월에는 누구나 모델에 접근 가능하도록 공개했습니다.

모델 공개 계획을 밝힌 블로그 포스트에서 스태빌리티AI는 자신들의 AI 모델을 통해 ‘수십억 명의 사람들이 더 창의적이고, 행복하고, 원활히 의사소통할 수 있게끔 해줄 것’이라고 이야기합니다. 그림과 글쓰기 등의 창조적인 표현 능력을 자동화하는 기술을 보급하여 궁극적으로 민주화한다는 목표는 생성AI 업계에서 꾸준히 중요하게 등장하는 비전입니다. 그런데 스태빌리티AI보다 더 일찍 관련 기술을 연구하고 구현한 오픈AI나 구글 등은 왜 자신들이 만든 AI 모델을 공개하지 않았을까요? 기술과 창의성의 민주화를 원하지 않아서?

그렇게 주장하는 사람도 있습니다만 보다 설득력 있고, 당사자들이 직접 밝힌 이유는 생성AI를 공개하는 데 따르는 위험성 때문입니다. 2022년 4월 오픈AI가 달리2 미리보기 버전과 함께 공개한 시스템 명세 카드에 따르면 생성모델이 허위정보나 선정적/폭력적 이미지 등 유해한 콘텐츠를 생산하는 데 사용될 위험이 있고, 그 위험을 관리하고 예방하기 위해 모델의 공개 범위 및 대상에 제한을 두는 것이 (완벽하지는 않지만) 중요한 장치라고 설명합니다. 반면 스태빌리티AI는 모델을 우선 공개하고, 대신 사용자들이 그것을 “윤리적, 도덕적, 합법적으로 사용할 것”을 당부했습니다.

사람들은 곧바로 스테이블 디퓨전 모델을 사용해 포르노 이미지를 생성하기 시작했습니다.

장면3: 언스테이블 디퓨전 크라우드펀딩 (2022년 12월, 킥스타터)

‘언스테이블 디퓨전’은 레딧의 한 서브레딧(게시판)으로 시작했습니다. 스테이블 디퓨전 등의 AI로 생성한 선정적 이미지를 공유하는 공간이었습니다. 그런 곳이 이곳뿐은 아니었지만, 언스테이블 디퓨전이 특이한 점은 같은 이름의 회사가 만들어져 크라우드펀딩 플랫폼인 킥스타터에서 프로젝트 모금을 시작했다는 것입니다. 2022년 12월 모금을 시작한 이들의 프로젝트는 24시간만에 2만5천달러 목표를 달성하고, 총 867명이 펀딩에 참여하여 5만6천달러까지 가닿았습니다. 그러나 킥스타터 측에서 규정 위반을 이유로 제재를 가하여 펀딩은 무산되었습니다.

이들의 프로젝트가 무엇이었냐면, 바로 스테이블 디퓨전보다 인체 묘사(포르노 생성에 꼭 필요한 기능이죠)에 뛰어난 생성모델을 만들기 위한 것이었습니다. 스테이블 디퓨전을 학습시키는 데 사용된 LAION-5B 데이터셋에는 ‘안전하지 않은’ (부적절한) 이미지가 2.9% 가량 들어있다고 제작진이 밝히고 있습니다. 사람의 나체 이미지는 부적절한 이미지에 속할 것이고요. 모델의 성능이 데이터를 반영한다고 볼 때, 생성모델로 포르노를 만들고자 하는 사람의 입장에서는 데이터셋에 포함된 ‘안전하지 않은’ 이미지 비율을 높이는 방향으로 ‘개선’하여 새로운 모델을 구축하고 싶을 것입니다. 킥스타터 캠페인은 이 작업에 드는 비용을 마련하기 위해서 열린 것입니다.

언스테이블 디퓨전의 캠페인은 곧바로 트위터에서 아티스트들이 킥스타터에 항의하는 등 반대 여론을 맞이했고, 빠른 모금 속도만큼이나 빠르게 킥스타터로부터 제재를 받고 정지되었습니다. 반대 여론에 대해 언스테이블 디퓨전 측은 ‘우리의 창의성과 혁신은 새로운 도구를 두려워하는 일부에 의해 침묵당하지 않을 것’이라는 요지의 성명을 내기도 했습니다. 이러한 모델이 리벤지 포르노 등 상대 의사와 무관하게 제작되는 포르노 콘텐츠(non-consensual pornography)에 사용될 것이라는 우려에 대해서는 커뮤니티 정책을 통해 금지하고 있다며 반박했습니다.

장면4: 음습한 섬들

포르노 등 선정적 이미지에 대해 생성모델의 오남용을 막는 안전장치는 어디에서 작용할 수 있을까요. AI모델 자체를 보았을 때는 1) 훈련 데이터셋 2) 입력한 명령어 3) 생성된 결과물 등을 꼽아볼 수 있고, 그밖에 모델을 실제 배포하고 서비스하는 과정에서 정책적/법적 규제가 작동할 수도 있습니다. 그러나 이 모든 장치들은 생성AI를 책임 있는 주체가 서비스할 때만 작동할 수 있고, 모델이 오픈 소스로 공개되어 누구나 자기 장비에서 실행할 수 있게 된 시점에서 우회 가능해집니다. 훈련 데이터셋에 선정적인 이미지가 없으면? 그런 이미지를 추가해서 학습을 더 진행하면 됩니다. 특정 명령어가 차단되면? 오픈 소스 모델에 그런 제약은 없습니다. 생성된 결과물이 선정적일 경우 이미지를 보여주지 않는 NSFW 필터가 있으면? 설정에서 해제할 수 있습니다.

그렇다면 법제도나 자율적인 커뮤니티 정책 같은 것이 생성모델의 오남용을 막을 수 있을까요? 어느 정도는 그럴지도 모르지만, 이 또한 근본적인 방지책이 되기는 어려워 보입니다.

스테이블 디퓨전이 공개되자 레딧이나 4chan 등 익명 커뮤니티에서 해당 모델을 사용해 포르노 이미지를 생성해 올리는 활동이 곧바로 시작되었고, 한국 커뮤니티에서도 머지 않아 관련 게시판이 생겨났습니다. 이미지 생성 프롬프트를 공유하고 검색할 수 있는 서비스를 방문하면 특정 인물의 얼굴을 한 나체 여성의 선정적 이미지를 생성하는 데 사용할 수 있는 명령어를 어렵지 않게 찾을 수 있습니다.

스테이블 디퓨전을 사용해 생성한 이미지, 그 이미지를 만드는 데 사용한 명령어뿐만 아니라 모델을 자기 시스템에 설치하고 실행하는 노하우를 공유하기도 합니다. 또한 언스테이블 디퓨전이 하고자 한 것처럼 선정적 이미지를 집중적으로 사용하여 훈련시킨 새로운 모델에 관한 정보가 올라오기도 합니다.

생성모델이 증강(augment)하는 딥페이크 포르노 풍경

이러한 일들이 전부 2022년 하반기에 벌어졌습니다. 그 전까지는 딥페이크의 사회적 해악에 관한 논의와 더불어 테크업계에서도 관련 연구를 함부로 공개하지 않거나, 구글 코랩 등의 경우 플랫폼에서 딥페이크 작업 자체를 금지하는 등 신중한 분위기가 강했다면, 강력한 이미지 생성AI를 공개한 스테이블 디퓨전의 등장과 함께 딥페이크 제작의 문이 다시 활짝 열린 상태라고 볼 수 있습니다.

잠깐, 이러한 변화가 스테이블 디퓨전 때문에 일어났다고 하는 건 무리 아닐까요? 스태빌리티AI의 CEO 이마드 모스타크는 트위터에서 (생성AI는) “불가피한 기술이며, 나쁜 행위자들은 이미 기술을 손에 넣은 상태”라며 그 때문에 개발자 커뮤니티에 널리 보급하기로 결정한 것이라고도 주장한 바 있습니다. “데이터셋과 모델을 감춘다고 해서 [딥페이크 악용에 대해] 제대로 방어하고 사회를 교육할 수 없다”, “SD보다 훨씬 강력한 딥페이크 기술이 이미 널리 보급되어 있다”고도요. 한편 스테이블 디퓨전 2.0 버전을 제작하면서는 훈련 데이터에서 나체 이미지를 제거하여 선정적인 이미지를 생성하기 더 어렵게 만드는 조치를 취하기도 했습니다.

하지만 이 점에서는 모스타크가 자기 회사의 역할을 과소평가한 것 같습니다. 스테이블 디퓨전이 딥페이크를 최초로 가능케 한 것도, 딥페이크를 위한 전문 도구도 아닌 것은 맞습니다. 그 전에도 딥페이크 기술은 이미 존재했지요. 하지만 스테이블 디퓨전 같은 AI모델은 텍스트 기반 이미지 생성과 인페인팅 등의 기능을 통해, 1) 실존하는 인물의 모습에 사용자가 지정한 요소를 조합하는 일 2) 실존하지 않는 인물의 모습을 그려내는 일 모두를 용이하게 만듭니다. 다시 말해 누구도 본 적 없는 새로운 딥페이크 이미지를 만들어내는 일을 훨씬 쉽게 만드는 것이죠. 앞서 언급한 언스테이블 디퓨전이나 더 음지에 있는 커뮤니티에서 확인할 수 있듯이, 이러한 창조적인 도구를 모두에게 공개한 스테이블 디퓨전의 행보는 ‘나쁜 행위자’의 활동을 가속하는 데 기여한 것입니다.

구글, 메타 등 빅테크 기업에서 이미지 생성 AI를 넘어 텍스트 기반 영상 생성 AI 관련 연구 결과도 조금씩 공개하고 있는 추세를 생각하면, 머지 않아 (스태빌리티AI처럼 모델을 공개하는 스타트업 등을 통해) 영상 생성 모델이 일반 사용자들의 손에 쥐여질 가능성 또한 충분합니다. 그러한 도구는 물론 ‘시간여행자 스텔피’처럼 유쾌한 방식으로 활용될 수 있지만, 딥페이크 영상 생산을 획기적으로 쉽게 만드는 역할 또한 할 수 있습니다. ‘창의적 표현의 도구를 모두에게 공급한다’는 인공지능 업계의 레토릭에는, 이같은 오남용에 따르는 대가가 너무 간편히 누락되어 있곤 합니다.