'생산성 미신'은 우리가 시간을 쓰는 일이라면 무엇이건 자동화의 대상이라고 암시한다. 우리가 쓰는 시간은 전부 비울 수 있고 비워야 하며 그럼으로써 더 많은 시간을 다른 일이나 활동에 할애할 수 있는데, 그 활동 역시도 자동화될 수 있다는 것이다. 우리의 일이 무엇이고 왜 그 일을 하는지에 관한 사유는 사소하고 가치 없는, 성가신 방해요소로 치부되어 일축된다.
—에릭 살바지오, <생성형 AI의 미신에 도전하기 Challenging The Myths of Generative AI>, Tech Policy Press

처벌법 개정, 딥페이크 성범죄를 끝낼 수 있을까

by. 🧑‍🎓민기

“딥페이크 성착취물”을 일컫는 여러 용어가 있습니다. “허위영상물”(성범죄특별법) “성적 허위영상물” “불법합성물” “불법합성 성착취물”, 그리고 지인의 얼굴을 합성하여 제작한 “지인능욕”도 겹치는 범주로 볼 수 있습니다. 불법합성물 제작 방식은 딥페이크 방식 외에도 다양한 방향으로 발달했습니다. 아래에서는 용어의 인지도와 가독성을 고려해, “딥페이크 성착취물”이라는 용어로 통일했습니다.

지난주 목요일인 9월 26일, ‘딥페이크 성착취물 소지·시청 처벌법’(성폭력범죄처벌특례법 개정안)이 국회 본회의를 통과했습니다. 기존에 유포목적으로 딥페이크 성착취물을 제작한 것만 처벌하던 범위를 넓혀서, 유포목적이 아니더라도 제작 행위를 처벌하고 소지와 시청도 처벌하는 조항을 만든 것입니다. 이 법은 대통령의 공포 절차만 거치면 곧바로 시행됩니다. 이 날은 22대 국회가 열린 이후 두번째로 여야 합의를 통해 민생법안을 대규모 처리한 날이기도 했습니다.

분명 기뻐해야 할 일이지만, 시민사회와 여성단체는 속시원한 환영 입장을 내지 못했습니다. 오히려 환영 뒤로 아쉬움을 얘기하는 내용이 많았습니다. 이 법을 제정하는 과정에서 곧장 한계를 맞닥뜨렸기 때문이었습니다.

잠시 시간을 되돌려, 딥페이크 성범죄 처벌법의 개정 흐름을 짚어봅시다.

2019년 말, N번방 사태가 전국을 뒤흔들었습니다. 이를 계기로 하여 딥페이크 성착취물 제작·유포 행위를 처벌하는 조항이 2020년 3월 처음 성범죄특별법에 개설되었습니다. 그리고 4년이 지나, 2024년 5월에는 소위 ‘서울대 딥페이크’ 사건이 드러나고 가해자가 검찰에 송치됩니다. 피해자 중 한 명과 추적단불꽃의 원은지 활동가가 가해자를 2년간 꾸준히 추적해 경찰에 넘긴 결과였습니다. 이와 함께 실제 딥페이크 성범죄 검거율은 46.8%(2022년, 같은 기간 사이버성폭력 검거율은 72.9%)에 그쳐, 딥페이크 성범죄의 경각심을 일깨우고 경찰이 제 역할을 해야 한다는 목소리가 높아지기도 했습니다.

그리고 8월 말, 1,200명이 참여한 인천 모 대학의 대학생들을 타겟으로 한 딥페이크 성착취물 공유방이 폭로됩니다. 이어서, 1,300명이 참여한 70여 개 대학별 “능욕”방, 3,700명이 참여한 “링크 공유방” 등도 존재가 드러납니다. 딥페이크 성착취물을 자동으로 만들어주는 전세계 이용자 수 22만 명 규모의 텔레그램 봇(bot) 채널의 존재까지 알려지며, 이는 전국적 분노로 커졌습니다. 심지어 중·고교의 학생 및 교사, 군인도 피해자가 되었다는 사실이 밝혀졌습니다.

정치권에서는 딥페이크 성착취물 처벌법의 보완 필요성에 대해 급하게 논의하였고, 성범죄특별법 개정안이 쏟아졌습니다. 8월~9월 사이에 제안 이유에 “딥페이크”를 언급한 성범죄특별법 개정안만 21개가 나왔습니다. 그리고 26일 국회 본회의에서 이를 취합한 개정안이 통과됐습니다.

이번 딥페이크 성범죄 개정안의 핵심 내용은

• 딥페이크 성착취물을 “유포 목적”으로 제작한 경우만 처벌이 가능하던 부분을 삭제하고,
• 딥페이크 성착취물 소지·시청 또한 처벌할 수 있도록 조항을 신설한 것입니다.

또 촬영물을 이용한 협박·강요죄(성범죄특별법 제14조의3)에 “편집물”을 추가하였고, 아동·청소년성착취물을 이용한 협박·강요를 강력히 처벌할 수 있도록 조항을 신설하는 내용이 같은 날 개정되었습니다. (청소년성보호법 개정안)

실제로, 기존의 딥페이크 성범죄 처벌법은 “유포 목적”이 입증되지 않으면 처벌할 수 없었기 때문에, 유포 목적이 없었다는 주장으로 가해자가 빠져나가는 일이 가능했습니다. 실제로 직장 동료들을 상대로 딥페이크 성착취물을 제작한 남성이 반포 목적을 입증하기 어렵단 이유로 불송치 결정을 받은 사례도 있었습니다.

최란 한국성폭력상담소 부소장은 2020년 딥페이크 성범죄 처벌법 제정 당시 “유포 목적”을 조항에 추가해야 한다고 주장한 법무부와 법원행정처의 책임을 지적했습니다. 반포 목적이 없어도 인격권과 자기결정권을 침해할 수 있다는 지적에도, ‘단순 제작, 소지에는 법익침해가 없다’며 반포 목적만 처벌해야 한다고 주장한 것입니다. 당시 그러한 주장을 했던 공직자들은 해명 요구에 답변하지 않았습니다.

그렇다면 이걸로 딥페이크 성범죄를 끝낼 수 있을까요.

이 과정에서 두 가지의 아쉬운 장면이 있었습니다. 첫번째는 “알면서” 문구를 둘러싼 논쟁입니다.

9월 24일 국회 법제사법위원회 전체회의에서, 소지·시청을 처벌하는 조항에 딥페이크 성착취물임을 “알면서” 했어야 처벌한다는 조건이 들어간 것입니다. 김용민 더불어민주당 의원 등은 ‘누군가가 보낸 메시지를 열어본 것만으로 처벌될 수도 있다’고 우려하였고 결국 법사위원들은 “알면서” 조건을 추가한 안을 본회의에 올렸습니다. 그러나 이는 “(원칙적으로 과실범은 처벌하지 않기 때문에) 고의로 그와 같은 행위를 한 경우에 처벌한다”, “모든 성폭력 가해자는 몰랐다고 주장한다”라는 지적을 받았고, 이틀 후 본회의에서는 “알면서”가 다시 빠진 안이 올라와 통과되었습니다.

두번째는 소지·시청 처벌법과 함께 논의되었지만, 통과되지 못한 다른 법안들입니다.

다수당인 더불어민주당의 ‘딥페이크 성범죄·디지털 성폭력 근절대책특위’는 23일 딥페이크 성범죄 개정과 함께, 디지털 성범죄 위장수사를 성인으로 확대, 피해영상 차단을 위한 경찰의 응급조치 조항 신설, 성범죄특별법의 ‘성적수치심’을 ‘성적불쾌감’으로 개정하는 내용을 신속히 통과시킬 것을 결의하였습니다. 여당인 국민의힘 25일 역시, 위장수사 범위를 확대하는 안을 추진하고 신속한 삭제를 지원하겠다고 밝혔습니다. 그러나 이 중 지난달 국회의 문턱을 넘은 안은 없었습니다. 특히, 경찰이 곧장 피해영상 차단을 요청하는 안은 경찰과 방송통신심의위원회(방심위)의 반대로 인해 무산되고, 현행대로 방심위가 담당하게 되었습니다.

이런 장면들은 아직도 디지털 성범죄 근절을 위해 국회와 정부가 갈 길이 멀다는 것을 보여줍니다. 디지털 성범죄에 대한 인식과 논의가 미숙한 수준에 지나지 않으며, 사법제도가 피해자의 보호와 회복을 외면하고 있다는 점입니다. 법이 통과된 뒤 27일 한국성폭력상담소 등 155개의 여성단체 공동성명에서는, “여성폭력 사건이 발생해 공론화되고, 국민의 공분이 일어난 이후에야 국회가 움직여 법안과 대책을 만들기 때문”이라는 점을 지적했습니다.

2018년 법조계 미투를 폭로했던 서지현 검사도 페이스북에 <제발 정신 좀 차리세요!>라는 제목의 글을 게시했습니다. 글에서 서지현 검사는 “N번방 때 저 정도 법을 만들어놓고 ‘할 일 다했다’고 자축해놓고, 이번 역시 같은 모습”이라며 국회의 태도를 비판하였습니다. 또한 “2020년에 누락한 것의 수정에 불과”, “벌써 2-3년 전 내놓은 권고인데 (…) 단 한 개도 실현되지 않았다”며 국회의 늑장 대응을 질타하고 보다 많은 관심을 촉구하기도 했습니다.

디지털 성범죄는 기술의 발전에 힘입어 다변화하고 있습니다. 그러나 국민적 공분이 일어난 뒤에야 대책을 마련하는 국회와, 그런 국회의 반응만 바라보고 있는 사법부와 행정부의 반응은 느리기만 합니다. 성범죄가 주로 여성의 문제이기 때문에 그런 것일까요? 2022년 대선에서는 후보를 본딴 딥페이크 영상을 내세웠다가, 딥페이크 기술이 보편화되자 2년 만인 2024년 총선을 앞두고는 딥페이크를 활용한 선거운동을 금지한 것과 비교하면 차이가 분명해보입니다.

섣불리 기술에 해결을 떠넘기는 흐름도 지적해야 할 것 같습니다. 경찰은 디지털 성범죄 대응 예산이라며 허위조작 콘텐츠 탐지기술에 27억원, 허위영상물 탐지 소프트웨어 고도화에 5억원 예산을 편성했다고 밝혔습니다. 그러나 이미 딥페이크 피해를 겪은 피해자에게 탐지 기술이 얼마나 도움이 되는 걸까요? 여성가족부 폐지와 같은 반성평등 정책을 철회하지 않는 정부를 보면, 오히려 “정부가 성범죄를 키웠다”고 해도 틀리지 않을 것 같습니다. 정작 디지털성범죄 피해신고 등을 담당하는 온라인피해365센터의 예산은 20% 삭감되었다는 지적도 나왔습니다.

제도적 미비점은 보완이 되었다지만, 사회인식의 전환은 이제 시작입니다. 딥페이크 성착취물 등의 요건을 “성적 수치심”이 아닌 "성적 불쾌감” 등으로 개정하고, 성범죄 사법절차의 초점을 피해자의 회복과 보호에 맞춰야 합니다. 무엇보다 아직도 “무고하더라도 딥페이크 시청으로 조사·처벌받을 수 있다”는 가짜뉴스가 버젓이 퍼지고 있습니다. 딥페이크 피의자의 83%가 10대라는 통계는 그런 사회구성원들, 특히 남성 주도 사회가 그런 형태로 성범죄 해결 노력을 적대시하고 책임을 외면해 왔기 때문에 이를 그대로 학습한 결과일 것입니다. 책임있는 사회구성원으로서 내가 성범죄 책임을 뒤집어 쓸 것이라는 가짜뉴스를 퍼뜨릴 시간에, 오히려 우리는 어떻게 책임을 다할 것인가를 논해야 하는 때입니다.

분명한 사실은, 딥페이크 성범죄는 엄연한 범죄라는 것입니다. 가해자는 숨을 수 없고, 응당한 책임을 질 것입니다.

더 녹기 전에

by. 💂죠셉

지난주 소풍 벤처스와 카카오 임팩트가 주관한 <2024 클라이밋 테크 스타트업 써밋>에 다녀왔습니다. 2박 3일의 기간 동안 기후 문제에 진심인 시민 단체, 씽크 탱크, 스타트업과 이들을 지원하는 VC들 그리고 여러 비영리 재단의 관계자분들과 함께했는데요. 기후 테크와 AI라는 주제에 집중하는 행사였던 만큼, 이 분야의 기술 트렌드를 선도하고 있는 여러 오피니언 리더들의 이야기에 귀 기울여 볼 수 있었습니다.

기후에 대해 얼마나 무지했는지, 문제 해결을 위해 여러 방면에서 어떤 노력이 이뤄지고 있는지 배울 수 있어 좋았던 것과는 별개로, 참석한 세션들에서 거대언어모델(LLM) 일변도인 현재 AI 산업의 몇 가지 경향성을 볼 수 있었습니다. ‘효율'과 ‘스케일'. 인류가 풀지 못한 난제를 AI가 풀어줄 것이라는 주장에서 자주 언급되는 단어들이죠. AI를 통한 기후 문제 해결의 맥락에서도 비슷한 주장들이 보였고, AI 윤리 관점에서 흥미롭게 들여다볼 수 있었습니다.

세탁기의 아이러니

AI 전문 저널리스트 캐런 하오 (Karen Hao)는 얼마 전 The Atlantic에 기고한 "AI에 대한 마이크로소프트의 위선"이라는 글을 통해 친환경 기업 이미지를 표방하는 마이크로소프트가 AI 하이프를 이용해 엑손모빌(ExxonMobil)과 셸(Shell)과 같은 화석 연료 회사들과 더 많은 사업을 성사시켰음을 고발했습니다. 해당 클라이언트들과 마이크로소프트의 반론은 ‘효율’의 증진입니다. 더 성능 좋은 AI를 탑재함으로써 기계가 화석 연료 추출에 필요한 작업을 더욱 효율적으로 수행하게 되면 결과적으로 탄소 배출량도 줄일 수 있다는 논리죠.

실현될 수만 있다면 이론적으로는 그럴듯해 보이지만 사실 논란의 여지가 있습니다. 이번 써밋의 기조연설자였던 한양대학교 이상욱 교수가 세탁기의 예시를 통해 지적했듯, 이는 전체 생산량이 동일하다는 가정하에만 유효한 주장이기 때문이죠. 과거 세탁기의 발명은 가사 노동으로부터의 해방을 약속했지만, 결과적으로 손쉬운 세탁을 경험한 사람들이 이전보다 더 많이, 더 자주 옷을 세탁하게 되어 노동의 총량은 유지된 사례가 있습니다. 시간 대비 더 효율적인 드릴 작업이 가능해진 석유회사의 기계는 총생산량의 증가를 향해 더 바쁘게 작동하지 않을까요? 그리고 이런 변화가 환경에는 어떤 결과를 가져오게 될까요?

작은 것이 아름답다?

AI 산업에서 스케일 또한 빼놓을 수 없는 요소입니다. 이번 써밋에서도 더 많은 GPU 확보의 필요성과 데이터 센터를 가동하기 위한 에너지의 확보 등이 뜨거운 화두 중 하나였는데요. 더 큰 모델, 더 큰 데이터셋, 더 많은 GPU의 확보가 더 나은 성능으로 이어진다는 것은 현재 업계에서 거의 상식처럼 받아들여지고 있습니다. 종종 지적되는 AI의 부정확성, 설명 불가능성 등 복잡한 윤리 이슈 또한 ‘시간이 해결해 줄 문제'로 만들어버리는 마법의 지팡이 같은 믿음이기도 하죠.

프랑스의 국립 과학 기술 연구 기관인 Inria의 리서치 디렉터 가엘 바로코(Gael Varoquaux)와 알렉산드라 사샤 루치오니(Alexandra Sasha Luccioni), 메레디스 휘테커(Meredith Whittaker)가 몇 주 전 발표한 논문을 소개합니다. 이들은 2012년 알렉스넷의 성공을 기점으로 AI 업계의 상식이 된 ‘스케일의 신화’에 대한 의문을 제기합니다. 수확 체감의 법칙 (생산에 필요한 요소 중 다른 요소들은 변화하지 않은 상태에서 한 생산요소가 증가할 때 단위당 한계 생산량은 줄어드는 현상) 등을 통해 다양한 각도에서 스케일의 신화를 해부하는데요. 특히 이미지 인식 등 집중을 요구하는 특정 작업의 경우 작은 모델의 성능이 오히려 큰 모델을 능가하는 사례가 종종 있다는 지적이 눈에 띕니다.

수행해야 하는 작업의 종류에 따라 다양한 크기의 모델을 사용할 수 있다는 사실은 다수의 빅테크 기업들이 AGI(=모든 작업을 수행할 수 있는 일반 인공지능) 하이프를 걸고 있는 상황에서 특히 흥미롭습니다. 다목적을 수행하며 계속 거대해지는 소수의 AI모델에만 의존하는 지금이 환경에도 최선이라고 할 수 있을까요?

나가며

기후와 AI. 하나만 이야기해도 어려운 주제를 생각하다 보니 우리가 살고 있는 세상이 얼마나 가늠하기도 힘든 거대 복잡계인지 새삼 느낍니다. 한 개인의 지능과 지혜를 아득히 뛰어넘는 이러한 복잡계를 대함에 있어 AI라는 도구는 대단히 매력적이고, 실제로 많은 영역에서 도움이 되겠죠.

그런데 당장 피부로 느껴지는 지구 온난화 등의 난제에 대한 해결책으로서 AI를 이야기할 때 눈여겨봐야 하는 점은 현재의 논의가 대부분 상상에 기초하고 있다는 것입니다. 앞서 언급한 캐런 하오가 현 상황을 논평하는 멋진 한 줄을 썼습니다.

“생성형 AI 패러다임에선 불확실성이 확실성을 이긴다. 추측이 현실을 지배하며, 과학은 믿음으로 유예된다.”

흔히 의사 결정 과정의 중요한 요소로 ‘되돌릴 수 있는지(reversible)’ 여부를 이야기합니다. 되돌릴 수 있는 문제라면 빨리 시도해 보고 돌이켜 기회비용을 줄일 수 있지만, 되돌릴 수 없는 문제라면 더욱 신중할 필요가 있다는 것이죠. 기후 문제는 명백히 후자입니다. 하지만 천문학적인 자원의 투입으로 더 효율적이고, 거대해진 AI가 문제를 해결해 주리라는 보장은 어디에도 없습니다.

그럼 어쩌라는 거냐? 물어보신다면 저에게도 답은 없습니다. 하지만 분명한 건, 수십억 인구의 일상에 매우 중대한 영향을 미칠 수 있는 문제의 스케일에 비해 현재 AI 패러다임은 극소수 사람들에 의해 만들어지고 있다는 사실입니다. 기술 미래 예측 메카니즘의 핵심은 기술 뒤에 늘 사람이 있다는 것이죠. 불확실한 추측으로 누가 이득을 보고, 소외당하고, 혹은 어떤 담론이 득세, 혹은 배제당하는지를 날카롭게 질문해야 합니다. 일단은 조금이라도 더 많은 사람들이 이 고민에 동참해야겠죠. 이번 써밋 또한 당장의 해결책을 찾기보다는 그 논의를 시작하기 위한 시작점이라는 점에서 의의가 있었다고 생각합니다.

#feedback

오늘 이야기 어떠셨나요?
여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.
남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.