언제든 심문받을 수 있는 자리에 놓일 때, 수치심과 부끄러움, 자기혐오는 이를 느끼는 주체, '나'로부터 나오는 것이 아니다. 내 안에 본래 있었던 것이 아니다. 그 자리에서 놓여날 수 없는 나를 덮쳐 오는 것이다.
—서보경, <휘말린 날들> (반비, 2023)

AI 윤리 뉴스 브리프

2024년 8월 다섯째 주
by 🤖아침

1. 산업화하는 딥페이크 성착취물

• 한국의 딥페이크 성착취물 제작유통망에 관한 한겨레 보도가 지난주 나왔습니다. 여성의 얼굴 사진을 넣으면 나체 딥페이크 이미지를 생성해주는 불법합성물 제작 서비스와, 지인의 사진을 공유할 뿐만 아니라 공통 지인을 표적 삼아 성착취물을 제작·유포하는 익명 커뮤니티에 관한 내용입니다. 중요한 보도이니 읽어보길 권합니다.

[단독] 딥페이크 텔레방에 22만명…입장하니 “좋아하는 여자 사진 보내라”

텔레그램을 기반으로 한 불법합성물(딥페이크) 성범죄가 잇달아 벌어지는 가운데, 참여 인원만 22만여명에 이르는 불법합성물 제작 텔레그램 채널까지 성행하고 있는 것으로 확인됐다. 간단한 검색으로 접근이 가능한데다 불법합성물 제작을 유료화한 ‘수익 구조’까지 갖춘 형태라

한겨레박고은

[단독] ‘○○○ 능욕방’ 딥페이크, 겹지인 노렸다…지역별·대학별·미성년까지

‘○○고 07년생 ○○○ 아시는 분? 갠텔(개인 텔레그램 메시지) 주세요’ 최근 일부 대학 단위로 불법합성물(딥페이크) 성범죄 사건이 잇따라 드러난 가운데, 지역·학교로 세분화해 ‘지인’인 피해자를 특정하고 불법합성물을 제작·유포하는 범죄가 이미 온라인상에서 광범위하게

한겨레고나린

• 딥페이크 성착취물 제작·유포에 참여하는 인원의 규모(제작용 텔레그램 채널 한 곳에만 22만명이 참여), 조직적인 범죄 양상(여성 지인 사진을 바치는 ‘면접’ 시스템) 등 충격적인 면모가 많지만, 이 사안을 접하는 입장에서 화나는 이유 하나는 이것이 너무나도 예견 가능한 일이었다는 점입니다.
• 이미지 합성·생성을 쉽게 만드는 AI 기술이 기존의 성착취 구조와 만나 발생시킬 증폭 효과에 관해서는 셀 수 없을 정도로 많은 논의가 있었습니다. 업계나 정부산하기관 자료뿐만 아니라 초등학생 대상 AI 윤리 교재에서도 딥페이크의 해악을 경고합니다. 이런 논의가 선언으로 끝나지 않고 현실의 해악을 해소·예방하는 데 기여할 수 있도록 하는 실천을 고민해야 합니다.

“유포 목적 없다”…만들어도 시청해도 처벌 피하는 딥페이크

남성 ㄱ씨는 같은 대학 여성 후배의 신체를 불법촬영한 혐의로 수사를 받는 과정에서 누군가의 얼굴로 성적 목적의 불법합성물(허위영상물)을 만들었단 사실이 발각됐다. 그러나 불법합성물이 유포(반포)되지 않았고 유포할 목적이 있었다고 볼 증거가 없다는 이유로 불법촬영 혐의로

한겨레최윤아,박현정

“대학에서, 알고 지내던 이들이…내가 알던 세상은 완전히 무너졌다”

“저희는 ‘변기’도, ‘걸레’도, 성적 욕구를 만족시키기 위해 존재하는 어떤 대상도 아닌 각자의 직업과 꿈을 가진 존엄한 인격체입니다. 온라인상이라는 이유로, 절대 잡히지 않을 거라는 오만으로 사법 체계에 대한 경시로 이러한 사실을 망각하고 그토록 거리낌 없이 악질적인

한겨레박현정

2. AI 이미지, 안 속을 자신 있나요?

• 생성형 AI의 주요 위험 중 한 가지는 사실과 구분하기 어려운 허위정보입니다. 최근 미국 공화당 대선 후보 도널드 트럼프가 AI 생성 이미지를 이용한 선전으로 문제를 일으켰는데요. 민주당 대선 후보이자 부통령인 카멀라 해리스를 공산당원으로 묘사한 이미지, 테일러 스위프트가 자신을 지지하는 것처럼 합성한 이미지 등을 SNS에 게시한 것입니다. AI 이미지라고 따로 명시하지도 않았습니다.

• 이런 가짜 이미지에 현혹되는 사람이 바보라고 생각하나요? 생성 이미지와 실제 사진을 구분하기란 의외로 까다롭습니다. 한번 직접 체험해보시죠.
• 여기 실제 곤충을 찍은 사진과, AI로 생성한 곤충 이미지를 하나씩 보여주는 퀴즈가 있습니다. AI 이미지를 클릭하면 점수를 얻고, 실제 사진을 하나라도 클릭하면 거기서 끝입니다. 25초 동안 가장 많은 점수를 따면 됩니다.

Fake Insects - a Hugging Face Space by victor

A game where you need to identify AI Generated insects

a Hugging Face Space by victor

• 설령 내가 개인적으로 AI 이미지를 잘 구분할 수 있다 해도, 수많은 팔로워를 가진 정치인이 허위 이미지를 마음껏 활용하고 플랫폼이 별다른 제재를 가하지 않는 상황에서 이런 이미지가 갖는 힘은 무시할 수 없습니다. 허위정보의 폐해, 현재진행형입니다.

3. AI 위험 분류체계, 통합할 수 있을까?

• MIT 컴퓨터 과학 및 인공지능 연구소(CSAIL) 기반의 학제간 연구그룹인 퓨처테크(FutureTech)에서 ‘인공지능 위험 저장소’(AI Risk Repository)를 발표했습니다. 인공지능 위험에 관련된 기존 연구논문 43건을 메타분석하여 통합 분류체계를 제시하고 있습니다. 크게는 위험의 주체/의도/발생시점에 따른 분류와, 차별/프라이버시/허위정보/오남용/인간-컴퓨터 상호작용/사회경제 및 환경적 피해/시스템 안전 등 도메인에 따른 분류라는 두 체계 안에서 세부 항목이 있는 형식입니다.

• 연구팀 측에서는 이것이 ‘기존 AI 위험 프레임워크와 분류체계를 종합 검토하여 각각의 위험을 추출하고 데이터를 공개하는 최초의 사례’라고 주장하는데요. 분석 대상이 된 논문도 문헌 검토 기반의 자료가 많다는 점에서 꼭 그렇게 말할 수 있는지는 모르겠습니다. 메타-메타분석이라고 한다면 맞는 말일까요.
• 자료의 주 타겟은 정책입안자, 위험 평가 주체, 연구교육자 및 산업계라고 해요. AI 거버넌스와 법규제 관련 논의가 본격화하고 이론적 틀을 제시하는 노력도 활발한 이 시기에, 일종의 ‘완전판’ 프레임워크를 제시함으로써 담론적인 주도권을 가져가려는 시도로 읽을 수도 있어 보입니다. 저자들도 명시하듯 40여 개 문서를 단 한 명의 전문가가 검토했다는 점에서 ‘종합적’인 자료로서는 한계가 있지만요

4. 이미지 생성 AI 기업 저작권 침해 소송 본격화

• 개인 창작자들이 스태빌리티 AI 등의 기업을 상대로 제기한 집단소송 기억하시나요? 깃헙 코파일럿 관련 소송, 오픈에이아이 챗지피티 관련 소송과 더불어 생성형 AI 시대의 중요한 재판 중 하나인데요. 이 사건을 다루는 미국 법원에서 AI 기업의 저작권 및 지적재산권 침해가 의심된다고 보아, 소송을 본격적으로 진행하기로 판결했습니다. 디스커버리 제도를 통해 증거 제시에 들어가게 되는 것입니다.

• 작년에 법원이 해당 소송의 일부 주장을 기각하며 원고측에게 저작권 침해 근거를 보완해오라고 지시한 것에 비추어 보았을 때, 이번 판결은 원고 측 입장에서 중요한 진전으로 볼 수 있습니다. 이미지-텍스트 데이터셋인 라이온(LAION) 시리즈에 원고의 저작물이 포함되었으며, 그 데이터를 학습한 이미지 생성 모델인 스테이블 디퓨전이나 그 모델을 활용한 서비스가 저작권을 침해했는지 따져볼 여지가 있다고 법원이 판단한 것이니까요.
• 이 재판의 향방에 따라서 스테이블 디퓨전 모델이나 라이온 데이터셋을 활용한 다른 서비스 또한 영향을 받을 가능성이 있습니다. 사실상 대다수의 이미지 생성 관련 기업에 영향을 미친다고 봐야겠죠. 사건의 귀추가 주목되는 이유입니다.

#feedback

오늘 이야기 어떠셨나요?
여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.
남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.