전쟁, 파시즘, 성착취, 약탈
딥시크 말고, 다른 종류의 위험들
엄마랑 통화하는데 뉴스에서 딥시크 소식을 보았다며, 위험한 것 아닌지 물어보시더군요. 당신이 평소에 기술 소식을 찾아보는 분은 아니어서, 새삼 화제는 화제구나 싶었습니다. 개인적으로 딥시크 관련 뉴스는 별로 읽지 않고 있는데요. ‘스푸트니크 모먼트’라는 표현이 상징하는 미-중 군비 경쟁 프레이밍도, 딥시크라는 기업이나 소위 천재 개발자의 영웅담도, 제가 주목하는 기술정치적 질문(AI 기술이 나와 사회의 관계를, 사회 속 권력의 작용을 어떻게 바꾸는가? 등)에 유용한 답을 주지는 못하는 듯해서입니다. 워낙 화제다 보니 크게 관계 없는 주장(ex. 노동시간을 늘려야 한다, 내가 이렇게 시 행정을 잘 하고 있다 등)에 추임새처럼 끼워넣는 버즈워드가 된 것도 같고요.
각계에서 딥시크를 위협으로, 그러니까 경쟁업체만이 아니라 일반 이용자에게도 위험한 서비스로 규정하고 이용을 금지하거나 삼가도록 하려 힘쓰고 있는데, 이 점은 흥미롭습니다. 딥시크를 이용하면 위험하다는 주장이 합리적인지에 대한 판단은 잠시 보류하고, 특정 AI 서비스 그것도 혁신적이라 불리는 제품에 대해 이 정도로 적대적인 반응을 보는 건 드문 일이라서요. 어떤 제품은 위험한 것으로 이야기되고 어떤 제품은 그렇지 않은지, 그 차이와 이유가 궁금합니다. 근데 이 질문에 답을 찾으려면 피해 왔던 딥시크 관련 문헌을 찾아 읽어봐야 해서… 일단은 여기서 줄입니다.
대신 다른 유형의 위험에 관한 소식을 살펴볼까요.
AI 윤리 뉴스 브리프
2024년 2월 둘째 주
by 🤖아침
1. 전쟁의 기술, AI
2. 실리콘밸리와 테크노파시즘의 오랜 인연
3. 영국, 아동성착취 도구와 노하우 모두 규제
4. 출판사: 번역할 때 번역기 돌리지 마세요
전쟁의 기술, AI

- 구글이 자사 AI 윤리지침에서 무기·감시 목적으로 AI 기술을 활용하지 않는다는 조항을 삭제했습니다. “국가 안보를 지원하는 AI”를 만들 수 있어야 한다면서요.
- 과거 기술업계와 각국 정부 등에서 발표해온 AI 윤리 원칙·가이드라인에는 기술이 인간에게 해를 끼치지 않아야 한다는 내용이 담겨 있고, 이런 맥락에서 군사적 활용이 배제된다고 볼 수 있었는데요.
- 상용 AI 서비스가 본격화하면서 이같은 원칙에 역행하는 행보가 늘어나고 있습니다. 오픈AI는 작년 초 서비스 약관에서 유사한 조항을 삭제한 뒤 드론 탐지 및 격추 시스템 개발업체인 안두릴과 파트너십을 맺은 바 있죠. 한국 기업들 역시 이른바 ‘국방 AI’에 적극적 관심을 보이고 있습니다.
- ‘인류의 번영’이란 기치를 들어올린 AI 업계가 군사기술을 추구하는 데서 다소 모순을 느낄 수도 있지만, 사실 AI 기술과 전쟁의 관계는 유서가 깊습니다. 인터넷의 전신인 아파넷(ARPANET, 1969)이 미국 고등연구계획국(현 DARPA)의 지원을 받아 소련의 공습에 살아남을 수 있는 분산형 네트워크로 설계되었다는 이야기는 잘 알려져 있죠. 마찬가지로 초기 인공신경망 알고리즘인 프랭크 로젠블랫의 퍼셉트론(Perceptron, 1958)은 냉전기 미국 해군 지원을 받았고, 군사 표적 식별에 퍼셉트론을 활용하는 후속 연구를 CIA가 진행했습니다. 이러한 역사에서 최근 이스라엘이 팔레스타인 학살에 활용한 표적 식별·추적 시스템을 떠올리기 어렵지 않습니다. 군사용 AI라는 최근의 흐름은 어떤 의미에서는 AI의 태생으로의 회귀인 셈입니다.
- 이런 흐름은 피할 수 없는 것일까요? 죽임의 ‘자동화’를 넘어서 ‘자율화’로 이행하는 인명 살상에 한국 포함 각국 무기산업이 공모하는 구조를 비판하는 시민사회의 목소리, 전쟁·살상 목적의 기술을 만드는 데 복무하기 거부하는 기술노동자들의 저항 또한 존재합니다. 군비경쟁을 벗어난 대안의 상상이 더욱 절실한 때입니다.
실리콘밸리와 테크노파시즘의 오랜 인연
- 전쟁 말고도 AI 기술 및 테크업계와 밀접한 관계를 오래 맺어온 위험한 단어가 있습니다. 파시즘입니다.
- IT 산업의 부흥 과정에서 주로 백인 남성인 기업가(entrepreneur)들이 개인 역량으로 혁신을 이루어내는 천재라는 서사가 자리잡았고, 스타로 떠오른 기업가들과 이들을 추앙하는 미디어는 다양성 및 ‘정치적 올바름’이나 사회정의·분배를 적대하는 우익 정치관을 추구합니다. 일론 머스크 소개글이라고 해도 어색하지 않지만, 위 내용은 80-90년대 실리콘밸리를 묘사한 것입니다.
- 미국 트럼프 대통령 취임 전후로 테크업계에서 다양성, 형평성, 포용(DEI) 정책을 폐기하고 플랫폼상 혐오발언 제재를 약화하는 등 극우화 움직임을 보이고 있는데요. 이처럼 테크업계와 극우 정치가 만나는 경향은 단지 트럼프나 머스크 같은 인물의 영향으로 생긴 일시적 현상이 아니라, 뿌리 깊은 실리콘밸리 정신이자 테크업계의 심장부에 있는 권력 작용의 연장선이라고 베카 루이스는 가디언지 기고에서 지적합니다.
- 이게 바로 실리콘밸리 과두정 (Sili-garchy)? (2025-02-03)
영국, 아동성착취 도구와 노하우 모두 규제
- 영국 내무부는 최근 AI 기술과 관련된 아동 성착취 위협에 대응하는 법안을 발표했습니다. 아동 성착취물 생성에 쓰일 수 있는 AI 도구를 만들거나 배포·소지하는 행위뿐만 아니라, ‘소아성애자용 AI 설명서’(AI paedophile manuals) 등 아동 성착취를 위한 기술 사용법을 공유하는 행위도 처벌하도록 했습니다.
- 딥페이크 등 AI 성착취물 생태계는 성착취물을 제작하고 소비하는 가해자뿐만 아니라 도구를 제작하고 활용법을 전파하는 커뮤니티도 중요하게 작용하는데, 영국 법안은 이러한 기술 라이프사이클을 보다 폭넓게 다룬다고 볼 수 있습니다. 최근 ‘목사방 사건’ 등 디지털 성범죄가 지속적으로 드러나고 있는 한국의 관련 대응에서도 고려할 필요가 있는 접근입니다.
출판사: 번역할 때 번역기 돌리지 마세요

- 국내 대형 출판사들이 판권 계약시 AI 도구 활용에 관한 조항을 명문화하고 있습니다. 예컨대 문학동네는 저작물을 AI 훈련 데이터로 쓰는 것에 더해 번역 과정에서 AI 서비스를 이용하는 것도 금지하는 조항을 추가했습니다. 번역 서비스 이용시 해당 업체가 원문을 텍스트 데이터로 활용할 여지가 있기 때문인데요.
- 더 많은 데이터를 확보하기 위해 각종 플랫폼이 이용약관을 개정하는 추세에서 재산권을 지키기 위한 자연스러운 대응인 한편, 이러한 조치의 실효성에 관한 의문도 남습니다. 조치를 강제하기도 위반 여부를 파악하기도 어렵고, 저작물을 활용한 AI 훈련이 공정이용에 속하여 정당하다는 테크업계의 입장도 여전합니다. 메타를 상대로 저자 다수가 제기한 소송 과정에서는 심지어 LibGen(전자책 파일 링크 공유 사이트)에서 수집한 자료를 Llama 모델 학습에 사용했을 뿐더러 그렇게 하도록 지시를 내린 것이 다름 아닌 CEO 마크 저커버그였다는 주장이 제기된 바 있습니다.
- AI 기술 구축 과정에서의 데이터 약탈은 일부 기업의 문제가 아니라, 산업 전반의 구조적 특성이라고 보는 편이 맞아 보입니다. 출판업계의 판권 계약 갱신이나 저작권 관련 규제상 교통정리도 필요하지만, 그 너머 데이터 권리를 둘러싼 싸움은 오래 이어질 것 같습니다.
- Empowering People Powering AI, 케냐 Data Labelers Association (2025-02-13, 온라인, 영어)
- 포킹룸 2025 전시/퍼포먼스/토크/워크숍 공모 (마감: 2025-02-16)
- 정보인권연구소 창립 10주년 세미나: 인공지능 시대 민주주의 과제 (2025-02-19, 온라인)
- 정보인권연구소 후원의 밤 (2025-02-20)
#feedback
오늘 이야기 어떠셨나요?
여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.
남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.