내년으로 들고 갈 질문

AI 윤리란 무엇인가? [...] ‘자동화된 결정’이 [...] 기본 인권 등의 다양한 사회적 가치를 최대한 존중하는 방식으로 활용되기 위해서 어떤 점에 주목하고 어떤 방식의 제도적 대응을 수행해야 하는지에 대한 논의이다.

—이상욱, "AI 윤리란 무엇인가?" (HORIZON)

내년으로 들고 갈 질문

by 🤖아침

AI 윤리 레터 필진으로 참여하고 있는 아침입니다. 소중한 시간을 내서 뉴스레터를 읽어주셔서 감사합니다. 연말에 몰려버린 이 마감 저 마감에 손 하나 발 하나씩 걸쳐둔 채로 (제가 쓰는) 올해 마지막 소식을 전합니다.

AI 및 데이터 기술의 사회적 맥락에 주목하는, 한국어로 된 소식지를 만들고 싶다는 생각은 2020년쯤부터 해왔습니다. 관심을 공유하는 동료들을 만난 덕분에 올해 비로소 실행에 옮겼고, 여러분께도 이렇게 이메일을 드릴 수 있게 되었습니다.

뉴스레터 연재를 개시한 올해는 챗GPT를 둘러싼 들뜬 공기로 시작했습니다. 이 공기는 메타버스나 웹3 같은 기술에서 보였듯 어딘가 멀게 느껴지는 흥분과 유사하면서도 그것들보다는 현실과 밀접하다는 느낌을 동시에 주었습니다. 공감하기 어려운 흥분을 자아낸 한 축은 FLI의 'AI 개발 중단' 공개서한부터 최근 오픈AI 사내 갈등까지를 연결하는 키워드, 소위 '존재론적 위협'을 둘러싼 종말론자들과 가속주의자들의 드라마였고요. 동시에 구체적 현실로서의 AI가 두드러지기도 했습니다. 지난 수 년간 논의돼온 각종 규제, 정책이 구체화하는가 하면 본격적인 사업화 추세에 따른 각종 사회적 요소와의 마찰이 가시화했죠. 데이터의 생산과 수집, 모델 구축과 활용 전 과정에서 노동과 저작권, 환경 비용, 정보 편향과 거짓 확산, 권력 독점 등의 문제가 더욱 중요해지고 있습니다.

하지만 한편으론 그것이 정말 중요한지에 관한 의문이 마음에 늘 도사리는 것을 느낍니다. AI 같은 게 뭐가 중요하다고 자꾸 떠들고 있는 걸까, 하는 자기검열 기제랄까요.

얼마 전 뉴스레터에서 이스라엘의 팔레스타인 점령에 얼굴인식 CCTV, 자동발포총기 등이 활용되는 방식이나, 반-팔레스타인 편향을 내재화한 자동번역 및 SNS 알고리즘 등을 이야기한 적 있습니다. 휴전을 촉구하는 AI 종사자들의 공개서한을 소개하기도 했습니다.

지난 주에는 이스라엘군이 살상 표적 선정에 AI 시스템을 어떻게 활용하는지 드러내는 +972 매거진과 로컬 콜의 탐사보도 및 이를 뒷받침하는 가디언지의 관련보도가 나왔습니다. 요점은 하마스 조직원으로 추정되는 인물이 거주하는 주택 등 표적을 선정하는 데 AI 기술을 활용한다는 것입니다. "빠른 속도로 표적을 산출하는" 이 시스템은 2021년 기준, 하루에 표적 100건을 뽑아냈고 그 중 절반 정도가 실제 공격으로 이어진다고 합니다. 그 전에는 수동으로 연간 50건 산출했다고 하니, 효율이 700배 이상 증가했습니다. 표적마다 '민간인 피해 점수'가 부여되어 해당 표적을 공격했을 때 몇 명의 민간인 피해가 예상되는지 또한 시스템이 계산해준다고 하지만, 말단 조직원을 공격하기 위해 온 가족을 폭격하는 등의 민간인 피해도 꺼리지 않는다는 증언 또한 있습니다.

당연하지만 AI 윤리 차원에서 이스라엘의 표적 선정 시스템은 너무도 문제적입니다. 캐시 오닐은 <대량살상 수학무기>에서 알고리즘 기반 시스템이 불투명성, 확장성, 피해라는 특성을 모두 갖출 때 '무기'에 준하는 파괴력을 갖는다고 지적합니다. 자동화 편향에 힘입어 행위의 책임을 인간에게서 기계로 전가하는 효과 또한 예상되는 문제입니다.

하지만 "대량 살인 공장"이라는 +972 매거진의 보도 제목에서 드러나듯, 애당초 사람을 죽이기 위해 개발된 시스템에 편향이나 투명성 같은 이야기를 들이대는 것이 조금 한가하게 느껴지기도 합니다. 윤리 가이드라인과 헌장이라면 '인간의 생명'을 존중한다는 내용이 기본적으로 포함되는 것을 생각할 때, 이쯤 되면 AI가 과연 문제인가 싶은 것이죠.

하지만 바로 AI를 통한 막대한 '효율화', 그리고 자동화된 결정이 주는 도덕적 면책의 감각이 이 상황에서 매우 중요한 작용이기도 합니다. 살상 대상을 추천하는 AI 시스템의 이름은 의미심장하게도 "합소라". 히브리어로 '복음'이라는 뜻입니다.

메러디스 휘태커는 이런 도덕적 책임 전가에 관해 다음과 같이 묻습니다. "변화를 촉구하는 이들에게 AI가 유의미한 초점이 되는 것은 언제이고, 'AI 따위 알 게 뭐냐'고 말하며 AI의 역할에 상관없이 책임으로부터의 전산적 도피를 방지하기 위해 노력해야 할 때는 언제인가?"

조금 다르게 표현하자면, AI 윤리를 논의함에 있어 AI에 집중해야 할 때는 언제이고 AI가 오히려 사소한 노이즈가 되는 것은 언제일까요. 지금의 저는 답을 모르는, 앞으로 계속 가져가야 할 질문입니다.

모두에게 평화와 건강을 기원합니다.