지금처럼 차별금지법이 존재하지 않는 상황에서는 AI 개발 과정에서 공적 윤리 규범을 준수하기는커녕 금지해야 할 차별과 혐오가 무엇인지 규정할 책임이 각 개발 회사들의 선택에 내맡겨져 있는 셈이다.
—장혜영, <평등한 평범> 261p.

AI가 혐오표현을 막을 수 있을까

by 🧑‍🎓민기

지난 몇 주 동안, 혐오표현이라는 주제가 SNS와 언론을 뜨겁게 달궜습니다. 배재고 야구부가 5·18 비하에 해당하는 ‘스타벅스 가야지’라는 응원으로 논란이 되어 징계를 받은 사건이 대표적이었습니다. 또 ‘-노’ 표현을 둘러싼 ‘일베 용어’ 논쟁도 존재했습니다.

혐오표현 연구자인 홍성수 교수는 혐오표현을 “소수자에 대한 편견 또는 차별을 확산시키거나 조장하는 행위 또는 어떤 개인, 집단에 대해 그들이 소수자로서의 속성을 가졌다는 이유로 멸시 · 모욕 · 위협하거나 그들에 대한 차별, 적의, 폭력을 선동하는 표현”이라고 정의했습니다. 단순히 모욕을 주는 표현을 넘어서, 편견을 확산시키는 발언, 차별과 폭력을 선동하는 표현까지 혐오표현으로 정의하는 것입니다.

혐오표현은 그 자체로 혐오 대상에게 유해할 뿐만 아니라, 이를 접하는 대중들에게도 편견과 차별적 발화에 익숙해지게 만들기 때문에 더 큰 문제를 안고 있습니다. 미국 반명예훼손연맹(Anti-Defamation League†[단체의 논란에 대해 각주 참조])는 ‘혐오의 피라미드’라는 개념을 제안해, 편견에서 시작해 혐오표현-차별행위-증오범죄를 거쳐 결국 집단학살로 이어지는 사회적 토양이 만들어질 수 있다는 경고를 하였습니다. 그만큼 혐오표현 문제에 선제적으로 대응하는 것이 사회 구성원들의 공존에 중요하다는 뜻입니다.

그렇다면 AI와 혐오표현은 어떤 관계가 있을까요? 2016년 마이크로소프트가 출시한 챗봇 테이(Tay), 2020년 말 스캐터랩이 출시한 챗봇 이루다 모두 AI에 의한 혐오표현 논란을 일으킨 바 있습니다. 지난해 7월에는 xAI의 그록(Grok)이 아돌프 히틀러를 찬양하는 등 반유대인적 답변을 생성해 논란이 되기도 하였습니다.

특히 이루다 사태는 국내 IT 기업들에게 혐오표현에 대한 큰 경각심을 일깨웠습니다. SKT, KT, 네이버 등은 앞다투어 ‘초거대 언어모델’을 출시하는 와중에 ‘AI 윤리를 고려했다’는 말을 꼭 덧붙였습니다. 2022년에는 게임 개발사 스마일게이트가 악플·혐오 발언 데이터셋을 구축하고 이를 통해 학습된 AI 모델을 공개하기도 하였습니다. 2023년에는 네이버가 AI를 위한 ‘민감한 질문’과 답변 데이터셋을 공개해, AI 윤리 레터에서 한계 지적과 함께 ‘읽어보기’ 페이지를 만들기도 했죠. 비록 기업에게 ‘혐오표현을 막겠다‘는 대의가 최우선은 아니라는 한계가 있었을지라도, 최소한 AI에 의한 혐오표현을 방치하면 심각한 문제가 된다는 공감대가 형성된 셈입니다.

하지만 이를 위해 혐오표현을 검토하고 분류하는 것은 쉬운 일이 아닙니다. 오픈AI는 아웃소싱을 통해 케냐 노동자들에게 시간당 2달러의 저임금으로 유해 콘텐츠 분류 작업을 시켰습니다. 타임(TIME)지의 취재에 따르면, 이 노동자들은 약속한 개인 심리 상담을 받을 수 없었고, 인터뷰 대상 모두 업무로 인한 정신적 고통을 호소했습니다. 기술적 한계도 존재합니다. 판정의 난이도 자체가 높고 개인과 사회의 맥락에 의존하는 특성 때문에, 의견 불일치가 자주 나타나기 때문입니다.

그렇다면 AI가 혐오표현을 판정하면 사람의 고통 없이도 더 공정한 결과를 얻을 수 있을까요? 문제는 그렇게 단순하지 않습니다. 마르텐 샙(Maarten Sap) 교수 등은 2019년 연구에서 데이터셋 작업자들에게 아프리카계 미국인 영어(AAE) 표현을 보여줬을 때 욕설이나 혐오표현으로 잘못 분류하는 편향이 존재한다는 사실을 발견했습니다. 그리고 이런 편향이 혐오표현 탐지모델에도 반영될 수 있다는 것을 실험을 통해 경고했습니다. 최근 장애인 혐오표현을 다룬 한 연구에서는 장애인 당사자가 본인의 경험을 설명하며 사용한 표현까지 GPT-4o는 혐오표현으로 판정하는 문제가 있었다고도 지적했습니다. 결국 AI가 발화자의 맥락을 고려하지 못하면서, 소수자 집단이 혐오표현 이슈에서 더욱 차별 받는 문제가 발생할 수 있는 것입니다.

혐오표현에 대응하는 방법으로 ‘대항 표현(counterspeech)’이 주목받기도 합니다. 대항 표현이란 사실 반박, 모순 지적, 피해자 공감 등 표현을 통해 혐오표현의 설득력을 약화시키고 확산을 중단시키는 것입니다. 자연어처리(NLP) 연구자들은 이를 돕기 위해 대항 표현 데이터셋을 지속적으로 구축해 왔습니다. 그런데 AI에 혐오표현 탐지를 맡기는 경우, 대항 표현에서 반박을 위해 혐오표현을 인용한 것만으로 혐오표현이라고 오탐지 하는 문제가 지적되기도 했습니다.

결국 단순히 AI에게 맡기는 것으로 혐오표현 문제를 해결할 수는 없습니다. 판정 기준 자체가 사람의 편견을 그대로 물려받거나, 기술이 오히려 소수자의 언어나 대항 표현의 언어를 침묵시킬 수 있기 때문입니다. 그럼에도 불구하고, 우리는 뉴스나 유튜브 댓글란처럼 매일 같이 보는 자리에서 ‘AI가 혐오표현으로부터 당신을 지켜주고 있다’는 메시지를 마주하곤 합니다. 여전히 필터를 우회한 혐오표현이 난무하고, 그 필터링 기준을 누가 정했는지 알 수 없는데도 말입니다. 필터링 기준이 누구의 눈높이에서 설계되었는지, AI 기술이 누군가의 목소리를 침묵시키고 있지는 않은지 물어야 합니다.

이제 혐오표현 이슈를 기술적 문제나 규제 설계의 문제를 넘어, 사회 전체의 포용적 변화를 만드는 과제로 다뤄야 할 때가 아닐까요. 완벽한 AI가 있을 수 없는 것처럼, 완벽한 규제도 있을 수 없을 것입니다. 최근 한강 작가는 배재고 사태를 두고 “충격이 또 다른 충격을 덮고, 그다음 충격이 이전 충격을 덮어서 쓸려가 버리는” 소비 방식을 경계했습니다. 내심 AI의 획기적 발전이 혐오표현 문제를 덮어주길 바라고 있지 않았나 하는 반성이 들기도 합니다. “혐오가 문제라는 일치된 생각”에서부터 공동의 고민을 시작해야 한다는 말에 깊이 공감합니다. 혐오와 차별의 문제를 우리 사회가 시급히 해결해야 할 과제로 인정할 때, 비로소 혐오표현 이슈는 ’표현’의 논쟁을 넘어 ‘혐오’ 자체를 다루는 사회 변화의 시작점으로 나아갈 수 있을 것입니다.

#feedback

오늘 이야기 어떠셨나요?
여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.
남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.