모든 일에 기술을 적용하는 데에만 열광한 나머지, 그 기술이 잘 쓰이도록 요구하는 것은 잊어버린 듯하다.
—메러디스 브루서드 (고현석 역), <페미니즘 인공지능 (원제: Artificial Unintelligence)>

AI 윤리 뉴스 브리프

2024년 9월 첫째 주
by 🤔어쪈

1. 딥페이크 성착취물 논의, 어디로 흘러가는가

지난주 AI 윤리 레터에서 소개한 딥페이크 성착취물 보도가 큰 반향을 일으키며 후속 논의가 한창입니다. 이 문제는 사실 이미 수차례 일어난 바 있고, 분명 우리는 더 크게 터질 것을 알고 있었습니다. 일종의 산업이라고 해도 될 만큼 규모와 체계를 갖춰나가는 모습도 경악스럽지만, 충분히 예견 가능한 일이었기에 어쩌면 그 시장의 주된 참여자와 피해자 모두 학생이라는 점 때문에 더 큰 반향을 불러일으킨 것은 아닐까 짐작해 봅니다.

지역자치단체와 정부 부처는 즉각적인 대응을 위한 피해 신고와 삭제 조치에 노력을 기울이기 시작했고, 경찰과 검찰 양 수사기관 모두 엄정한 단속과 수사, 처벌을 약속했습니다. 정치권 역시 여야를 불문하고 관련 처벌 규정을 강화하는 등의 법제도 마련 움직임을 보이고 있습니다. 텔레그램과 같은 성착취물 유통 채널이 될 수 있는 플랫폼에 대한 규제를 요구하는 목소리도 커지고 있고, 다른 한편으로는 딥페이크 탐지, AI 생성 콘텐츠 내 워터마크 삽입 등의 기술적 조치 역시 관심을 받고 있습니다.

다층적이고 복합적인 문제인만큼 관련 범죄를 근절하기 위한 다각적이고 단계적인 노력이 필요한 상황입니다. 하지만 그 과정에서 우리가 잊지 말아야 할 것은 레터에서 지적했듯 딥페이크 성착취물이 그저 AI 기술을 악용하는 일부에 의한 역효과 내지는 부작용이 아니라는 점입니다. AI 기술은 분명 이러한 문제가 보다 쉽게 발생하고 만연해지는 방향으로 발전하고 있습니다. 그럼에도 불구하고 벌써부터 불안 과장, 과잉 규제 운운하는 사람들의 목소리는 범죄 방조와 다를 바 없다고 봐야하지 않을까요?

2. 초지능 AI 규제 법안과 AI 하이프의 상관관계

지난 반년간 AI 업계에 뜨거운 논쟁을 불러일으킨 미국 캘리포니아주의 한 법안이 의회를 통과하여 주지사 서명만을 남겨두고 있습니다. 정식 명칭은 ‘프론티어 인공지능 모델법 (Frontier AI Model Act, 이하 SB1047)’으로, 일정 규모 이상의 AI 모델 개발자로 하여금 모델 학습 전 ‘비상 정지’ 기능을 도입하고 안전성 시험을 통과해야만 배포를 할 수 있도록 하는 등 미국 내 상대적으로 강력한 규제를 담고 있는 것으로 평가받고 있습니다.

법안을 둘러싼 논의를 들여다보면, 과도한 규제가 빅테크 뿐만 아니라 스타트업과 오픈소스 등에서 일어나는 혁신을 저해한다는 전형적인 비판을 넘어 생각해볼만한 논쟁 지점들이 있습니다. SB 1407이 주목하는 위험은 AI가 대량살상무기를 만들거나, 핵심 기반시설에 대한 사이버공격을 가하는 상황 등에 해당합니다. 이를 방지하기 위한 노력이 불필요하진 않겠지만 얼마나 현실적인지 의문을 제기해볼 수 있겠죠. 또한 다목적·다용도의 AI 모델에 대한 규제가 이를 활용하는 자에게 적용되어야 하는지, 아니면 AI 모델 개발자에게 적용되어야 하는지 역시 쉽게 답을 내리기 어려운 질문입니다.

SB 1047의 내용은 분명 그간 초지능이 가져올 위험을 강조해 온 AI 하이프의 영향을 크게 받은 것으로 보입니다. 이러한 법안이 AI로 인해 이미 발생중인 피해를 경감하거나 방지하는 다른 어떠한 규제보다 가장 빠르게 초당적 지지를 얻었다는 점은 못내 씁쓸한 부분입니다. 하지만 앞서 던진 질문들과 더불어 AI 하이프에 열심히 바람을 불어넣고 규제가 필요하다던 기업들이 돌아서서 반대하는 목소리를 내는 모순적인 모습과 그들의 반대에도 불구하고 입법을 추진하는 주 의회의 추진력 등은 우리에게 많은 생각할 거리를 던져줍니다.

3. AI 교과서 사업이 참고해야 할 LA의 오답노트

정부가 AI 디지털교과서 사업을 계속해서 강행 추진하는만큼 역풍도 거세게 불고 있습니다. 사업 유보를 요구하는 국회 국민동의청원 참여인원이 5만명을 넘어 교육위원회에 회부되었고, 정기국회 및 국정감사를 앞두고 ‘AI 디지털교과서 중단 공동대책위원회 (이하 공대위)’가 출범하여 국회에 청문회 개최를 요구하고 있습니다. 레터에서 여러 차례 다뤘던 AI 디지털교과서의 검증되지 않은 효과성, 학생과 교사 개인정보를 포함한 교실 데이터 수집과 활용의 적절성 등이 주된 우려입니다.

한편 미국에서 두번째로 큰 공교육 관할 구역인 로스앤젤레스(LA)에서도 우리나라 AI 디지털교과서와 매우 유사한 프로그램을 도입했다가 곤혹을 치르고 있다는 소식입니다. 지난 3월 LA 통합교육구는 AI 학습 플랫폼 에드(Ed) 출범을 알리며 한국 교육부가 AI 디지털교과서 사업 추진 근거로 언급했던 것과 거의 동일한 내용을 내세웠습니다. 하지만 에드 개발을 담당한 스타트업이 수개월만에 파산하고, 데이터 유출 및 부적절한 활용에 대한 논란이 일며 모든 장점이 무색해지고 말았습니다. 약속했던 기능들 역시 제대로 구현되지 않았거나 그다지 효과가 없다는 지적입니다.

LA 사례는 공대위에서 제기하는 문제들이 단순 기우가 아니라 매우 현실적인 지적임을 보여줍니다. AI가 개인화된 교육 콘텐츠를 제공하는 등 교육 일선의 문제들을 단번에 해결하는 마법의 단어처럼 여겨지곤 하지만 그런 건 각종 AI 과장 광고에서나 주장할 법한 이상적인 일입니다. 단순히 신기술 도입만으로 해결되는 문제는 하나도 없습니다. 중요한 것은 AI 기술이 아니라 교육 현장의 학생, 교사, 학부모와 같은 사람들과 교육이라는 제도 그 자체입니다.

4. AI 법이 있지만 시행까진 시간이 남아서

지난달 EU AI 법이 발효되어 조항에 따라 내년 또는 내후년 시행을 앞두고 있습니다. 최초로 AI 전 분야를 포괄하는 법안인 만큼 그 내용을 어떻게 해석할지, 또 법규 준수를 위해 무엇이 필요한지 적잖은 혼란이 예상되고 있죠. 이러한 우려를 반영하여 EU는 AI 법 적용을 준비하기 위한 자율적인 협정인 AI Pact를 준비하고 있습니다.

AI Pact는 AI 개발 기업 등 법 적용 대상이 제도 이행을 준비할 수 있도록 실천 사례 등을 공유하는 네트워크를 구축하고, 이를 토대로 법적 요구 사항을 충족하는 각종 실천에 대한 자율 규제를 이끌어내는 것에 초점을 맞춥니다. 조직의 AI 거버넌스, AI 리터러시 촉진 전략 등 경영 차원의 내용부터 합법적인 AI 학습 데이터 확보 방안, AI 시스템에 대한 인적 감독 메커니즘 등 실무적인 내용까지 폭넓은 항목을 담고 있습니다.

EU는 AI Pact 참여 기업을 계속해서 늘리기 위해 노력중입니다. 아직 그 목록이 공개되진 않았지만 최근 독일의 대표적인 AI 기업 알레프 알파(Aleph Alpha)가 투명성과 법률 준수를 내세운 모델을 출시한 것이 이러한 노력의 일환인 것으로 보입니다. 이러한 움직임은 입법 논의를 미루기만 하고 있는 우리나라에서도 참고해볼 수 있지 않을까요?

#feedback

오늘 이야기 어떠셨나요?
여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.
남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.