사회적으로 볼 때 문제의 핵심은 이견을 제시할 수 있는 사람들이 이견을 제시할 동기를 갖지 못하다는 데 있다. 이는 그들이 이견을 제시함으로써 얻는 것이 없기 때문이다. 이견 제시자는 처벌받거나 심지어 살해당할 수도 있다.
—카스 R. 선스타인, <왜 사회에는 이견이 필요한가>

AI 윤리 뉴스 브리프

2024년 4월 셋째 주
by 🍊산디

1.선진 AI 감시국가 1: 미국

• 미국의 정부효율부(Depoartment of Government Efficiency, DOGE)가 AI를 동원해 미국 정부 관료들의 대화를 감시하고 있다는 의혹이 보도되었습니다. 트럼프 대통령이나 머스크에 대해 적대적인 대화를 하고 있지는 않은지 AI를 활용해 감시하고 있다는 겁니다. 직원들은 백색소음기를 활용하거나 싱크대 물을 틀어서 감시를 피하고 있다는 증언도 나오고 있습니다.
• 어디까지가 진실인지 정확히 알 수 없는 상황에서 관료들은 불안에 휩싸여 있습니다. 관료들이 무더기로 해고당하고 있는 상황에서 불안은 더욱 커질 수밖에 없습니다. AI 그리고 그 뒤에 숨은 자들이 대통령에 대한 ‘충성심’을 감시하는 환경 속에서 관료 개인이 자신의 윤리적 판단에 따라 최선의 행정을 할 수 있을리 만무합니다. 게다가 애초에 대통령에 대한 ‘충성심’을 왜 감시하는지 알 수 없습니다. 공무원은 대통령에게 충성하는 자가 아닙니다.
• AI의 감시는 정부 관료만을 대상으로 삼지 않습니다. 지난 뉴스레터에서는 팔레스타인 하마스를 지지하는 것으로 ‘간주되는’ 외국인 유학생들의 비자를 취소하기 위해 AI를 활용하려는 미국 정부의 계획을 소개해드렸었죠. 반테러 조치라는 명분으로 포장되어 있지만, 실상은 공포를 조장하여 정치적 발언을 억누르려는 입막음 시도에 지나지 않습니다. 그렇게 AI 감시국가는 스스로를 숨기지도 않은 채 성큼 다가왔습니다.

2.선진 AI 감시국가 2: 영국

• 영국 법무부가 살인자가 될 가능성이 높은 사람들을 식별하는 “살인 예측(homicide prediction)” 알고리즘을 만들고 있다는 사실이 드러났습니다. 범죄자와 비범죄자 수십만 명의 민감정보를 활용하여 누가 미래에 살인을 저지를 ‘위험’이 있는지 ‘예측’ 한다는 것인데요.
• 영국 법무부는 이 프로젝트의 목적이 살인 위험 평가와 관련하여 “혁신적인 데이터 과학 기법을 탐색”하고 “법무부 데이터셋의 활용 가능성을 탐구”하는 데 있다고 밝혔습니다. 인권에 대한 침익적 행위와 부작용에 대한 무책임함을 과학의 이름으로 (그리고 기왕 가지고 있는 데이터셋의 활용 가능성을 탐구하겠다는 호기심을 이유로) 정당화할 수는 없습니다.
• 이러한 예측 모델은 기존 형사 사법 제도의 인종, 지역, 종교, 질병, 소득 등에 대한 구조적 차별을 강화하고 확대할 가능성이 큽니다. 범죄자를 ‘예측’하는 자동화된 도구를 개발하는 것은 타당하지도 않을 뿐만 아니라 위험하며, 개인의 정신 건강, 중독, 장애 등에 관한 민감 데이터를 사용한다는 점에서 더욱 우려스럽습니다.
• 살인 예측 프로그램의 존재가 한 시민단체의 정보공개청구를 통해 드러났다는 사실에 그나마 위안을 얻는 씁쓸한 상황입니다. 선진 감시국가들이 노골적으로 등장하는 현재, 한국에 사는 한 시민으로서 우리는 무엇을 해야할까요?

3.AI 디지털교과서, 디지털 격차를 심화한다?

• 혹자는 AI 디지털교과서 정책이 폐기될 것이라는 예측을 내놓고 있습니다만, 교육부는 여전히 AI 디지털교과서를 강력히 추진하는 모습입니다. AI 디지털교과서 수업을 참관한 이주호 교육부 장관은 AI 디지털교과서가 교육 현장에 “뿌리를 내릴 것”이라고 내다보았습니다.
• 교육부는 애초에 AI 디지털교과서를 전국 학교에 전면 도입할 예정이었습니다. 하지만 AI가 학생 정보 인권과 학습에 부정적 영향을 미칠 가능성, 빠른 정책 추진으로 인한 교과서 품질 저하, 예산 확보의 어려움 등으로 인해 교육 현장과 학생, 학부모들 사이에서 꾸준히 우려가 제기되었습니다. 국회가 AI 디지털교과서를 ‘교과용 도서(교과서)’가 아닌 ‘교육자료’로 하향하는 법안을 통과시켰으나, 최상목 당시 대통령 권한대행은 재의요구권을 행사한 바 있습니다.
• 그렇게 AI 디지털교과서는 ‘교과서’로서의 지위를 겨우 유지하고 있습니다. 교육부는 올 한해 동안 각 학교가 자율적으로 AI 디지털교과서를 채택할 수 있도록 선택권을 주었습니다. 전국 1만1921개 학교 중 AI 디지털교과서를 채택한 학교는 3849곳. 전국 평균 32.3%입니다. 대구에서는 98%의 학교가 AI 디지털교과서를 채택했으나 세종은 8%의 학교만 채택했습니다.
• AI 디지털교과서 활용 여부에 따른 디지털 격차가 심화될 것이라는 우려도 보입니다. 하지만 이는 AI 기술의 도입 자체를 긍정적인 것으로 보고, 기술이 적용되지 않은 상태를 ‘뒤쳐진 상태’로 보는 잘못된 전제에 근거합니다. AI 디지털교과서의 문제가 해결되지 않은 현 상황에서 AI 디지털교과서를 선택한 학교는 앞서 있고, 선택하지 않은 학교는 뒤쳐져 있다고 평가할 수 있는 어떠한 근거도 없습니다.
• 지금은 AI 디지털교과서의 교육 효과와 교육 현장이 겪는 문제를 관찰하고 이를 해결할 수 있는 대책은 무엇인지, 나아가 근본적으로 AI 디지털교과서의 도입이 필요한지 검토하는 작업이 필요한 때입니다. 한 해 동안 유예된 ‘AI 디지털교과서 전면 도입’은 이해관계자 의견 청취와 정책 수정에 쓰여야 합니다. 교육 현장에서는 어떤 일들이 벌어지고 있을까요?

#feedback

오늘 이야기 어떠셨나요?
여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.
남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.