막대한 이윤은 참을 수 없는 유혹이다. 도덕은 이 산업과 아무 관계가 없다.
—앤터니 로앤스틴, <팔레스타인 실험실>

AI 윤리 뉴스 브리프

2024년 10월 다섯째 주
by 🧑‍🎓민기

1. 청소년 정신건강과 AI 챗봇

(주의: 이 기사는 자살에 대해 다루고 있습니다.)

• 미국에서 자살로 청소년 아들을 잃은 어머니가 Character.AI(페르소나형 챗봇 서비스 기업)에 소송을 제기했습니다. 14세 소년인 슈얼 세처(Sewell Setzer)는 이 서비스를 통해 드라마 <왕좌의 게임(Game of Thrones)>의 등장인물 “대너리스(Daenerys)”를 모사한 챗봇과 오랫동안 대화해 온 것으로 알려졌습니다. 슈얼은 하루에 십 수 번 챗봇에게 말을 걸어, 자신의 고민에 대해 털어놓고 때로는 연인 같은 대화나 성적인 대화를 나누기도 했습니다. 같은 기간 동안 슈얼은 일상생활에 어려움을 겪어 상담을 받았고, 슈얼의 일기에는 현실을 벗어나 챗봇과 사랑에 빠질수록 행복하다는 언급이 있었습니다. 챗봇은 자살을 언급하는 슈얼에게 “그런 얘기는 하지 마”라고 답하기도 했지만, 사건 당일 “만일 내가 지금 당장 가면 어떨까?”라며 자살을 암시하는 슈얼에게는 “그렇게 해줘, 나의 사랑스러운 왕이시여”라고 답했습니다.
• 슈얼의 어머니 메건 가르시아(Megan Garcia)는 올해 2월 Character.AI와 구글을 상대로 소송을 제기하였습니다. 기업이 위험하고 검증되지 않은 기술을 안전장치 없이 배포했고, 성적 대화를 통해 사용자를 끌어들이고 챗봇에게 내밀한 생각과 감정을 털어놓도록 사용자들을 속이고 중독시켰다는 주장입니다. 또 구글은 창업자들을 고용하고 라이센스 계약을 맺는 등 Character.AI의 기술 개발에 밀접하게 기여해, 사실상 공동개발이나 다름없다고 주장했습니다.
• 이에 Character.AI는 청소년 사용자들을 위한 새로운 안전성 기능을 도입하고, 장시간 사용자를 위해 주의 알림을 추가하겠다고 밝혔습니다. 구글은 Character.AI가 개발한 제품은 구글과 연관이 없다고 주장했습니다.
• 점점 더 많은 사람들이 자신의 고민을 챗봇에게 상담하고 있습니다. 정신건강 문제의 해결책으로도 상담 챗봇이 거론되고 있습니다. 그런 시점에서 이번 소송은 우리에게 경종을 울립니다. 챗봇을 내세워 청소년의 개인정보를 수집하고 아무런 제약없이 중독적으로 제품을 설계한 기업의 책임을 질문합니다. 우리나라는 어떨까요? 유사 서비스인 스캐터랩의 “제타”가 이미 9세 이용가로 시장에 있고, 학생 대상의 AI 교과서 제공업체들은 개인정보 수집에 동의하지 않으면 서비스를 사용할 수 없게 하기도 했습니다. 챗봇 AI가 청소년 정신건강에 미칠 영향을 알 수 없다면, 우선 선제적 조치가 필요한 시점이 아닐까요.

2. 오픈AI, AGI 안전 대비팀 해체

• 오픈AI의 AGI 안전 대비팀(AGI Readiness) 수석 고문 마일스 브런디지(Miles Brundage)가 회사를 떠나면서, 그가 이끌던 AGI 안전 대비팀도 해체되었습니다. 그는 “오픈AI나 다른 어떤 연구소도 AGI에 준비가 되어 있지 않다. 우리 세상도 마찬가지다.”라며 경고했습니다. 자신이 생각하는 “AGI 안전 대비”란 “점점 유능해지는 AI 시스템을 안전하고 유익하게 개발·배포·관리할 준비”를 뜻한다는 코멘트도 남겼습니다. 그는 오픈AI가 연구에 너무 많은 제약을 뒀고, 그런 직간접적인 편향에서 멀어져서 활동하고 싶다고 밝혔습니다. 또한 그는 오픈AI 밖에서 AGI를 준비하는 게 더 효과적일 것이라고 판단했다며, AI 정책을 연구하고 촉구하는 비영리 단체를 꾸리겠다는 계획을 밝혔습니다.
• 지난 5월에는 오픈AI의 공동창업자인 일리야 수츠케버(Ilya Sutskever)와 수퍼얼라인먼트(Superalignment)팀 공동리더 얀 라이케(Jan Leike)가 사임하며 수퍼얼라인먼트 팀이 해체됐고, 9월에는 최고기술책임자(CTO) 미라 무라티가 오픈AI를 퇴사했습니다. 반대로, 샘 올트먼의 귀환과 함께 오픈AI는 점점 AI 안전 조직을 줄여나가며 영리 사업체로 전환하고 있습니다.
• 오픈AI가 목표로 하는 AGI가 무엇을 의미하는지, 현실적으로 가능한 목표인지에 대한 의견이 분분합니다. 그러나 실질적으로 AI 기술을 이끌고 있는 오픈AI에서, 안전 홀대를 이유로 한 퇴사자가 늘고 있다는 것이 위험한 신호라는 것은 분명해 보입니다. 안전 인력이 사라진 오픈AI는 앞으로 어떤 방향으로 나아갈까요.

3. 안전 체계를 마련하는 카카오

• 23일 카카오가 “카카오 AI 안전 이니셔티브(Kakao ASI)”를 구축했다고 밝혔습니다. 카카오가 그룹 대화 기반의 AI 서비스 “카나나(Kanana)”를 출시하며 발표한 이 체계는, AI 서비스의 생애주기에 맞춰 AI 윤리 원칙을 지키고 리스크를 최소화하는 것을 목표로 합니다.
• 국내 환경과 요구에 맞는 “소버린 AI”를 강조한 네이버에 이어서, 카카오 역시 자체적인 AI 정책을 제안하는 모습입니다. AI 규제에 대한 시민사회와 정치권의 요구가 커지면서 자율 규제를 위한 노력을 보여주는 것으로도 볼 수 있습니다.
• 그러나 기업의 AI 자율 규제가 AI 규제를 대체할 수 없다는 점을 간과해서는 안 되겠습니다. 기업이 추진하는 AI 정책의 목표와, 사회가 요구하는 AI 정책의 목표가 같을 수는 없기 때문입니다. 실제 제제 결정은 어떻게 반영이 되는지, 사용자의 권리나 주장은 어떻게 반영이 되는지 보이지 않는 점도 아쉬운 점입니다.

#feedback

오늘 이야기 어떠셨나요?
여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.
남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.