챗봇이 직원 팁 뺏어도 된다던데요?

기업보다 정부의 AI를 먼저 규제해야 하는 이유

2024년 4월 1일 — 9 min read

윤리보다는 권력에 더 초점을 맞춰야 한다. (중략) 누군가가 'AI 윤리'를 입에 올리면 광부, 도급업자, 크라우드 노동자의 노동 여건을 떠올려야 한다.

—케이트 크로퍼드 (노승영 역), <AI 지도책>

AI 윤리 뉴스 브리프

2024년 4월 첫째 주
by. 🤔어쪈

1. 미국의 AI 정책이 기업보다 정부를 먼저 규제하는 이유
2. 챗봇이 직원 팁 뺏어도 된다던데요?
3. 방통위도 가세한 국내 AI 법 제정 움직임
4. AI 학습 데이터 출처, 공개해야할까?

AI 윤리 레터에서도 두 번에 걸쳐 다뤘던 미국 백악관의 AI 행정명령, 기억하시나요? 작년 11월, 6개 원칙 아래 정부 부처별 할 일 목록을 발표했었죠. 그 중 우리나라 기획재정부에 해당하는 예산관리국(Office of Management and Budget; OMB)에 내준 숙제, 정부의 효과적이고 책임있는 AI 활용 방안이 기한에 맞춰 제출되었습니다.
이에 따르면, 연방 부처에서 활용하는 AI 기술이 권리나 안전성에 영향을 미칠 가능성이 있는 경우 그에 따른 사전 및 운영중 조치를 취해야 합니다. 예컨대 법 집행 과정에서 활용하는 얼굴인식 프로그램은 사전 영향평가를 통해 편향성을 충분히 완화하고, 도입 이후에도 지속적인 모니터링을 실시해야 하죠. 물론 불명확한 점이 없다고는 할 수 없지만 구체적인 용어 정의와 행동 지침에 더해 부처별 최고 AI 책임자를 지명하여 해당 업무를 담당하도록 하고 있어 기존 원칙에서 행동으로 한발 나아갔다는 평입니다.

AI 윤리 레터에서도 수차례 지적했듯, 정부는 AI 정책을 설계하고 집행하는 역할 뿐만 아니라 AI 기술을 행정에 도입하는 공급자 역할도 맡고 있습니다. AI 기업들에게 안전성을 주문하고 책임을 묻는 것 이상의 자기규율이 요구되는 이유죠. AI 정책의 규제 대상으로 보통 기업을 떠올리기 쉽지만, 서비스 이용자 및 소비자를 넘어 모든 시민에 영향을 미칠 수 있는 정부 역시 규제 대상으로 눈여겨볼 필요가 있습니다.

작년 10월, 미국 뉴욕시는 책임있는 AI 활용을 주도하는 도시가 되겠다며 시정에 AI 기술을 대대적으로 활용할 것을 선언했습니다. 뉴욕 내 사업자에게 제도 및 정책 정보를 제공하는 ‘마이시티 챗봇(MyCity Chatbot)’도 함께 발표했죠. 시에서 직접 도입한만큼 신뢰성이 중요한 서비스임에도 불구하고 탐사 보도 전문 지역 언론에서 살펴본 결과, 챗봇을 곧이곧대로 믿다간 범법 행위를 저지르기 십상이라고 합니다.

예를 들어, “직원이 받은 팁 일부를 챙겨도 되는가?”라는 질문에 챗봇은 뉴욕시 공식 정책 문건까지 인용하며 가능하다고 답했지만 이는 명백히 불법입니다. 아직 실질적인 피해가 발생했는지는 불분명한 상황인데요. 이러한 문제제기에 해당 챗봇은 테스트 운영중이므로 중단하기보다 계속해서 개선하겠다는 말뿐인 뉴욕시가 에어캐나다의 전철을 밟는 것처럼 보이는 건 저뿐일까요?
마이시티 챗봇은 접속 화면에서부터 마이크로소프트(MS)의 애저 AI 서비스로 구현되었음을 밝히고 있습니다. 다만 뉴욕시는 챗봇 개발과 운영에 있어 MS가 정확히 어떤 역할을 담당하는지 함구하고 있다고 하죠. 우리나라 정부 부처 역시 너나 할 것 없이 AI 도입을 서두르는 모습인데요. 뉴욕시 사례를 본보기 삼아 보다 책임있는 자세를 취해주길 바랄 따름입니다.

지난 목요일 방송통신위원회(이하 방통위)가 발표한 2024년도 업무계획에는 예년과 달리 인공지능이 수차례 언급되었습니다. 무엇보다 ‘인공지능서비스 이용자보호법’을 제정하겠다는 계획이 눈길을 끄는데요.
부처 전체의 한해 계획을 담은 문서인만큼 상세한 내용이 공개되진 않았습니다. 신뢰성 보장과 역기능으로부터의 이용자 보호를 위해 ‘고영향 인공지능서비스 구분, 위험성 관리, 분쟁조정 등’의 관리체계를 수립하겠다고 한 것을 보면 아무래도 EU의 AI 법을 참고한 듯 보여요. 입법과 별개로 AI 생성물 표시제를 도입하고, 생성형 AI 피해 예방 및 대응을 위해 자율 가이드라인과 전담 신고창구를 마련하겠다고도 했습니다.
우리나라 정부는 크게 AI를 기술로, 미디어로, (개인정보를 취급하는) 서비스로 바라보는 관점에 따라 각각 과학기술정보통신부, 방통위, 개인정보보호위원회에서 AI 거버넌스를 주도하려는 움직임을 보이고 있습니다. 부처마다 서로 담당하겠다고 손을 드는 와중에 국회에서는 인공지능법안이 1년 넘게 계류 중인 상황이죠. 다가오는 총선 이후 이 구도가 어떻게 재편될지도 관건입니다.

생성형 AI 서비스 개발을 위해 원 저작자 허락없이 학습 데이터를 수집하는 행위가 저작권 침해인지를 두고 소송전이 한창이죠. 이에 앞서 학습 데이터 출처를 공개해야 하는지에 대해서도 의견이 분분한 상황입니다. 최근 EU에서 의결한 AI 법에서도 학습 데이터 상의 저작물 정보 고지 조항이 가장 많은 관심과 함께 로비 대상이 된 바 있죠. 하지만 여전히 대다수 국가에서는 명확한 제도가 없어 여론의 향방 역시 중요한데요. 미국에서 진행된 한 설문조사 결과, 응답자 절반 이상이 공개해야 한다는 의견을 표했습니다.

54%의 응답자는 AI가 다른 이의 작업을 바탕으로 결과물을 생성하므로 데이터 출처를 언급해야 한다고 답한 반면, 14%는 이미 온라인 상에 있는 정보이므로 필요없다고 답했습니다. 다만 잘 모르겠다는 사람이 무려 30%를 넘었다는 점은 유의할 필요가 있겠네요. AI가 생성하는 콘텐츠 종류를 특정한 경우, 특히 언론과 예술 분야에서 출처 정보 제공이 필요하다는 의견 비중이 높아지는 것을 볼 수 있습니다.
다만 조사는 학습 데이터 공개라는 표현을 사용하는 대신 ‘참고한 자료 출처를 명시해야 하는지’를 물었습니다. 아마도 일반인을 대상으로 한 설문이다보니 생성형 AI의 작동 방식을 설명하기는 어려웠겠죠. 학습 데이터 출처 정보 제공을 꺼리는 입장에서는 AI의 ‘생성’이 반드시 학습 데이터를 ‘참고’하는 건 아니라고 주장할 여지도 있어 설문 결과의 파급력은 제한적일 수 있겠습니다.