캐나다 인공지능 법과 알고리즘 영향평가

당신은 평균적인 사람이 아니다.

—토드 로즈 (정미나 역), <평균의 종말>

캐나다 인공지능법과 생성 AI 자율행동강령

by 🤔어쪈

미국에 가려 잘 알려지지 않았을 수 있지만 캐나다 역시 이른바 ‘AI 강국’ 반열에 든 나라입니다. 힌턴, 벤지오 등 딥러닝 대부라 불리는 연구자들이 캐나다에 있기도 하고요. 딥러닝 입문 교재에 단골로 등장하는 이미지 데이터셋 CIFAR-10/100의 이름도 캐나다응용연구소(Canadian Institute for Advanced Research)에서 따왔습니다.

국가 AI 경쟁력을 강조하는 여느 나라와 마찬가지로, 캐나다 정부 역시 규제를 포함한 AI 정책 논의를 선도하겠다는 의지가 확고해요. 수년전에 이미 디지털 헌장(Digital Charter)을 발표했습니다. 작년에는 디지털 헌장 이행을 위한 패키지 법안을 발의했죠. 이 법안은 크게 소비자 프라이버시 보호법과 인공지능 및 데이터법(AI and Data Act, 이하 AIDA)으로 구성되어 있습니다.

AIDA는 주로 민간 분야에서 고위험 시스템을 개발할 때 마련해야 할 조치와 위반 시 처벌 규정을 다루고 있어요. 여러모로 EU 인공지능법과 비슷하지만, 대부분의 구체적인 내용은 시행령에 담도록 위임하고 있습니다. 그게 다예요. 굳이 법안 원문을 전부 읽을 필요는 없을 것 같습니다.

이러한 맥락을 이해하면 최근 캐나다 정부가 자국 소재 AI 기업 및 연구기관과 함께 발표한 ‘(고급) 생성 AI 시스템의 책임 있는 개발 및 운영을 위한 자율행동강령’은 매우 흥미로운 움직임입니다. AIDA가 여전히 하원에서 계류 중이기 때문이죠. 생성 AI에 대한 규율이 급히 필요하니 시행령부터 만든 셈입니다. 지난 여름 6개 원칙으로 구성된 강령안을 바탕으로 의견을 수렴하더니, 두 달이 채 안되어 결과를 내놓았어요. (웹사이트 번역본 링크)

포괄적인 AI 입법 절차를 마무리짓기 전에 (심지어는 시작하기도 전에) 생성 AI에 초점을 맞춘 자율규제안을 제시한 사례가 이번이 처음은 아닙니다. AI 윤리 레터에서도 다뤘지만 미국 백악관 역시 지난 7월 자국 소재 대표 AI 기업들과 ‘프론티어 AI’ 자율규제안을 발표한 바 있습니다. EU나 G7 등 보다 국제적 차원에서도 비슷한 논의가 이어지고 있죠.

하지만 담긴 내용을 살펴보면 새롭거나 획기적인 것 없이 거기서 거기라는 생각이 듭니다. 게다가 생성 AI의 학습 데이터 수집 방식과 같이 이해관계자 간 의견이 충돌하는 주제들은 자꾸만 누락되는 것 같아요. 하루가 다르게 새로운 서비스가 놀라운 성능을 보여주고 있으니 뭐라도 빨리 해야겠다는 관료와 정치인의 다급한 마음만 느껴질 뿐입니다.

캐나다 알고리즘 영향평가

by 🎶소소

캐나다 정부는 2019년부터 공공 부문에 활용하는 AI에 대해 ‘자동화된 의사결정에 관한 지침’을 시행해왔습니다. 오늘 레터에서는 이 지침을 수행하는 데 중요한 도구인 ‘알고리즘 영향평가’(Algorithmic Impact Assessment)를 다뤄보려 합니다.

알고리즘 영향평가는 자동화된 의사결정에 사용되는 알고리즘이 사람과 사회에 미치는 영향을 평가하는 도구 입니다. 영향평가는 시스템 설계, 알고리즘, 데이터 정보 등을 묻는 약 80개의 설문으로 구성되어있습니다. 설문에 모두 답하고 나면, 알고리즘의 영향등급(Impact level)은 영향력의 크기와 지속성에 따라 레벨 1(영향이 적음)부터 4(영향이 매우 높음)까지 4단계로 분류됩니다.

영향등급이 평가 되면, 등급에 따라 다르게 필요한 조치가 요구됩니다. 요구사항에는 전문가 검토, 서비스 작동방식 공지, 인간의 개입 없이 의사결정을 내릴 수 없게 하거나 작동 시 승인을 받게 하는 조치 등이 있습니다.

누구나 온라인에서 알고리즘 영향평가를 해볼 수 있습니다. 캐나다 공공부문에 적용된 알고리즘 평가 결과도 누구나 볼 수 있게 캐나다 정부 포털에 공개되어 있습니다. 2021년부터 공공분야에 적용 된 자동화 알고리즘이 왜 사용되었는 지, 그 결과가 어떤 영향을 미칠 것이라 예상하는지 확인할 수 있습니다. 투명성을 높이기 위해 모두 공개하는 방식을 채택했다고 해요.

23년 9월에 공개 된 ‘캐나다 내 취업허가 평가 간소화’에 사용된 알고리즘의 영향평가 결과를 같이 살펴볼까요?

1. 먼저 프로젝트 기본 정보입니다. 캐나다 이민국에서 사용하는 ‘캐나다 내 취업허가 자동화된 분류 및 적격성 여부 결정 허가 신청’을 위한 프로젝트라고 되어있네요.

2. 이 프로젝트의 알고리즘 영향등급은 레벨2네요. 영향점수(Raw Impact Score)는 52점, 완화 점수(Mitigation Score)는 35점 입니다. 레벨2는 개인이나 공동체의 권리에 ‘중간 정도의 영향’을 미치고, ‘되돌릴 수 있고 단기적인 영향’을 미치는 경우를 의미합니다.

3. 영향등급 레벨 2인 경우 취해야 할 조치사항입니다. 2단계의 경우 전문가 검토(Peer-Review) 결과 공개, 성차별 요인 확인, 서비스 제공 채널에 고지 등을 포함해야 합니다.

4. 전체 영향평가 결과 응답입니다. 응답에 따라 위험도 점수와 완화 점수가 계산됩니다. 자동화 이유를 묻는 질문이 인상적입니다. '반드시 자동화를 해야하는가?'라는 질문을 스스로 던져볼 수 있죠.

이러한 평가제도만으로 AI의 영향을 완벽하게 분석하고 위험을 예방하기는 어렵겠죠. 그러나 다른 국가의 AI 법안과 규제가 아직 포괄적인 가이드라인 수준에 머무는 반면, 캐나다는 알고리즘 영향평가를 2020년부터 이미 실행하고 있다는 점이 주목할 만합니다. 영향평가 정보가 쌓이는 만큼 캐나다 정부의 AI에 대한 이해도 높아지고 있겠죠. 우리나라도 AI 윤리영향평가 도입 논의가 이뤄지고 있는데요. 이러한 제도가 AI에 대한 사회적 이해와 요구 수준을 높이고, 이로 인해 연구자, 기업들도 더 신뢰할 수 있는 AI 개발을 위해 노력하게 되기를 기대해 봅니다.