경험 많은 사람의 정직한 의견을 듣기 싫어하는 사회는 대중을 속이려는 사람들이 이끌게 된다.
—박상현, <친애하는 슐츠씨, 오래된 편견을 넘어선 사람들>

AI 윤리 공부하는 AI 전공자들

by 🎶소소

지난달 강남역에서 수능 만점을 받았던 의대생이 여자 친구를 칼로 찔러 살해하는 사건이 벌어졌습니다. 이 사건은 한국의 교육 과정에서 최고의 평가를 받은 학생이 입시 과정 동안 무엇을 배워왔는 지 돌이켜보게 만들었는데요. 이러한 비극적인 현상이 비단 한국만의 일은 아닙니다. 전세계적으로 유수 대학의 인재들이 악명 높은 화이트칼라 범죄에 연루되는 사례는 끊이지 않습니다.

지금의 AI 분야는 마치 국경 없는 입시 경쟁을 치르고 있는 양상입니다. 최고 성능의 AI를 만들기 위해 데이터를 긁어모아 학습시키고, 모델의 크기를 키우고, 성능과 효율성을 높이기 위한 방법을 열심히 연구합니다. 그리고 AI 모델의 성능이 몇 점인지, 지난번보다 얼마나 나아졌는지 자랑합니다. 그런데 이렇게 개발된 최고의 AI가 혹시 전쟁을 일으키고 사람을 죽이는 데도 효율적이지 않을까요? 최고의 성능으로 아무도 모르게 범죄를 저지를 수 있도록 돕는 도구가 되지는 않을까요?

하버드는 2017년 AI를 포함한 컴퓨터 과학기술을 공부하는 학생들에게 윤리를 가르치기 위해 임베디드 에틱스(Embeded EthiCS)를 설계했습니다. 이 교과 과정의 특별한 점은 새로운 윤리 수업을 만든 것이 아니라 기존 수업 내 구성 요소가 되도록 설계했다는 점입니다. 컴퓨터 과학 전공 수업을 듣는 학생이라면 모두 윤리를 고민하게 만든 것이죠.

학생들은 수업에서 기술을 개발하고 사용하는 과정에서 발생할 수 있는 윤리적이고 사회적 문제로 무엇이 있는지 이야기하고, 그 문제가 발생하는 이유를 찾고, 문제를 해결하려면 어떻게 해야 하는지 논의합니다. 학생들이 기술 지식뿐만 아니라 무엇이 옳고 그른가 계속해서 고민할 수 있는 환경을 만들어준 것입니다.

예를 들면, 빅데이터 시스템(CS 265) 수업에서는 “데이터 시스템이 왜 개인정보를 보호해야 하는가?”를 묻습니다. COVID-19 팬데믹 당시 접촉자 추적을 위해 데이터 수집을 했던 애플과 구글의 사례를 들어, 나라면 어떤 정보를 수집하고, 수집하지 않았을지 토의합니다. 이 과정에서 학생들은 데이터 수집 효율성과 개인정보보호 문제의 균형을 맞추려면 어떻게 해야 하는지 고민해 볼 수 있습니다.

기계학습(CS 181)기계학습(CS 181) 수업에서는 “AI 시스템이 의도하지 않은 사회적 문제를 일으켰을 때 개발자는 어떤 도덕적인 책임을 져야 하는가?”를 묻습니다. 미국 의료 AI 시스템에서 발견된 인종차별 문제를 돌이켜보며, 학생들은 AI 시스템이 학습한 환자 내역, 건강 기록, 미국 보건복지부가 판단한 건강 결정 요인 목록을 살펴보며 이 문제를 예측할 수는 없었는지, 어떤 데이터를 더하거나 뺐어야 했는지 고민해 봅니다.

보통 이러한 질문에는 무엇이 맞고, 틀린지 명확한 답은 없습니다. 이러한 모호함이 엔지니어, 컴퓨터 과학자들이 윤리 문제를 피하고 싶게 만들기도 하는데요. 그러나 윤리적인 질문을 하는 이유는 어떤 것이 옳다고 정의하기 위해서만은 아닙니다. 질문에 답하는 과정에서 우리는 나와 상대가 추구하는 가치가 무엇인지 이해하고, 어떤 가치가 우리 사회에 반영되기를 원하는 지 계속해서 확인할 수 있게 됩니다.

AI 전공자가 AI 윤리를 배우는 것은 왜 중요할까요? '윤리적인 AI'가 무엇인지는 결국 사람이 정의합니다. 어떤 데이터를 학습시키고, 무엇에 AI를 활용할지 고민하는 것 모두 사람의 일이죠. 하버드 임베디드 에틱스 리더 제임스 미킨스(James Mickens) 교수는 "공학은 위대하지만 모든 건 연결되어있다는 것을 학생들에게 강조하고 싶다"고 말합니다. 모든 것을 기술적으로 해결할 수 있다는 생각에서 벗어나야 한다는 말입니다.

물론 AI 윤리 문제를 AI연구자나 개발자에게만 맡겨둬서도 안 됩니다. AI 전문가가 아닌 우리도 사회 구성원으로서 AI 윤리 문제에 관심을 가져야겠죠. 앞으로 더 많은 사람들과 서로가 원하는 AI와 우리의 미래에 대해 충분히 대화할 수 있기를 기대해봅니다.

FAccT 2024 훑어보기

by 🤔어쪈

작년 이맘때 AI 윤리 레터에서 ‘AI 윤리 연구의 최전선’이라고 소개했던 학회 FAccT (ACM Conference on Fairness, Accountability, and Transparency)가 브라질 리우데자네이루에서 열렸습니다. 총 175편의 논문 발표와 더불어 다양한 세션이 4일동안 진행되었는데요. 이를 주제별로 분류한 시간표만 보고서도 AI 윤리의 지평이 정말 넓다는 사실을 새삼 확인할 수 있었습니다.

FAccT는 레터에서 특집으로 다룬 적이 있을 정도로 항상 관심 갖고 살펴보는 학회인데요. 아쉽게도 이번에 FAccT에 참석한 레터 필진이 없어 현장감 있는 소식을 전하진 못하지만 6편의 최우수 논문 수상작을 중심으로 AI 윤리 연구 동향을 간략하게나마 공유드려봅니다. 물론 언급했듯 FAccT가 다루는 영역이 방대한만큼 아래 논문들이 대표성을 가진다고 할 순 없습니다. 학회 논문 대부분이 오픈액세스로 열람 가능한만큼 직접 살펴보시기를 추천드릴게요.

FAccT의 첫 글자를 담당하는 공정성

첫번째 논문은 조지프 피시킨(Joseph Fishkin)이 주창한 ‘기회 다원주의’에서 따온 ‘알고리즘 다원주의(Algorithmic Pluralism)’라는 개념을 소개합니다. 개인에게 기회가 주어지는 통로가 단일한 알고리즘에 의한 의사결정으로 인해 더 좁아지고 경직된 병목사회가 되어서는 안된다는 문제의식을 가진 연구에요. 기회 다원주의를 위해서는 알고리즘 다원주의가 필요하며, 또 이를 위해서는 보다 다양한 알고리즘 개발 및 평가 절차와 기준을 토대로 서로 다른 여러 모델들이 함께 적용되어야 한다는 결론을 내립니다.

알고리즘 다원주의의 필요성은 추천 대상이 직접 참여한 추천 알고리즘의 공정성 지표 설계 과정을 담은 두번째 논문에서도 살펴볼 수 있습니다. 인터뷰 결과 콘텐츠 창작자와 데이팅 앱 사용자 모두 노출이 공평하게 이뤄지길 원하면서도, 콘텐츠 창작자는 콘텐츠 품질에 기반한 추천 비중 조절을 용인한 반면 데이팅 앱 사용자는 명시적인 선호 설정에 따른 필터링을 제외하고는 균등하게 추천이 이뤄지길 요구했죠. 결국 공정성 지표 역시 대상과 맥락에 따라 달리 개발하고 적용해야 한다는 의미입니다.

AI 공정성 확보 방안으로 활발하게 논의가 이뤄지고 있는 알고리즘 편향 감사 규제를 다룬 논문도 눈에 띕니다. 미국 뉴욕시에서 작년 7월 채용 AI에 독립적인 제3자 편향 감사를 도입해 특정 개인이나 집단이 구인 시장에서 차별을 받지 않도록 제정한 법안(NYC 지역법 144)이 실제로 어떻게 시행되고 있는지 살펴봤죠. 결론부터 말하자면 연구진은 규제 실효성이 부족하다고 지적합니다. 규제 대상인 ‘자동화된 채용 결정 도구(automated employment decision tool)’에 대한 정의 뿐만 아니라 감사자의 독립성 요건이나 데이터 접근 범위 및 권한 등 실천적으로 불명확한 부분이 많아 규제를 피할 수 있는 사각지대가 너무 넓었다고 합니다.

우리가 미처 주목하지 못한 문제들

거대언어모델과 함께 AI 분야 내 핵심 영역으로 떠오른 자연어처리 기술의 발전이 영어에 치우쳐져 있다는 지적은 새롭지 않습니다. 문제는 AI 윤리 연구 역시 마찬가지라는 것이죠. 우리가 그동안 영어를 중심으로 AI의 젠더 편향을 측정하고 줄이기 위해 발전시켜온 기법들을 다른 언어에도 적용할 수 있을까요? 세계에서 세번쨰로 가장 많은 사람이 사용하는 힌디어 기반 AI에 접목한 결과 그렇지 않았습니다. 언어가 갖는 사회문화적 맥락 때문에 힌디어 사용자를 대상으로 한 현장 연구 없이는 데이터 수집 단계에서부터 한계에 봉착했다고 하죠. 비단 힌디어에 국한된 이야기는 아닐 것입니다.

또다른 논문은 비영어권 언어처럼 실제론 많이 쓰이지만 충분한 분석이 이뤄지지 않고 있는 주제를 다룹니다. 바로 합성 데이터(synthetic data) 사용에 따라 발생하는 문제입니다. 저자들은 얼굴 인식 기술 분야 사례를 바탕으로 합성 데이터 활용이 만연해질수록 두가지 위험이 커진다고 주장합니다. 하나는 측정 가능한 지표를 중심으로 겉보기에 다양성과 대표성이 확보된 것처럼 데이터를 생성해도 숨겨진 내재적 편향이 남아있어 다양성-워싱(diversity-washing)이 일어날 수 있다는 것입니다. 또한 합성 데이터를 만들기 위한 실제 데이터 확보에 제공자의 동의가 필요한지 불분명해진다는 점 역시 지적합니다. 요컨대 ‘실제 데이터’를 상정해 만들어진 각종 규율의 기반이 합성 데이터의 등장으로 흔들리고 있다는 것이죠.

AI 윤리를 어떻게 배우고 실천할 것인가?

마지막으로 AI 윤리 레터와 북클럽이 떠오르는 논문을 소개하며 글을 마무리할까 합니다. 16개 조직에 소속된 AI 실무자와 AI 윤리 교육 담당자를 대상으로 한 인터뷰 결과, 주된 학습 방식은 자기주도적으로 삼삼오오 모여서 공부하는 것에서 크게 벗어나지 않고 교육 콘텐츠 대부분은 기술적인 개념 설명과 해결방안만을 다룬다는 문제가 드러났습니다. 사회기술적 접근에 기반한 자료와 더불어 사례 연구나 시나리오와 같이 보다 다양한 교육 방법론이 필요하다는 연구 결론을 읽으며 어디서든 AI 윤리를 배우고 실천하기 위한 저변이 녹록치 않다는 사실을 새삼 깨달을 수 있었습니다.

#feedback

오늘 이야기 어떠셨나요?
여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.
남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.