[함께 읽는 FAccT 1]
AI 뒤편의 인간: 데이터 노동자

by 🎶소소

FAccT 콘퍼런스는 기술의 공정성, 책임성, 투명성에 대한 연구자들의 논의와 함께 현장의 목소리를 들을 수 있다는 점에서 특별합니다. 지난 레터에서는 자율주행 트럭 운전자의 기조연설을 소개했는데요. 이번 레터에서는 인상 깊었던 또 다른 기조연설 <데이터 노동자와의 대담>을 소개하려 합니다.

DAIR의 AI 윤리 연구자인 알렉스 한나와 데이터 크라우드 소싱 회사인 Amazon Mechanical Turk(MTurk)의 노동자이자 노동 환경 개선을 위한 단체 TurkOpticon에서 활동하는 세 사람이 기조연설자로 참석했습니다.

데이터 수집과 라벨링은 AI에 필수적이지만, 많은 회사가 이 작업을 아웃소싱합니다. 최근에는 언어모델이 생성한 응답에서 사실과 가짜를 구별하고, 형편없는 응답과 혐오 표현을 줄이기 위한 작업을 데이터 노동자에게 의존합니다. AI를 공정하게 만드는 작업이 AI 연구자가 아니라 보이지 않는 노동력인 데이터 노동자에 의해 이루어지는 셈입니다. 오픈AI가 챗GPT의 유해성을 줄이기 위한 작업에 케냐 노동자를 시급 2달러에 고용하여 노동착취 논란이 되기도 했었죠.

데이터 노동자에게는 작업에 대해 많은 정보가 제공되지 않습니다. 예를 들어, 자신이 라벨링한 위성 이미지가 군사 작전에 사용된다고 하더라도 알 수 없습니다. 데이터의 최종 사용 목적에 대해 알 수 없기 때문이죠. AI의 투명성을 높이기 위해서는 사용자뿐만 아니라 데이터 노동자에게도 데이터의 최종 사용 목적을 알리는 것을 고려해야 합니다.

AI의 발전 뒤에는 대규모의 인간 노동과 데이터가 존재합니다. MTurk에만 50만 명, 국내에도 20만 명의 노동자가 활동 중이라고 합니다. 데이터 노동자까지 고려한 정의로운 AI 연구는 어떤 모습일까요?

[함께 읽는 FAccT 2]
윤리를 고민하는 소프트웨어 엔지니어를 위하여

by. 🌏다솔

소프트웨어 엔지니어는 윤리 문제를 어떻게 파악하고 대응할까요? 흔히 공정성 체크리스트과 윤리 원칙 등을 활용하여 윤리 문제에 대응해 왔지만, 윤리는 체크리스트와 원칙으로 제한되지 않습니다.

카네기 멜런 대학 데이비드 위더 등의 연구 <이건 권력의 문제입니다 It’s About Power>는 연구자들이 수행한 설문조사와 인터뷰 결과를 소개합니다. 115명의 응답자와 5개 대륙에 걸쳐 비영리, 계약업체, 비-테크(non-tech) 기업에서 근무하는 21명의 인터뷰 참가자는 프라이버시, 광고, 감시, 환경, 노동력 대체, 불평등의 문제에 윤리적 우려를 표합니다. 이들의 우려는 단순 버그부터 기업의 존재 자체에 대한 의문까지 아우릅니다.

하지만 모든 엔지니어가 윤리 문제에 목소리를 내지는 못합니다. 연구진은 소프트웨어 엔지니어가 윤리 문제를 해결하는 능력이 경제적 상황, 이민 등으로 인한 체류의 불안정성, 직장 문화, 조직의 보상 구조에 영향을 받는다는 사실을 발견했습니다. 이러한 요인들은 윤리 문제를 해결할 수 있는 힘을 제한합니다.

윤리 문제 해결을 시도했으나, 조직에 의해 제지되기도 합니다. 엔지니어가 해결책을 제시했지만, 자원이 충분하지 않다며 경영진이 거절하는 경우가 그것이지요. 또는 조직의 보상체계로 인해 문제 제기가 가로막히기도 합니다. 한 머신러닝 연구원은 얼굴 식별 AI 모델 사용에 우려를 표했지만, 얼굴 식별 기술이 상대적으로 보상받기 수월하다는 이유로 프로젝트 전환을 요구받았습니다.

이런 경우에 엔지니어들은 어떻게 대응할까요. 엔지니어들이 공통적으로 보고한 대응법 중 하나는 비윤리적이라고 생각되는 업무를 조용히 거부하는 것이었습니다. 일부러 부실하게 구현하거나, 작업을 완료한 척했지만 사실은 작업을 하지 않는 것이죠. 조직 내 변화를 기대할 수 없다는 무력감으로 인해 다른 일자리를 찾는 경우도 많았습니다.

윤리 문제 해결을 위해서는 조직적 차원의 노력이 필요합니다. 실무자에게만 윤리 문제에 대한 책임을 부여하는 것이 아니라, 올바른 보상 체계와 충분한 자원 지원이 필요하기 때문이지요. 이를 위해서는 윤리 문제 해결을 위해 전전긍긍하는 실무자들이 집단적 힘을 기를 수 있도록 도와야 합니다. AI, 빅테크로 한정된 논의를 사회 전반으로 확장해야 하는 이유입니다.

[함께 읽는 FAccT 3]
윤리, 법, 기술! 세 가지 힘을 하나로 모으면🌐🎵

by 🤖아침

허깅페이스 소속 연구진이 공저한 논문 <함께 더 강하게 Stronger Together>는 AI 거버넌스에서 윤리, 법, 기술의 세 요소 모두를 고려해야 한다고 주장합니다. 각 영역에서 활용되는 도구인 윤리헌장, 법 규제, 라이선스, 기술표준, 기술문서 등은 제각기 장점과 한계가 있어, 모두를 아우르는 접근이 필요하다는 것이죠.

논문은 윤리, 법, 기술이 각각 다루는 AI 거버넌스의 영역을 다음과 같이 정리합니다.

• 윤리: 기술이 어떻게 사용되어야 마땅한가? (ought)
• 법: 기술이 어떻게 사용되어야만 하는가? (shall)
• 기술: 기술이 어떻게 사용될 수 있는가? (can)

세 영역을 아우르려면 어떻게 해야 할까요. 는 빅사이언스BigScience 워크숍 사례를 통해 세 영역을 아우르는 AI 개발 방식을 소개합니다.

언어모델 BLOOM을 만들어낸 빅사이언스 워크숍에는 학술 자원봉사자 1천여 명이 참여했는데요. 참가자들은 프로젝트가 지향하는 가치와 규범에 대한 합의를 도출하고 윤리헌장으로 명문화했습니다. 또한 윤리헌장에 명시된 가치가 실제로 실천될 수 있도록 라이선스와 모델 카드를 적극 활용했습니다.

예를 들어 윤리헌장에서는 실험을 누구나 되풀이하여 검토할 수 있는 “재현성reproducibility”을 추구한다고 선언합니다. 그리고 재현성이 구속력을 갖도록 하기 위해 라이선스에 재사용 권한을 명시합니다.

워크숍에서 제시한 RAIL(Responsible AI License, 책임감 있는 인공지능 라이선스)이나 이후 등장한 OpenRAIL은 사용 권한을 명시하는 법적 장치이기도 하지만 동시에 개방성, 공익 등 공동체 규범 및 가치를 전달합니다. 그런 점에서 GPL, MIT 등 오픈 소스 라이선스와 유사합니다.

재사용을 윤리적, 법적으로 허용한다 해도 재현 방법을 알 수 없으면 허울뿐이겠죠. 기술 문서에 해당하는 모델 카드에 알고리즘 세부정보, 사용 하드웨어 등을 명시하여 원하는 사람이 실제로 재현할 수 있는 길을 열어두었습니다.

이처럼 모델 카드는 AI 모델을 문서화하는 가이드라인을 제공합니다. 동시에 유럽연합 인공지능법에서 명시하는 데이터 거버넌스, 투명성, 문서화, 위험 관리 등의 규제 이행을 위한 도구가 될 수도 있습니다. 표준 가이드라인이 없다시피 한 AI 개발 분야에서 모델 카드는 제작자에게 책임감을 부여하고 이용자를 교육하는 도구로 활용될 것으로 기대됩니다.

윤리헌장, 라이선스, 모델 카드 등의 장치들은 윤리, 법, 기술의 요구에 나름의 답을 제시합니다. 빠르게 변화하는 기계학습 지형에 대응하기 위해, 연구진은 다양한 거버넌스 도구를 선제적으로 활용해야 한다고 역설합니다. 위험 관리에 그치지 않고, 책임감 있는 개발 문화를 만들어나가야 한다고요.

"원고에 대한 챗GPT의 진술 모두는 거짓입니다"

by 🍊산디

OpenAI가 ‘할루시네이션’ 탓에 명예훼손 민사 소송을 당했습니다.

사건의 전말은 이렇습니다.

• 기자인 프레드 릴은 기사 작성 중, 한 비영리단체와 관련된 사건의 판결문 요약을 위해 챗GPT 사용.
• 챗GPT는 “마크 월터스가 비영리단체의 자금을 횡령한 혐의로 고소당한 사건”이라며 그럴듯한, 하지만 완전히 허구인 ‘요약’을 제공.
• 릴이 챗GPT에게 월터스와 관련된 소장의 내용을 보여달라고 요구하자, 챗GPT는 역시나 허구인 ‘조지아주의 거주하는 마크 월터스’를 피고로 하는 ‘소장의 일부’를 소개.
• 릴은 전체 소장을 보여줄 것을 요구. 챗GPT는 허구의 ‘전체 소장’을 제공.
• 실제 조지아 주에 거주하는 라디오 진행자, 마크 월터스는 OpenAI를 상대로 민사상 손해배상과 징벌적 손해배상을 청구하는 소송 제기

챗GPT가 외부 링크의 자료를 읽어 들이기 위해서는 별도의 플러그인을 설치해야 합니다. 릴은 플러그인 설치 없이 판결문 링크를 프롬프트에 입력했고, 챗GPT는 마치 판결문을 참조한 듯 답한 거죠.

라디오 호스트인 마크 월터스를 공인(Public Figure)으로 본다면, 그가 승소하기 위해서는 OpenAI의 실제적 악의(Actual Malice)를 입증해야 합니다. OpenAI가 해당 사실이 허위 사실이라는 점을 알면서도 발언했음을 입증해야 한다는 것인데요. 대체로 법정 승리는 어려워 보인다는 게 전문가들의 판단입니다.

법정 다툼보다 중요한 질문은, “챗GPT 등 생성 AI로 인해 더더욱 널리 퍼지게 된 허위정보 문제를 어떻게 해결할 것인가”에 대한 고민일 거예요.

작년, EU는 2022 허위정보 행동강령(The 2022 Code of Practice on Disinformation)을 개정했고, 마이크로소프트, 구글, 메타, 트위치 등이 행동강령에 서명했습니다. 하지만 지난달 트위터가 행동강령 탈퇴를 선언하면서 실효성에 의문이 제기되었죠.

보다 유효한 해법은 올해 8월부터 발효되는 EU 디지털서비스법(Digital Service Act, DSA)일 것으로 예상됩니다. EU 내 이용자 월 4500만 명 이상인 온라인 플랫폼을 대상으로 한 이 법은 챗GPT 등 생성형 인공지능이 생산한 정보에 대해서는 AI가 생성한 정보라는 사실을 표기해야 합니다.

기술적 해법을 모색하는 흐름도 있습니다. OpenAI는 ‘과정 지도(process supervision)’가 할루시네이션을 줄이는 단초가 될 수 있을 거라는 연구 결과를 발표한 바 있습니다. 논리 전개의 각 단계마다 지도함으로써 각 단계의 설명 가능성을 높이고 잘못된 논리 추론을 줄인다는 것이죠. 그러나 어디까지나 연구 초기단계이고, 실제 서비스에 적용될 수 있을지는 미지수입니다.

OpenAI를 비롯한 생성 AI 사업자들은 허위정보에 대한 법적 대응 이상의 도덕적 책임을 지게 되었습니다. 거짓에 휘둘리지 않기 위해 우리는 무엇이 필요할까요?

이 주의 정책 카드: 유럽연합 AI법(EU AI Act)

by 🤔어쪈

EU AI법, 예전부터 들은 것 같은데…

유럽연합의 인공지능법(EU AI법) 제정 과정은 최소 3년 전으로 거슬러 올라감. 그동안 EU 입법 절차의 3대 주체가 한 번씩 법안을 통과시키면서 그때마다 언론에서 보도하고, 내용은 내용대로 상당 부분 수정되어 왔음 (아직 끝나지 않음)

이처럼 매우 복잡하고 헷갈리는 AI법 현황을 AI 윤리 레터에서 간략하게 정리해 봄! (참고)

• 유럽의회(European Parliament) 등 관련 기구, 입법 준비 (~2020)
• 유럽집행위원회(European Commission), AI법 초안 작성 (2021.4)
• EU 이사회(Council of the EU), 초안 검토 및 수정안 제출 (2022.11)
• 유럽의회, 초안 검토 및 수정안 제출 (2023.6)
• 유럽집행위-EU 이사회-유럽의회, 3자 협상 및 최종협상안 도출 (현재 진행 중)
• EU 이사회 및 유럽의회, 최종협상안 채택 여부 결정 (예상: 올해 말~내년)
• 통과 시 개별 EU 회원국 (27개) 의회 승인 및 국내법 통합, 시행 (예상: 최소 2026년 이후)

참고로 EU는 예상 AI법 시행 일정이 너무 늦다는 점을 고려해 기업의 자율규제안(AI Pact)을 요구하고 있음

무슨 내용이더라?

샘 올트만도 인정한(?) 현재 기준 가장 효과적인 AI 규제안인 EU AI 법은 ‘위험 기반 접근(risk-based approach)’을 바탕으로 설계됨. 즉, AI 시스템을 위험 수준에 따라 아래와 같이 4가지로 분류한 후 서로 다른 규제를 적용.

• 허용되지 않는 위험 (Unacceptable risk): 사회적 행동 기반 신용점수 평가, 실시간 얼굴인식 등 기본권 침해 AI는 개발 및 이용 금지
• 고위험 (High risk): 의료기기 등 안전성 확보가 필요하거나 주요 인프라 시설 관리 및 운영 등 기본권 위협 가능한 AI는 사전 등록 및 적합성 평가 기준 준수
• 제한적 위험(Limited risk): 챗봇, 딥페이크, 감정 인식 등 특정 AI에 투명성 의무 부과
• 최소 위험(Minimal risk): 스팸 필터, 게임 등 위의 3가지 구분에 포함되지 않는 AI는 자발적 행동강령 수립 권고

무엇이 쟁점인가?

기본권 침해 정도를 중심으로 위험 수준에 따라 AI를 분류하고 있지만 그 기준이 불분명. 어떤 AI를 허용 불가 위험 또는 고위험으로 규정해서 금지하거나 적절한 규제를 적용할 것인지를 두고 협상이 이어질 것으로 예상.

다음은 예상되는 쟁점의 일부

• 안면인식 (facial recognition) 금지: 실시간 원격 생체 인식 시스템 금지 (이사회는 예외적 허용, 의회는 예회 없이 불허)
• 빅테크 플랫폼의 추천 시스템 고위험 분류: EU 내 이용자 수 4500만 명 이상의 소셜 미디어 서비스 영향력 고려 (의회안 신규 추가)
• 파운데이션 모델(foundation model)과 생성 AI(Generative AI): 등록제 운영, AI 생성물 고지 및 학습 데이터 정보 요약 제공 등의 투명성 요건 적용 (의회안 신규 추가)

AI법의 영향과 가져올 효과

제일 먼저 법 제정 작업을 시작했다는 사실 외에도, EU의 경제 규모 때문에 법이 제정되면 사실상 국제 표준이 된다는 ‘브뤼셀 효과’ 때문에 모두가 EU의 움직임을 눈여겨보고 있음

• EU가 2016년 제정한 GDPR(일반개인정보보호법)이 가장 대표적인 예로, 글로벌 기업은 GDPR을 준수.
• 우리나라 국회에서 세계 최초 제정을 위해 논의 중인 인공지능기본법(인공지능 산업 육성 및 신뢰 기반 조성 등에 관한 법률안) 역시 EU가 채택한 위험 기반 접근 구조를 따르고 있음.
• 미국 내에서도 EU에 맞서 글로벌 AI 거버넌스를 선도해야 한다는 목소리가 커지고 있어 본격적인 관련 법 제정 논의가 시작되고 있음.

#feedback

오늘 이야기 어떠셨나요?
여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.
남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.