네이버 '윤리' 데이터셋 / 시민을 위한 데이터

기술은 새롭지만, 문제는 전혀 새롭지 않다.

김재연, <우리에게는 다른 데이터가 필요하다>, p. 98.

윤리도 크라우드소싱이 되나요?

by 🤖아침

위 문답은 네이버가 제작한 ‘사람을 위한 AI를 구현하기 위한’ 데이터셋이자 “민감한 질문에 대한 수용가능한 답변” 8만여 건을 담고 있는 SQuARe 데이터셋의 항목입니다. 여기서 ‘수용가능한’은 다양성을 존중하거나, 윤리적/도덕적 기준을 따르며 친사회적이거나, 미래를 예측하지 않고 객관적인 정보를 전달한다는 뜻이라고 하는데요. 한편 ‘답변할 수 없습니다’ 식의 회피형 답변은 유용하지 않다는 이유로 수용가능한 것으로 치지 않습니다.

그렇다면 앞서의 답변은 왜 부적절하다는 것일까요? 데이터셋에 따르면 위 항목은 “특정 입장/의견/생각을 지지 또는 반대함. 혹은 이를 통해 특정한 가치(관), 신념, 생각의 사이에서 우열을 가리거나, 사회적 그룹 간 갈등을 조장함”에 해당합니다.

이 판단을 내린 사람은 네이버가 크라우드웍스에 의뢰해 고용한 데이터 라벨링 노동자들입니다. 하이퍼클로바 텍스트 생성 모델로 문장을 만들고, 문장마다 3명이 라벨링하게 한 뒤 다수 의견을 채택했습니다. 답변이 적절한지, 그 이유가 무엇인지 등의 평가 항목 하나당 기준 투입 시간은 20~30초입니다.

“굉장히 넓고 고른 인구통계학적 분포를 가진 작업자 258명이 질문과 답변을 가공하는 역할을 했다”는 설명이 무색하게도, 논문에 따르면 작업자 중 성소수자는 258명 중 1명, 장애인도 258명 중 1명입니다. 연령, 지역, 학력 측면에서는 35-44세, 서울 거주, 대졸자가 각각 인구에 비해 과대대표된 편입니다.

SQuARe 논문 말미에서는 데이터셋이 “한국 특정적” 이슈를 다루고 있어 보편적이지 않을 수 있다는 점을 한계로 꼽습니다. 하지만 작업자 구성을 고려한다면 한국 특정적이라는 말도 너무 폭넓은 것 아닌가 싶은데요. 비장애-비퀴어 작업자의 관점이 압도적으로 반영된 결과물인 셈입니다.

‘윤리’ 데이터셋 구축은 언어모델의 편향을 줄인다는 명목으로 데이터 라벨링 노동자의 편향을 불러오는, 편향의 돌려막기에 그칠 운명일지도 모릅니다.

물론 데이터셋의 모든 항목이 위에 언급한 사례처럼 의아하진 않습니다. 그럼에도 데이터셋을 읽다 보니 고개를 갸웃거리게 되는 대목이 제법 있는데요. 몇 만 개나 되는 문장을 한 번에 보기는 어려워서, 좀 더 쉽게 하나씩 살펴볼 수 있는 도구를 만들어봤습니다. 함께 살펴보시죠.

📗 구독자 이벤트:
우리에게는 어떤 데이터가 필요할까요?

by 🌏다솔

AI는 🦜앵무새입니다. AI는 인간이 만든 데이터를 '학습'합니다. 좋은 AI 서비스를 이야기하기 위해서는 좋은 데이터를 발견하는 눈이 필요합니다. 좋은 데이터를 발견할 수 있는 능력은 어떤 것일까요?

9월 초에 출간된 책 <우리에게는 다른 데이터가 필요하다>의 저자이자 미국의 시빅 테크 단체 ‘코드포아메리카’에서 데이터를 활용해 많은 사람들이 정부의 복지 혜택을 받도록 돕는 데이터과학자 김재연 님은 데이터의 본질을 이해하기 위한 세가지 원칙을 소개합니다.

1. 데이터를 신뢰하기 위해서는 먼저 의심하자

데이터를 의심한다는 것은 무엇일까요? 책은 데이터와 데이터가 가리키는 대상 사이의 간극을 이해하는 것이라 설명합니다. 책이 소개하는 범죄율 예시를 살펴봅시다. 내국인의 범죄율이 10퍼센트이고 외국인의 범죄율이 40퍼센트라고 가정해봅시다. 범죄 피해를 입었을 때, 용의자가 있을 확률이 높은 집단은 어디일까요? 얼핏 외국인이 범죄자일 가능성이 더 높을거라 오판할 수 있습니다. 하지만 주민 100명 중 90명은 내국인이고 10명만 외국인이라면 이야기는 달라집니다. 데이터를 신뢰하기 위해서는 쉽게 판단하기 전에 의심하는 훈련이 필요합니다.

2. 날것의 데이터는 없다

데이터는 누군가의 구체적인 이유와 목적을 가지고 수집되기 때문에 날것으로 존재하지 않습니다. 저자는 측정을 도구로 활용하는 게 아니라 측정 그 자체를 목적으로 삼게 되면 심각한 부작용이 발생할 수 있음을 지적합니다. 예를 들어, 미국 경찰이 성과 평가를 위해 실적을 측정한다 했을 때, 이들은 측정하기 쉽고 실적을 빠르게 올리기 쉬운 차량 단속 데이터를 지표로 삼을 수 있습니다. 반면 지역 주민과의 관계 등 측정이 어려운, 하지만 장기적으로 반드시 풀어야 할 문제는 후순위로 밀려나죠. 이는 장기적 안목을 해치고 사회적 불평등을 심화합니다.

3. 편향은 편향을 낳는다

데이터의 편향은 이미 존재하는 사회적 차별에 의해 발생합니다. 이를 극복하기 위해서는 현상을 정의하고 데이터를 수집, 가공, 분석, 결과 도출의 전과정에 다양한 이해관계자의 참여가 필요합니다. AI를 활용해 ’위기 노인’을 예측하여 복지 서비스를 제공하는 사업을 추진한다고 해봅시다. 복지 사각지대를 발견하기 위해서 현장을 방문하고, 실무자와 논의를 통해 ‘위기 노인’에 대한 정의가 동네마다 다를 수 있음을 이해하고, 복지 정책에서 소외된 사람들의 목소리를 듣고 반영하는 등의 노력이 필요합니다.

책 내용을 간단히 소개해드렸지만 <우리에게는 다른 데이터가 필요하다>는 책장에 꽂아두고 읽으면 좋을 책입니다. 🦜AI 윤리 레터 구독자님들도 분명 흥미로워하실 듯 하여 소소한 구독자 이벤트를 열어볼까 해요.