사물과 물질성에 대한 궁금증과 물음이 프롬프트 자동 명령어로, 아니 로봇 에이전트의 자동 응답으로 대부분 대체되는 세상은 과연 우리가 바라는 ‘멋진 신세계’일까?

이광석, <404 시스템 에러: 생성형 AI가 인도하는 ‘멋진 신세계’>,『문화/과학』 114호 생성형 AI 특집 (2023 여름), 21-38. p.34.

허가 없이 MIT 시험에 응시하여 0점 처리합니다

by 🎶소소

GPT-4가 MIT의 수학, 전자, 전산 전공의 중간/기말시험 문제를 100% 맞췄다고 평가한 논문이 화제였습니다. 만점보다 더 화제가 된 것은 시험 문제를 입수한 경로였습니다. 평가 데이터셋으로 사용한 4,550건의시험 문제의 사용 허가 획득 과정에 문제가 있었고, 이에 교수진은 성명문을 발표했습니다. 결국 논문은 철회되었습니다.

AI 학습 데이터 수집은 여러 차례 문제가 되어왔습니다. 이번에는 논문 철회 정도로 끝났지만, 상업 서비스의 경우 소송을 겪기도 합니다.

• 이미지 판매 사이트인 게티이미지는 이미지 생성 AI 도구를 개발한 스태빌리티AI가 자사의 데이터를 무단으로 사용하여 손해를 끼쳤다며 고소했습니다.
• 일론 머스크는 마이크로소프트가 트위터 데이터를 불법으로 학습했다며 고소하겠다는 트윗을 남겼습니다.
• 수백만 명의 개인이 오픈AI가 개인정보를 포함한 책, 기사 등 인터넷 데이터를 사전 동의나 정당한 보상 없이 이용했다며 집단 소송을 제기했습니다.

🦜지난 레터에서도 다루었지만, EU AI 법의 쟁점 중 하나는 생성 AI 학습 데이터의 정보를 공개하도록 규제할지 여부입니다. 기업들은 이 조항이 생성 AI 서비스의 발전에 제약이 될 거라 우려를 표하고 있죠. 생성 AI 학습에 사용된 데이터를 공개하면 소송에 휘말릴 가능성이 커지기 때문이죠. 오픈AI를 상대로 소송을 제기한 로펌은 데이터 생산자 수백만 명에게 ‘데이터 배당금’ 약 4조원을 배상할 것을 주장합니다.

앞으로 AI기업들은 온라인에 공개된 데이터를 AI 개발에 활용하지 못할 확률이 높습니다. 트위터, 스택오버플로우, 레딧과 같은 웹사이트에서는 AI 기업이 무료로 데이터베이스에 접근하는 것을 금지하기 시작했습니다. 기업들은 데이터를 얻는 다른 방법을 모색해야 할 것입니다. 만약 기업이 여러분의 데이터를 사용하는 대가를 지불한다면, 어떤 방식이 적합할까요?

진실도 가짜도 더 믿음직스럽게

by 🍊산디

생성 AI의 시대, 가짜뉴스를 고민하는 사람들의 시름이 깊어졌습니다. 우리가 접하는 콘텐츠는 다음의 네 유형 중 하나에 속할 거예요. (비통한 마음을 안고, 혼선을 줄이고자 ‘진짜뉴스’라 표현하겠습니다.)

• 인간이 만든 진짜뉴스 / 인간이 만든 가짜뉴스
• AI가 만든 진짜뉴스 / AI가 만든 가짜뉴스

새롭게 발표된 논문 <GPT-3는 인간보다 더 믿음직스럽다 AI model GPT-3 (dis)informs us better than humans> 연구진들은 사람들이 위 네 유형을 얼마나 정확히 맞히는지 알아봅니다. 분석 대상은 트윗!🐤

연구진은 우선 사람에 의해 이미 유통되고 있는 가짜뉴스/진짜뉴스 트윗을 모읍니다. GPT-3로 가짜뉴스/진짜뉴스 트윗도 만들었죠. 생성된 트윗은 기후 위기, 백신과 자폐 스펙트럼 장애, 지구 평면설, 코로나19와 5G 등 11개 주제를 아우릅니다.

짚어야 할 게 있습니다. 많은 경우 가짜뉴스는 ‘의도적으로’ 유포된 허위사실을 뜻합니다. 하지만 이 연구에서 가짜뉴스는 사실이 아닌 정보를 포함하고 있는지로 정의됩니다. 트윗 내용 중 한 문장이라도 가짜라면, 가짜뉴스로 분류됐습니다. 진위를 알기 어려운 논쟁적인 내용은 제외했습니다.

그렇게 네 유형의 트윗이 준비되었습니다. 연구진은 온라인 서베이를 통해 해당 트윗이 네 유형 중 무엇에 해당하는지 구분할 것을 요청합니다. 그렇게 유효 응답 697개를 얻었습니다.

여러 분석이 가능하지만, 우선 사람들이 가짜뉴스를 식별하는 능력만 살펴봅시다.

• 사람들은 인간이 만든 가짜뉴스보다 AI가 만든 가짜뉴스를 맞추는 데 더 어려움을 겪었습니다.
• 사람들은 인간이 만든 진짜뉴스보다 AI가 만든 진짜뉴스를 더 잘 맞췄습니다.

사람들은 GPT-3가 만든 가짜뉴스를 가짜뉴스라고 알아보는 걸 어려워하고, GPT-3가 만든 진짜뉴스는 인간이 만든 진짜뉴스보다 더 진짜라고 판단했습니다. 가짜뉴스든 진짜뉴스든, GPT-3가 인간보다 더 믿음직스러웠다는 거죠.

진짜뉴스야 그렇다 쳐도, 가짜뉴스는 문제입니다. GPT-3가 인간보다 더 그럴싸한 가짜뉴스를 만든다면 대책을 고민해야겠죠. 챗GPT에 적용되어 있는 정치적 논쟁, 혐오발언 생성 제한의 범위 자율규제하는 거버넌스를 생각해볼 수 있겠습니다. 검색 환경이 소수의 링크를 제시하는 형태로 변화하는 만큼, 양질의 정보를 전달할 수 있는 기관들의 역할도 더욱 중요합니다.

생성 AI가 바꾸는 인터넷 생태계

by 🤔어쪈

챗GPT 열풍이 한창이던 올해 초. SF 작가 테드 창의 찬물을 끼얹는 기고문을 기억하시나요? 그는 챗GPT가 JPEG와 유사하다고 봅니다. JPEG가 이미지 원본을 손실압축하는 것처럼 챗GPT 역시 인터넷을 손실압축한 것에 불과하다는 것이죠. 그러므로 챗GPT가 생성한 글이 사람이 작성한 글을 대체할 수 없다(또는, 대체해선 안 된다)는 게 그의 생각입니다. 선명한 원본 그 자체인 인터넷에 AI가 생성한 콘텐츠가 유입될수록 인터넷은 더 흐릿해질 거라 우려하기도 했죠.

그로부터 반년이 지났습니다. 챗GPT는 명실상부 생성 AI 시대를 연 기념비적 서비스가 되었습니다. 너도나도 생성 AI 기술을 도입한 서비스를 내놓고 있고, 그 추세는 단순 유행을 넘은 것으로 보입니다. 이제 우리는 인터넷에서 AI가 생성한 콘텐츠를 심심치 않게, 생각보다 훨씬 많이 접하고 있죠.(이 글도 AI가 썼을지 누가 알겠어요!)

중간점검 해봅시다. 변화는 진행 중이지만, 더 버지의 기사는 테드 창의 손을 들어주었습니다. AI로 인해 기존의 인터넷이 죽고 새로운 인터넷이 탄생하고 있다면서요.

핵심은 악화의 양화 구축입니다. 챗GPT와 같은 언어모델은 그럴듯한 말을 잘 지어내도록 개발되었고, 이 때문에 틀렸는지 알아채기 힘든 교묘히 잘못된 정보를 만드는데 능합니다. 글을 생성하는 규모나 속도 측면에서 사람을 압도하는 점은 두말할 것 없죠.

이러한 기술 문제를 개선하기 위해서라도 사람이 작성한 ‘원본’ 데이터가 중요합니다. 하지만 역설적으로 그 가치를 수익화하고자 하는 레딧, 스택 오버플로우와 같은 커뮤니티의 움직임은 이용자를 분노케 해 데이터 제공을 꺼리게 만들고 있습니다. 구글이 도입을 준비 중인 생성형 검색 경험(Search Generative Experience)은 ‘표절 기계’에 가까워 트래픽 기반의 인터넷 생태계를 망가뜨릴 거라는 지적도 나옵니다.

인터넷이 죽어가고 있다는 지적이 새롭지는 않습니다. 트래픽만을 노리는 낚시성 정보가 넘쳐나고, 검색 엔진은 이를 걸러내기는커녕 광고 인센티브를 주죠. 생성 AI는 그 속도를 더 빠르게 만들고 있을 뿐일지도 모릅니다. 인터넷 생태계에 대한 고민은 영어권 국가를 중심으로 커지고 있지만, 한국어 인터넷 역시 곧 비슷한 변화를 경험할 것으로 보입니다. 네이버와 카카오 모두 하반기 생성 AI 기반 서비스 출시를 예고했고, 구글 역시 바드의 다음 지원 언어로 한국어와 일본어를 콕 집은 바 있죠.

생성 AI 시대의 인터넷 세상은 어떤 모습일까요? 섣불리 예측하기는 어렵지만 이것 하나만큼은 분명히 약속할 수 있습니다. AI 윤리 레터는 사람이 직접 씁니다.

구독자님 전상서: NeurIPS 윤리 강령

by 🌏다솔

AI 윤리 레터에 피드백을 남겨주신 한 구독자님이 ‘AI 연구 심의 체계’가 궁금하다 말씀해주셨어요. (🦜질문 남겨주셔서 감사해요!)

세계적인 AI 학회 중 하나인 뉴립스(NeurIPS)는 어떤 AI 연구 심의 체계를 따르는지 살펴보겠습니다. 뉴립스는 AI 연구가 고려해야하는 윤리적 요소와 윤리 강령 가이드라인을 다음과 같이 제공합니다.

인간 피험자, 참가자에 대한 윤리

1. 공정한 임금: 모든 연구 대상자 또는 참여자는 적절한 보상 필요.
2. 인간 참여자 관련 연구: 참여자와의 직접적인 상호작용을 포함하는 경우, 소속 기관의 기존 프로토콜(예: 인간 대상 연구 인증, IRB) 준수.

데이터 수집 및 처리

1. 개인정보보호: 개인 식별 정보의 노출을 최소화.
2. 동의: 데이터셋 제공자에게 명시적인 동의를 얻거나, 동의를 구할 수 없는 이유 설명.
3. 더 이상 사용되지 않는 데이터셋: 데이터셋 제작자에게 데이터 사용 가능 여부 확인. 제작자가 삭제한 데이터셋은 감사 또는 비판적 평가의 목적이 아닌 한 사용하지 않음.
4. 저작권 및 공정 사용: 연구자는 데이터셋의 라이선스가 정의한 조건(예: CC 4.0, MIT 등)을 준수.
5. 대표적인 평가 관행: 데이터셋이 모집단을 대표할 수 있는지 평가. 다양성 및 대표성을 구체적인 증거, 사례로 입증.

잠재적 해악 예방

1. 안전: 기술의 잠재적 오용, 부작용, 사람을 해치거나 죽이는 데 사용될 수 있는 상황을 고려. 치사율을 높이는 것을 목표로 하는 연구는 불허.
2. 보안: 보안 취약점을 노출하거나 사고를 일으킬 위험 고려. 보안 위험을 줄일 수 있는 방법을 권장하고 구체적인 조치 제시.
3. 차별: 의료, 교육, 신용평가 등 차별, 배제 또는 기타 부정적인 영향을 미치는 데 사용되지는 않을지 고려.
4. 감시: 대량의 감시 데이터를 수집·분석하기 전에 현지 법률 참조. 개인이 속한 사회적 범주를 예측하거나 개인의 안녕을 위협하는 방식으로 사용해서는 안 됨.
5. 기만 및 괴롭힘: 절도, 사기, 괴롭힘 등의 피해를 유발하지는 않는지, 공인을 사칭하여 정치적 영향을 미치거나, 혐오 발언 및 학대를 조장하지는 않는지 고려.
6. 환경: 화석 연료 사용을 촉진하거나 사회적 소비를 증가시켜 상당한 양의 온실가스를 배출하는 등 환경에 부정적인 영향을 미치지는 않는지 고려.
7. 인권: 프라이버시, 표현의 자유, 건강, 안보, 인격권, 양심 또는 종교의 자유 등 권리를 부정하는 데 사용될 수 있는 연구 결과물의 배포는 절대 권장하지 않음.
8. 편견과 공정성: AI 모델의 성능 또는 데이터셋에 편견 또는 한계가 있지는 않은지 고려. 특정 성별, 인종, 성 정체성 또는 기타 사회적 약자에 대한 편견을 강화하지는 않는지 확인.

유해성 완화

1. 데이터 및 모델 문서화: 데이터셋 또는 모델의 세부 사항을 문서로 구조화.
2. 데이터 및 모델 라이선스: 데이터셋 또는 모델의 오남용을 방지하기 위해 제한 사항을 포함한 라이센스 제공.
3. 개인정보보호: 개인정보보호 프로토콜, 암호화 및 익명화를 활용하여 데이터 유출 또는 도난 위험 최소화. 민감정보(예: 생체 인식 또는 의료 데이터)는 더 강력한 조치 필요.
4. 공개 책임성: 오용 위험이 높은 모델은 사용자가 행동 강령을 준수하도록 하는 등 통제된 환경에서 모델을 사용하도록 안전장치를 마련한 후 공개.
5. 연구 접근성: 연구 결과를 이해하는 데 필요한 정보(코드, 환경 버전, 가중치, 시스템의 하이퍼 파라미터 등)에 접근할 수 있도록 공개.
6. 재현을 위한 필수 요소 공개: 코드, 데이터, 모델 가중치 및 제안된 모델을 훈련하거나 결과 검증하는 데 필요한 계산 리소스 등 결과 재현에 충분한 정보 첨부.
7. 법률 준수: 지식재산권, 표현의 자유, 근로 및 교육권 신체적 자유 등 지역의 법률 요건 확인. 만약 법률이 오히려 인권 침해의 요소가 있는 경우, 연구자는 추가 자료 제출.

이 주의 인물 카드: 사샤 루치오니

by 🤖아침

윤리와 지속가능성을 중심으로 AI 모델, 데이터셋, 시스템의 환경·사회적 영향을 평가하는 연구자. 허깅페이스 소속.

AI의 환경 비용 측정하기

루치오니는 AI 모델의 탄소배출량을 측정하고, 배출량에 영향을 주는 요소를 파악하는 연구를 꾸준히 해오고 있음.

BLOOM 언어모델의 탄소배출량 예측한 논문(2022)에서, 학습 과정 중 이산화탄소 배출량을 25톤으로 계산 (GPT-3는 500톤으로 추정. 한국인 1인당 연간 배출량은 약 12톤)

• 학습뿐만 아니라 GPU 및 서버 생산에서 확인되는 탄소배출, 인프라 전력 소모, 에너지원별 전력 효율, API 배포 등까지 고려하면 BLOOM의 이산화탄소 배출량은 50톤
• 원자재 추출~폐기를 아우르는 제품의 전 생애주기에서, 관련 정보를 파악할 수 있는 장비생산-모델학습-모델배포 과정에 집중

2023년 논문에서는 유사한 방법론을 언어모델 말고도 다양한 종류의 모델에 적용하고, ‘에너지를 많이 사용하면 모델 성능이 개선되는가?’라는 질문을 던짐.
(🚨 스포일러 주의! 개선된다고 보기 어렵다)

더 읽어보기

🔗루치오니의 연구를 인용한 AI 모델 에너지 사용 관련 보도
🔗거대 데이터셋·시스템 편향 탐구: 스테이블 디퓨전 같은 텍스트 기반 이미지 생성 시스템에 구현된 사회적 편향을 양적으로 분석하는 연구 진행. 프롬프트에 따른 생성 이미지의 편향을 직접 탐색할 수 있는 툴 제작
🔗 '위험한 인공지능 연구를 중단하자'는 공개서한 반박: 미래 인공지능의 실패를 상상하기보다 현재 인공지능의 성공을 정의하는 것이 중요하며 입법, 감사(audit) 등을 통해 투명성과 책임을 확보할 필요성 강조
🔗 위에서 언급한 NeurIPS 윤리 가이드라인 제정을 공동으로 주도하기도 함!

#feedback

오늘 이야기 어떠셨나요?
여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.
남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.