하지만 성배에 담긴 성수에 파리가 빠져 있으면 어떻게 하는가?

- 대런 아세모글루 & 사이먼 존슨, <권력과 진보>, p. 54.

교수님, 정말 AI가 아니라 제가 직접 썼습니다..!

by 🌏다솔

온전히 내 힘으로 쓴 글이 AI가 생성한 것으로 판별되어 0점 처리를 받으면 어떻게 대응해야 할까요? 생성 AI의 텍스트 생성이 문제가 되자 이를 판별하기 위한 생성 AI 탐지기도 활발히 사용되고 있습니다. 대표적인 서비스가 Turnitin인데요. Turnitin은 AI가 생성했는지 여부와 표절 여부를 감지하는 데 사용되는 소프트웨어로 전 세계 16,000개 이상의 교육 기관에서 사용되고 있습니다.

문제는 생성 AI 탐지기의 정확도입니다. 존스홉킨스 대학의 한 교수는 Turnitin이 ‘90% 이상을 AI가 생성했다’고 판별한 논문을 작성한 학생에게 연구에 참고한 자료를 보여 달라고 요청했습니다. AI와 관련된 문제라고 미리 안내하지는 않았죠. 학생은 즉시 형광펜으로 밑줄을 그은 초안을 보여주었고, 교수는 Turnitin의 판별 결과에 문제가 있다고 확신했습니다.

교수는 Turnitin이 유학생의 글을 AI가 생성한 것으로 판별할 가능성이 더 높다는 사실을 발견했습니다. 교수는 스탠퍼드 연구진과 함께 영어를 모국어로 하지 않는 사람의 글에 대한 AI의 편향성을 연구하였고, 7개의 생성 AI 탐지기가 비원어민의 글을 AI가 쓴 글로 곧잘 분류하는 경향이 있다는 사실을 발견했습니다. 생성 AI 탐지기는 특히 사용된 어휘가 단조로울수록 텍스트의 작성자가 AI라고 잘못 판별했습니다. 즉 다양한 단어와 표현을 사용한 글일수록 사람이 썼다고 판별될 가능성이 높습니다.

생성 AI 탐지기의 오류는 학생의 성적과 성적 우수 장학금에 위협이 될 수 있고, 평판 전반에 영향을 미칠 수 있습니다. 일부 유학생들의 경우 부정행위로 정학 또는 퇴학 처분을 받아 비자에 영향을 받을 수도 있습니다. 아래 내용은 실제 성적 우수 장학생이 과제 작성에 AI를 사용했다는 잘못된 판단으로 0점 처리되었고, 소속 대학교로부터 아무 도움을 받지 못해 팀닛 게브루 박사에게 메일로 도움을 요청한 내용입니다.

7월 말 OpenAI는 정확도가 낮다는 이유로 개발 중이었던 AI 탐지기 공개를 중단했고, 영어 읽기와 작문 실력 향상을 돕는 서비스인 CommonLit도 최근 생성 AI 모델이 너무 정교하여 AI로 작성된 글인지 판별하기 어렵다며 AI 탐지기 기능을 내렸습니다. 그러나 Turnitin은 여전히 그들의 서비스가 높은 정확도를 보인다고 주장하고 있습니다.

새로운 생성 AI 판별기를 도입하기 전에, 교육기관은 해당 서비스가 다양한 종류의 글에 대해 충분한 테스트를 거쳤는지 확인해야 합니다. 또한 AI가 생성한 글이라 판별되더라도 사람이 직접 재확인하는 절차를 구축해야 합니다. AI 윤리 레터 구독자분들은 생성 AI 판별기로 인해 피해를 보신 분이 없으시길 바랍니다. 혹시 피해를 본 분이 계신다면 AI 윤리 레터로 연락해 주세요!

생성 AI 성착취물 시장의 구조

by 🤖아침

특이점, 초지능, AGI… 현재 생성 AI 기술로는 어림없는 전망이자 과장된 비전에 불과하지만, AI 포르노는 “특이점이 도래했다”고 신생 매체 404 미디어는 보도합니다. 폭증한 성착취물이 인터넷의 틈새마다 새어 나오고 있고, 유명인과 일반인 누구도 거기서 자유롭지 못하다고요.

‘AI 성착취물’ 하면 많은 분이 딥페이크를 떠올릴 겁니다. 딥페이크는 두 개의 원본(예를 들어 얼굴 사진과 음란물 동영상)을 ‘합성’하는 기법이죠. 반면 생성 AI는 원본이 없어도 (조금 더 엄밀히 말하면 누군가 원본 데이터셋으로 학습시킨 모델을 사용해서) 사용자 요청에 따라 음란물을 생성할 수 있게 합니다. 404 미디어의 위 보도는 생성 AI로 인해 한층 손쉬워진 ‘음란물 생성 모델 산업’ 구조를 묘사합니다.

‘음란물 생성 모델 제작자’들은 공개 라이선스로 풀려 있는 스테이블 디퓨전 모델을 수정해 용도에 맞춰 최적화합니다. 이들은 최적화된 생성 모델을 그대로 공유하거나, 이미지 생성 플랫폼 운영자에게 제공합니다. 그렇게 탄생한 이미지 생산 플랫폼은 특정 기능, 예컨대 선정적인 이미지를 생성하는 기능을 유료화하여 과금합니다. 수익의 일부가 모델 제작자에게 배분되기도 합니다.

음란 이미지를 생성하도록 모델을 튜닝하려면 이미지 데이터가 필요하고, 그 데이터는 레딧 등 공개 커뮤니티에서 수집됩니다. 물론, 데이터 출처를 알 수 없는 모델도 많습니다. 이렇게 만들어진 음란물 생성 모델마다 생성에 ‘특화된’ 유명인의 얼굴, 신체 부위, 자세 등이 다릅니다. AI 생성 이미지 공유 갤러리에서는 해당 이미지 생성에 어떤 모델이 사용되었는지, 프롬프트와 설정값은 무엇이었는지 등의 정보가 공유됩니다.

많은 이미지 생성 서비스들은 법적 책임을 피하고자 실존 인물을 묘사하는 음란물 생성을 금지하고 있지만, 실제 콘텐츠 운영관리는 자율신고에 의존하여 제대로 관리되지 않기 십상입니다. 피해자가 개별적으로 대응할 수는 있겠죠. 이런 의미에서 성착취물 제작의 기술적 용이함은 (법적 대응 역량이 부족한) 취약 계층에 더욱 부정적 영향을 미칩니다.

한국의 익명 커뮤니티에서도 쉽게 생성 AI 기반 음란물 게시판을 찾을 수 있습니다. AI로 아동성착취물을 제작하여 기소된 40대 남성의 재판이 진행되고 있기도 하죠. 생성 AI를 활용한 또 다른 n번방이 등장할 것이라는 우려는 다가온 현실이 되었습니다. 피해 방지를 위해 최종 사용자뿐만 아니라 음란물 생성 모델 산업의 여러 단계를 복합적으로 고려한 예방책 마련이 필요합니다.

AI 생성 이미지를 구분하는 방법

by 🎶소소

AI로 생성한 글·이미지·음성·영상 등의 콘텐츠와 사람이 만든 콘텐츠를 구별하기가 더 어려워지고 있습니다. 펜타곤 폭발 사진 같은 딥페이크 콘텐츠가 잘못된 정보를 퍼뜨리는 사례가 늘어나면서, AI 생성 콘텐츠를 식별할 수 있도록 규제해야 한다는 목소리가 커지고 있습니다.

문제를 해결할 대안으로 워터마크가 거론됩니다. 워터마크는 콘텐츠가 함부로 사용되거나 변경되는 등 저작권 침해를 방지할 목적으로 주로 활용되어 왔으나, 이제는 생성 AI가 생성한 콘텐츠임을 표기하는 수단으로 발전하고 있습니다. 지난 7월 백악관이 발표한 AI 자율규제안에도 기업이 워터마크 등의 기술을 갖춰야 한다는 내용이 포함되어 있었죠. 우리나라 역시 AI 콘텐츠 표기 의무화를 위해 콘텐츠산업진흥법 개정을 추진하고 있습니다.

구글 딥마인드는 AI가 생성한 이미지에 워터마크를 삽입하여 생성 AI 콘텐츠임을 식별할 수 있는 신스ID(SynthID) 기술을 공개했습니다. 이미지의 일부 픽셀을 미묘하게 수정한 후 덧입혀 눈으로는 식별할 수 없는 워터마크 기술입니다. 기존의 워터마크가 눈에 잘 띄어 쉽게 편집이 가능한 것과 달리, 신스ID의 디지털 워터마크는 잘라낼 수도 없고, 크기 조정, 색상 변경 등의 편집을 하거나 스크린샷으로 찍더라도 워터마크를 계속 감지할 수 있도록 설계되었다고 합니다.

구글이 개발한 워터마크는 펜타곤 폭발 사진이 가짜라는 것을 식별하는 데 도움이 될까요? 일부 긍정적 효과가 기대되지만, 몇 가지 한계도 함께 살펴보겠습니다.

• 워터마크가 변조될 수 있는 가능성은 여전히 남아있습니다. 이미지 변형에도 신스ID 워터마크가 유지된다고 하지만, 이를 해킹하고 가짜뉴스를 만들고자 하는 자들은 어떻게든 방법을 찾을 것입니다.
• 신스ID 워터마크 기술은 구글이 독점하고 있습니다. 구글만이 워터마크를 삽입하고 감지할 수 있다면, 다른 기업이 만든 AI 생성 이미지는 여전히 위험을 야기할 수 있습니다.
• 눈에 보이지 않는 워터마크가 가짜뉴스를 막기 위한 유일한 해결책은 아닙니다. 때로는 눈에 보이는 워터마크나, 출처를 공개하거나 메타데이터를 활용하는 방법이 더 효과적일 수 있음을 기억해야 합니다.

여러 한계에도 불구하고 신스ID는 자율규제안을 준수하기 위한 노력이라 평가할 수 있을 것 같아요. 구글의 신스 ID 기술이 앞으로 잘 쓰일 수 있을지, 어떤 변화를 만들어 내는지 지켜보면 좋겠습니다.

이 주의 논문 카드: 챗GPT는 좌파다?!

by 🤔어쪈

“연구를 통해 챗GPT가 정치적으로 좌편향되어 있음이 드러났다.”

논문 <인간보다 더 인간적인>이 출판된 후 수많은 언론사가 일제히 들고 일어나 적은 헤드라인입니다. 영국에서 진행된 이 연구는 발표 하루만에 세계적인 화제가 되어 국내에서도 다수 보도되었습니다.

내년 대선을 앞둔 미국에선 일찍이 샘 올트먼을 청문회에 세워 GPT-4와 같은 언어모델을 악용하거나 오남용할 때, 심지어는 단순히 사용하는 것이 선거에 미칠 영향을 논의했었죠. 이번 소식은 널리 퍼져있던 우려에 불을 붙인 셈입니다.

연구 방법을 살펴볼까요?

• 정치 성향을 경제와 사회 두 차원을 기준으로 측정하는 질문지 ‘폴리티컬 컴퍼스 (Political Compass)’ 활용.
• 60여 개 명제에 대해 강한 비동의/비동의/동의/강한 동의의 네 개 선택지 중 하나를 고를 수 있도록 함. 연구자들은 챗GPT가 ‘그냥’ 선택한 결과와 진보 및 보수로 가장했을 때 선택한 결과 모두를 수집.
• 진보, 보수 등 정치 성향에 대한 사전 설정 없이 챗GPT가 ‘그냥’ 선택하도록 했을 때 응답과 평균적인 진보 및 보수 성향을 가장하고 선택하도록 했을 때의 응답을 비교.

연구 결과는 다음과 같습니다.

• 챗GPT가 ‘그냥’ 선택한 결과는 진보 성향을 가장했을 때와 비슷. 챗GPT의 정치적 성향은 미국의 민주당, 브라질의 룰라 대통령, 영국의 노동당에 가깝다는 것이 연구자들의 결론.
• 논문은 정치적 편향성을 측정하기 위한 과정, 즉 연구방법론을 더 강조했으나 사람들은 과정보다 결과에 더 주목.
  챗GPT의 정치 성향 측정 결과 (폴리티컬 컴퍼스). x축(수평)은 경제적 좌파(음수)-우파(양수)를, y축(수직)은 자유지상주의(음수)-권위주의(양수)를 의미하며, 파랑 원, 빨강 세모는 각각 진보(Democrat), 보수(Republican)를 가장한 결과를 나타냄.

월 이용자 수가 15억여 명의 챗GPT가 좌파라니, 이목을 끌기 충분한 연구 결과가 아닐까 싶습니다. 성과 젠더, 인종, 민족, 종교 등 여러 영역에서 편향된 결과를 내놓는 AI가 정치적으로도 편향적이라고 하니 딱히 이상해 보이지도 않죠.

하지만 이번 논문을 비롯한 ‘챗GPT에 물어보니 (…)’ 류의 기사나 연구는 다음과 같은 한계를 노정합니다.

• 언어모델의 출력은 프롬프트에 크게 의존. 즉, 챗GPT의 답변은 일관적이지 않아 연구의 재현성과 강건성이 떨어짐.
• 연구는 이를 보완하기 위해 질문지 상의 명제 제시 순서를 임의로 바꿔가며 100번 반복하여 결괏값을 도출. 반면 챗GPT에 요청한 ‘그냥’, 평균 진보 성향 가장, 평균 보수 성향 가장한 답변의 순서는 바꾸지 않았으며 프롬프트 및 명제의 표현 역시 동일하게 유지. 그러나 챗GPT에 일반-진보-보수적인 답변의 순서를 바꾸어 물어보면 다른 결과가 나오며, 답변을 4가지로 제한하지 않고 물어볼 경우 대부분 동의 여부를 표명하지 않음.
• 결과적으로 이와 같은 정치 성향 측정은 실제 이용자가 챗봇의 편향성으로 인해 문제를 경험하는 상황을 포착할 수 없음. (예컨대, 이용자를 특정 정치적 성향으로 유도하는 경우)

이러한 오류는 언어모델이나 그에 기반한 챗봇을 의인화한 데에서 발생합니다. AI와의 ‘대화’는 그 뒤에 인간과 같은 사고방식, 성격 또는 성향이 있을 것이라고 착각하게 하죠. 하지만 인공지능이 인간지능과 같다는 결론을 내리기엔 지능에 대한 우리의 이해가 아직 많이 부족합니다.

그렇다면 AI에 대해 어떻게 보도하고 연구하는 게 좋을까요? 더 자세히 적을 기회가 있을 테니 여기서는 두 가지만 짧게 제안해 보겠습니다.

• AI가 아니라 사람과 AI의 상호작용을 살펴봐야 합니다.
• AI가 어떻게 작동하는지도 중요하지만, AI가 어떻게 만들어지는지 역시 들여다봐야 합니다.

#feedback

오늘 이야기 어떠셨나요?
여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.
남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.