낯선 관점에서 우리의 일상을 자세하게 관찰하는 법을 배운다면, 변화는 사소한 것으로도 촉발될 수 있다.

—마리 루티 (이현경 역), <가치 있는 삶>

독자와의 (아주 느린) 두번째 대화

새로운 보금자리에서 보내는 AI 윤리 레터 역시 항상 위와 같은 피드백 창구를 열어두고 있습니다. 지난주 이후에만 1주년과 웹사이트 오픈 축하 인사를 포함한 7개의 피드백을 받았어요! 하나하나 감사히 읽으면서 앞으로도 꾸준히 좋은 글로 보답해야겠다는 다짐을 해봅니다.

저번에 이어 1주년 기념으로 AI 윤리 레터 필진이 기억에 남는 피드백에 답장을 드리는 자리를 한번 더 가져봅니다 🙂

도덕적 아웃소싱 아주 흥미로운 개념입니다. 비단 AI가 아니더라도 도덕적 아웃소싱은 우리 사회의 만연한 문제인 것 같습니다. 한국 사회의 가장 큰 문제는 모럴 해저드입니다. 그런데 모럴 아웃소싱은 모럴 해저드만큼이나 문제입니다. 정말 나쁜 놈들이 모럴 아웃소싱을 하고서는 자기는 좋은 사람인 척 허허 웃기나 합니다. 결정과 책임과 권한을 떠넘기고 모럴 디시젼을 회피합니다. 손에 흙을 묻히는 일은 남이 다 해 줬으면 좋겠고 자기는 모른 척 하고 있다가 떡이나 먹겠다는 것입니다.

산업 현장 도처에서 모럴 아웃소싱이 발견됩니다. 이익만 누리고 의무와 책임과 결정은 아래쪽에 떠넘긴 다음에 그 아래쪽이 모럴 해저드를 택할 수 밖에 없게끔 만듭니다. 그러고 나선 이익도 자기가 갖고 도덕적 우위도 자기가 갖는 것입니다. 이제 인간들은 심지어 AI에게까지 모럴 아웃소싱을 합니다. AI는 불평도 하지 않고 도덕적으로 blame할 수도 없으니 모럴 아웃소싱하기 딱 좋습니다.

Re: 불만자 님께 (by 🤔어쪈)

• 🌏다솔님께서 소개해주신 루만 초드리(Rumman Chowdhury)의 ‘도덕적 아웃소싱 (moral outsourcing)’ 개념은 평소 제 문제의식과도 닿아있는데요. 논의에 앞서 거의 1년 가까이 지나서야 답장을 드리는 점 양해 부탁드립니다. (_ _)
• 도덕적 아웃소싱은 보통 도덕, 윤리에 대한 고려가 필요한 의사결정을 기계나 알고리즘, AI에 맡기고 책임을 회피하고자 하는 행위를 지칭합니다. 하지만 지적해주신 것과 같이 어떤 조직이나 사람이 다른 이에게 도덕적 아웃소싱을 하는 모습도 꽤나 익숙하죠. 사실 우리가 사회에서 생활함에 있어 대부분의 의사결정은 일정 부분 도덕적 함의를 갖고 있고, 다양한 종류의 거래와 계약이 그 책임을 전가하는 방식으로 이뤄집니다. 어쩌면 인간 사회에선 그게 너무나 당연하기 때문에 도덕적 아웃소싱이라는 표현에 AI가 내포된 것일 수 있겠다는 생각이 듭니다.
• 최근 짧게 다룬대로 요즘 AI 업계 키워드는 단연 AI ‘에이전트 (agent)’입니다. 오픈AI의 GPT-4o나 구글의 Gemini 및 프로젝트 Astra 데모 영상을 떠올려보세요. 갈수록 다재다능해지는 AI 기술은 우리로 하여금 AI 에이전트에 보다 많은 역할을 부여하고 의사결정과 행위에 대한 권한을 위임하는 상상을 하도록 만듭니다. 하지만 AI 에이전트가 대신 해주는 역할과 의사결정, 행위의 책임은 누가 져야 할까요? 누가 지게 될까요?

• AI 에이전트가 우리 사회에 깊숙이 들어올수록 도덕적 아웃소싱은 보다 빈번하게 일어날 것으로 보입니다. 불만자 님께서 말씀하신대로 AI 에이전트가 불평할 일이 없을테니까요. 하지만 도덕적인 책임을 돌릴 (blame) 수도 없으니 도덕적 아웃소싱을 하기 딱 좋다는 말은 모순적으로 들리기도 합니다. AI 에이전트를 탓할 수 없다면 누가 어떻게 책임을 회피할 수 있는 걸까요?
• 저는 바로 이 지점에서 도덕적 아웃소싱이라는 개념의 교훈을 얻을 수 있다고 생각합니다. 우리는 능력과 책임이 항상 함께 있다는(움직인다는?) 사실을 너무도 자연스럽게 받아들입니다. 하지만 AI의 능력에는 그 당연한 사실이 적용되지 않습니다. 요컨대 도덕적 아웃소싱은 우리의 착각에서 비롯해 이뤄집니다. 개념을 주창한 루만 초드리가 책임(responsibility)과 책무(accountability)에 주목한 이유도 같은 맥락이 아닐까요?

(피드백 서두에 많은 여성 AI 전문가를 추천해주셨으나, 공개를 원하지는 않으셔서 중략합니다.)

여성 AI 전문가는 한국에 많습니다. 그리고 그 분들에게는 문자 그대로 "시간"이 없습니다. 그 결과는? 아래와 같습니다. [인터넷거버넌스의 여성기술자 참여 증진을 위한 제도적 방안] 정말 많은 "여성" AI전문가들은 "행사"에 "불려가서" "시간외근무"를 강요당하는 것에 힘들어 합니다. 또 누군가는 유리천장을 느끼죠. 정말 잘 아는 전문가는 "내 분야가 아니야" 라면서 나서길 주저합니다.

(중략)

외로운 고민입니다. 우리는 어떻게 이런 훌륭한 여성 AI 전문가들에게 "대중성" 교육을 시켜드릴 수 있을까요. 그 분들께 희생과 부담을 강요하지 않으면서.

AI영역 뿐만 아니라 다양한 기술분야에 대해 한쪽 성별에 편향될 수 있다는 의견은 지속적으로 제기되어 왔고, 일정 부분 동의하고 있습니다.

하지만 본 아티클에서 아쉬웠던 점은 실제 업무에 투입되는 여성 인력이 부족함에도 불구하고 컨퍼런스 대표자로 할당해야 한다고 주장한 부분입니다.

(중략)

원론적으로 보면 여성 인력의 수가 적고 그렇기 때문에 그만큼 연설자 수도 적습니다. AI보다 큰 이공계 학과에 입학하는 여성의 수가 29.2%이고 그 중 일부만 AI를 전공합니다.

가치관과 개인의 경험의 차이겠지만, 저는 컨퍼런스에 여성 연설자가 많아지는 것보다 AI를 전공하는 여성의 수가 늘어나는 것이 인식개선의 효과가 더 크다고 생각합니다. 변화는 조금 더 느리지만 갈등이 더 적을 것 같기도 하구요. (닭이 먼저냐, 달걀이 먼저냐의 싸움일수도 있겠죠)

(후략)

Re: ㅂㄱㅎ님과 익명의 구독자 님께 (by 🎶 소소)

• 두 피드백 모두 좋은 지적이고 공감이 됩니다. 이렇게 젠더 편향이라는 주제에 대해 섬세하게 생각해주시는 윤리레터 독자분들이 계셔서 감사합니다.
• AI 컨퍼런스 내 여성 대표성을 담보하는 것이 여성 연구자들의 자기 희생에 기반하지 않으려면 어떻게 해야 할까요? AI 업계에 종사하는 저에게도 강연 요청이 참 많이 옵니다. 업무 주제와 관련 없이 소속만으로도 섭외 요청이 옵니다. AI를 키워드로 한 컨퍼런스/세미나/강연이 다양한 기관에서 비슷한 주제로 열립니다. 과장을 더하면 한 달에 수십 개도 넘는 것 같습니다. 몇 안 되는 여성 AI 연구자의 경우 더 많은 강의 요청을 받으시겠죠? 그들 모두 본업이 바쁜 가운데 많은 강연에 참석하기 쉽지 않을 것입니다. 힘들지만 어떤 사명감으로 임하는 강연도 있겠지요.
• AI 컨퍼런스의 여성 연사자보다 AI 전공 여성 수가 먼저 증가해야 한다는 독자님의 의견에도 공감합니다. 궁극적으로 AI 전공 여성 수가 많아진 후에 여성 연사자가 늘어나는 것이 이상적이겠지요. 그러나 우리에게 다른 차별이 없는 상황을 가정하며 바라는 미래이고, 지금과 같은 과도기에는 반대 방향의 개입도 필요하다는 생각입니다. AI 컨퍼런스에서 보이는 여성 연구자의 모습이 미래의 여성 AI 연구자를 늘리는 데도 중요한 역할을 하기 때문입니다.
• 한 편으로는 전공자가 아니어도 AI를 이야기하는 여성이 더 많아져야 한다는 생각도 듭니다. 이미 AI 분야 전공자가 아니지만, AI 전문가로 연단에 서는 남성은 참 많습니다. 나는 전문가가 아니라며 나서길 주저하는 여성이 많다는 점도 한 몫할테지요. 그러나 전공자나 전문가만 AI에 대해 이야기해야 한다는 법도 없습니다. 우리에게는 전문가의 이야기 뿐만 아니라 다양한 관점의 목소리가 필요하기 때문입니다. AI 윤리 레터가 존재하는 이유이기도 하지요. 윤리 레터가 앞으로도 다양한 분들이 목소리를 낼 수 있도록 응원하겠습니다.

(중략) AI 또는 기술과 관련된 용어를 정확하게 이해할 수 있도록, 용어 정의를 알 수 있는 링크 혹은 간략한 용어 정리 페이지가 뉴스레터에 포함될 수 있다면 좋겠습니다.

Re: 익명의 독자 님께 (by 🤖아침)

• 읽기를 돕고 공통의 이해를 만들어갈 수 있도록 용어를 해설하는 것, 중요한 일입니다. 말씀해주신 것처럼 종종 필요해 보이는 경우에 용어 설명을 덧붙이고자 합니다. 좀 더 욕심을 부려보자면, 주요 용어가 잘 정리된 목록이나 사전 같은 것도 만들어보고 싶고요.
• 적절한 용어 설명을 제시할 필요성에 공감하는 한편, 뉴스레터를 쓰는 입장에서는 생각보다 고민이 되는 작업이기도 한데요. 약간 TMI지만 몇 가지 이유가 있습니다.
  • 🦜AI 윤리 레터에서 어떤 용어(예를 들어 공학 개념이나 정책 개념)를 다시금 정의 및 설명할지의 판단: 가급적 읽기 쉬운 글이 좋지만, 동시에 이메일이 너무 길어지는 것은 피하려 합니다. 그래서 흔히 접하지 않는 용어 위주로 부연하고 있긴 하나 그것 역시 주관적인 판단이기 때문에 고민이 남습니다. 비슷한 맥락에서, 얼마나 자세하게 또는 쉽게 설명할지의 판단도 필요합니다.
  • 급변하는 분야에서 용어를 정리하는 일의 현실적인 어려움: 학문이자 산업으로서 AI는 변화가 잦습니다. 심지어 ‘AI’가 무엇을 가리키는지조차 끊임없이 달라지고요. 이런 조건에서 다양한 용어를 일관된 방식으로 설명하기, 예전의 용례와 최근의 용례를 연결하기, 개념을 둘러싼 맥락이 달라질 경우 설명을 갱신하기 등 실행 차원에서의 고려사항이 있습니다. 하지만 바로 이처럼 변화가 많기 때문에 더욱더 적극적인 설명 작업이 필요하다는 말도 돼서, 진퇴양난이네요 😅
  • 적절한 외부 자료의 부족: 외부 설명을 링크하는 것도 좋겠지만 한국어로 된 적당한 자료가 매번 있는 것은 아닙니다. 있어도 너무 난해하거나 사용하기 불편한 경우도 있고요. 굳이 참조한다면 위키백과나, 여러 출처를 모아 검색할 수 있는 네이버 지식백과 같은 것을 고려할 수 있겠습니다. 한국정보통신기술협회의 정보통신용어사전은 연관용어 그래프를 제공하기도 합니다.

• 여러 가지 핑계를 얘기했지만, 보다 친절하고 체계적으로 이해를 돕는 자료를 만들고 싶은 마음은 아주 강하게 있습니다. 좋은 아이디어 있으면 제안해주세요.
• 무엇보다, 가장 손쉬운 방법이 있어요! (저희가 별다른 링크/해설을 먼저 제공하지 않더라도) 궁금한 특정 개념, 내용에 관해 질문을 남겨주시면 가능한 선에서 답변드리도록 노력하겠습니다. 독자가 궁금해하는 지점을 알면 저희에게도 도움이 되니 어렵게 생각하지 말고 연락 주세요.

"AI Alignment"라는 개념은 OpenAI 가 만든 개념어는 아닌 거 같아요. (참고) PPO, RLHF 정도는 OpenAI 가 만들었다고 해도 괜찮겠지만 AI Alignment 는 약간... <행성이라는 개념은 MIT 생명공학과에서 만들었다>처럼 느껴지는 거 같아요.

Re: ㅂㄱㅎ 님께 (by 🧙‍♂️텍스)

• 제가 쓴 글에 대한 첫번째 피드백을 주신 분입니다~! 감사합니다.
• 오픈AI가 AI 정렬(alignment)란 개념을 유행시켰다가 조금 더 명확한 표현으로 보입니다.
• 오픈AI의 InstructGPT 논문에서는 딥마인드(Leike et el., 2018) 및 앤트로픽(Askell et al., 2021)의 에이전트 정렬 (Agent Alignment) 연구를 언급하며 GPT3의 정렬을 수행하기 위해서 기존 연구들(Christiano et al., 2017; Stiennon et al., 2020)에서 제안한 Reinforcement Learning From Human Feedback (RLHF)를 수행하였다고 이야기했습니다.
• 오픈AI의 기존 연구 성과를 보면 직접적으로 핵심 연구를 주도했다기 보다는 AI 분야의 연구 성과를 실제 프로덕트로 이끌어내는데 유능했습니다.
• 다만, 과거에는 프로젝트의 정보를 다양한 형태로 공개했던 오픈AI가 이제는 Closed AI가 되어서 아무 정보도 공개하지 않는다는 점에서 연구자로서 언제나 아쉬운 마음이 듭니다.

#feedback

오늘 이야기 어떠셨나요?
여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.
남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.