안전/위험

인류 복지에 이바지하고 있는 AI?

장밋빛 미래를 약속하는 AI 시대에 인간이 해야할 일은 무엇일까요?

🎶소소

2024년 10월 14일 — 10 min read

A Connected World, V&A Museum, London (직접 촬영)

인간은 무엇인가. 인간이 무엇이지 않기 위해 우리는 무엇을 해야 하는가.
—한강, <소년이 온다>

AI 윤리 뉴스 브리프

2024년 10월 셋째 주
by 🎶소소

목차
1. 노벨 물리학상, 화학상을 휩쓴 AI 연구자들의 경고
2. 앤쓰로픽이 말하는 자애로운 은혜의 기계, AI
3. AI 기업의 AI 안전 연구 현황
4. 지속가능한 AI를 위한 OECD의 지적

💌 AI 윤리 레터 응원하러 가기 💌

📆

소식
📢 AI 윤리 교육 자료집 제작 캠페인: 기술의 이면을 보는 힘

AI 윤리 레터와 빠띠가 공동주최한 "딥페이크 성범죄, 우리가 함께 할 수 있는 일을 찾아서 (feat. 캠페이너 인생게임)" 행사 관련 후속 소식을 전해드립니다.

AI 기술을 비판할 수 있는 권리를 위해, 기술과 사회의 관계를 함께 고민하는 AI 윤리 교육을 위한 자료집 제작을 위해 서명을 받는 캠페인을 개설했는데요.

교육 자료가 보다 적극적으로 활용될 수 있도록 1000명의 지지 서명을 구하고 있습니다. 딥페이크 성착취물 문제를 비롯한 AI 윤리 문제가 교육 현장에서 보다 활발히 논의될 수 있도록 주변에 널리 알려주세요.

AI 윤리 교육 자료는 2024년 12월 중 캠페인 서명 참여자들에게 이메일로 전달 예정입니다. 관련 소식을 받아보실 분은 링크의 “서명하기”에 참여해주세요. 감사합니다.

1. 노벨 물리학상, 화학상을 휩쓴 AI 연구자들의 경고

올해의 노벨 물리학상, 화학상을 AI 관련 연구자들이 휩쓸었습니다. 노벨 물리학상은 AI의 기초를 확립한 딥러닝과 신경망을 개발한 제프리 힌턴, 존 홉필드를 선정했습니다. 노벨 화학상은 단백질 구조를 파악하고 예측하는 AI 모델 알파폴드를 개발한 데미스 허사비스와 존 점퍼 박사 등에게 돌아갔습니다. AI 분야 종사자로서 기쁜 마음도 있었지만, 세상이 너무 AI를 중심으로 돌아가고 있는 게 아닌가 하는 생각에 혼란스럽기도 했습니다.

노벨상 수상자들은 AI가 매우 유용한 도구임을 이야기하면서도, AI를 옳은 방향으로 써야 한다는 것을 강조했습니다. 특히 힌턴 교수는 수상 직후 인터뷰에서도 AI가 통제 불능 상태가 될 수 있는 위협에 대처하기 위한 방법을 연구해야 한다고 당부했는데요. 그가 말하는 미래 AI 위협이 과도한 불안감을 조성하여 오히려 저작권 침해, 저임금 노동 착취 등 현재의 문제를 과소평가한다는 비판도 받지만, 힌턴은 작년 5월 구글을 떠난 이후 계속해서 AI 위협에 대해 경고하고 있습니다.
이들의 경고는 노벨상의 창립자인 노벨을 떠올리게 합니다. 노벨이 개발한 안전하게 터지는 폭탄인 다이너마이트는 터널, 광산, 댐 같은 시설 건축에 유용했지만, 동시에 많은 인간을 빠르게 죽이는 전쟁 무기가 되었습니다. 이에 절망한 노벨은 다이너마이트로 축적한 재산으로 인류 복지에 이바지한 사람에게 주는 노벨상을 만들 것을 유언하고 세상을 떠났습니다. 어쩐지 노벨과 힌턴이 같은 생각을 하고 있다는 생각이 드네요.

2. 앤쓰로픽이 말하는 자애로운 은혜의 기계, AI

노벨 수상자 이야기로 들썩거리는 동안 앤쓰로픽(Anthropic)의 CEO 다리오 아모데이(Dario Amodei)가 AI가 앞으로 세상을 어떻게 변화시킬지에 관한 장문의 글을 썼습니다. 글 제목은 “자애로운 은혜의 기계(Machines of Loving Grace)”입니다. 앞으로 10년 이내에 등장할 강력한 AI가 생물학과 건강, 신경과학과 마음, 경제 발전과 빈곤, 평화와 거버넌스, 일과 의미에 미칠 긍정적 영향과 변화에 대한 이야기입니다.

다리오 아모데이의 블로그 “Machines of Loving Grace” 도입부 갈무리

저는 이 글의 도입부에서 다리오 아모데이 자신이 AI를 바라보는 성향을 해명(?)하는 대목이 참 흥미로웠습니다. 사람들이 자신을 AI 비관론자 혹은 멸망론자(Doomer)로 보는데, 사실 본인은 AI를 긍정적으로 보기 때문에 위험에 관해서도 이야기하는 것이라고 말합니다. 저는 한 번도 그가 AI 비관론자라고 생각해 본 적은 없습니다. 앤쓰로픽은 “안전한 AI”를 강조하지만, 결국 AI를 개발하고 활용하며 돈을 벌고, 엄청난 투자를 받는 기업이기 때문입니다. 그가 얼마나 많은 AI 낙관론자에게 둘러싸여 있는지를 생각해 보게 하는 대목이었습니다.
이 글은 오픈AI CEO 샘 올트먼이 쓴 글 “지능의 시대”를 떠오르게 합니다. 이 글에서 AI로 만드는 마법 같은 미래에 관해 이야기하고 얼마 지나지 않아 오픈AI는 66억 달러(약 8조 8,000억 원) 투자 유치 소식을 발표했는데요. 모두에게 열린 AI를 연구하는 비영리 기관으로 시작한 오픈AI는 단계적으로 완전한 영리 기업이 되어가고 있습니다. 다리오 아모데이가 머지않았다고 말하는 은혜로운 기계에도 조만간 투자 소식이 들려올 일만 남은 건 아닐까요?

3. AI 기업의 AI 안전 연구 현황

그렇다면 오픈AI, 앤쓰로픽, 구글은 AI의 안전한 활용을 위해 어떤 연구를 하고 있을까요? IAPS(Institute for AI Policy and Strategy)에서 세 기업의 AI 안전 연구 현황을 정리했습니다. 2022년 1월부터 2024년 7월까지 3개 기업이 발표한 AI 안전 관련 연구 논문 80편을 분류해보니 집중 연구 분야를 확인할 수 있었습니다.

오픈AI, 앤쓰로픽, 구글 딥마인드 3개 기업이 발표한 AI 안전 관련 연구 논문 분류('22.1월~'24.7, 80편)Mapping Technical Safety Research at AI Companies, IAPS

연구 비중은 인간 선호 반영(Enhancing human feedback, 39%), 설명가능성(Mechanistic interpretability, 24%), 견고성(Robustness, 13%), 위험 평가(Safety evaluation, 11%) 순입니다. 대부분 현재의 AI 서비스의 평가 및 성능 향상과 크게 관련 있는 연구로 보입니다.
그러나 장밋빛 미래를 만들어 줄 강력한 AI가 의도대로 작동하지 않을 때 피해를 줄일 수 있는 관련 연구는 거의 이뤄지지 않고 있습니다. 오정렬(misalignment), 다중 에이전트 안전성(multi-agent safety), 신뢰할 수 없는 AI 관리(Controlling untrusted AIs) 관련 연구는 0건에 가깝습니다. 일부 연구는 여러 이유로 공개되지 않았을 수 있겠지만요. 아름다운 AI 이야기가 비극으로 끝나지 않기 위해서는 앞으로 어떤 AI 연구가 필요한지 살펴보는 것도 우리의 역할일 수 있겠습니다.

4. 지속가능한 AI를 위한 OECD의 지적

AI 기업들은 AI가 기후 위기를 해결하고, 지속가능성을 만들어줄 것이라 자신합니다. 미래를 확신할 수는 없지만, 현재 분명한 것은 AI 개발과 활용에 엄청난 전기와 에너지가 사용되고 있다는 사실입니다. OECD는 데이터와 AI 규모 확장 추세에 따라 에너지 소비는 악화할 가능성이 높음을 지적했습니다. AI 학습 효율이 좋아지고 있다지만, 그 속도보다 에너지 사용량은 더 빠르게 늘고 있습니다.
2022년에 발간된 ‘AI가 환경에 미치는 영향’ 보고서는 AI에 사용되는 에너지와 자원 사용량을 측정하는 표준의 필요성을 제안합니다. 그러나 AI가 환경에 미치는 영향에 대한 연구는 AI 기술 발전 속도와 비교하면 거의 진전이 없는 셈입니다. 여전히 AI가 환경에 미치는 영향을 측정할 수 있는 데이터와 명확한 지표가 부족합니다. 지금과 같은 상황에서는 기업도 정부도 정보에 입각한 결정을 내리기 어렵습니다.

🦜

더 읽어보기
- 우리 회사 AI는 에너지 1등급일까? (2024-05-23)