현재, AI 시스템의 통제권을 유지하는 문제를 고민하는 정부나 다른 기관에 제시할 수 있는 실행 가능한 권고안 같은 것은 전혀 없다. "AI 시스템은 안전하고 제어 가능해야 한다" 같은 법률 조항은 아무런 무게도 지니지 않을 것이다. 이런 용어들은 아직 정확한 의미를 지니고 있지 않을뿐더라, 안정성과 통제 가능성을 확보할 널리 알려진 공학적 방법론도 아직 없기 때문이다.
—스튜어트 러셀, 이한음 역, <어떻게 인간과 공존하는 인공지능을 만들 것인가>

다시 통제 가능성을 생각하며

by 🧙‍♂️텍스

최근 앤트로픽은 국방부가 군사 작전에 클로드를 활용하는 것에는 폭넓게 협력하면서도, 클로드가 오퍼레이터의 허가 없이 자율적으로 상황을 결정하는 것은 허용할 수 없다는 조건을 끝까지 고수하며 국방부의 요구를 거절했습니다. 오픈AI와 구글이 군사 사용 제한 조항을 조용히 삭제하며 정부 요구에 응한 것과 달리, 앤트로픽은 자동화된 의사결정만큼은 여전히 거부하고 있습니다. 이 사건을 이해하려면 AI의 통제 가능성을 둘러싼 지난 10여 년간의 복잡한 역사를 살펴볼 필요가 있습니다.

인공지능의 통제 가능성에 대한 논쟁에 불을 지핀 것은 2014년 닉 보스트롬의 슈퍼인텔리전스(Superintelligence)였습니다. 이 책은 AI가 인간의 목표와 어긋난 방향으로 작동할 경우 이를 멈출 수 있는 장치, 이른바 킬스위치(Kill Switch)와 통제 문제의 필요성을 정면으로 제기하며 전 세계적인 논쟁을 불러일으키며 뉴욕타임스 베스트셀러에도 올랐습니다. 당시 일론 머스크는 AI가 핵무기보다 더 위험할 수 있다는 보스트롬의 주장에 동의한다고 밝혔고, 샘 올트먼은 이 책이 AI 위험에 관해 읽은 것 중 최고라고 평가했습니다. 이러한 문제의식을 공유한 이들이 이듬해인 2015년 공동으로 오픈AI를 설립했으며, AI가 잘못 설계되거나 사용될 경우 사회에 얼마나 큰 피해를 줄 수 있는지를 창립의 핵심 동기로 명시했습니다.

그러나 오픈AI의 내부는 설립 초기부터 순탄하지 않았습니다. 2016년 구글 딥마인드의 알파고가 바둑 세계 챔피언을 꺾으며 구글이 AI 분야의 절대적 선두임을 세상에 각인시켰고, 이듬해인 2017년에는 구글 연구팀이 트랜스포머 아키텍처를 발표했습니다. 트랜스포머는 모델의 크기, 데이터, 계산량을 늘릴수록 성능이 지속적으로 향상된다는 스케일링 법칙(Scaling Law)의 기술적 토대를 마련했으며, 오늘날 전 세계를 휩쓸고 있는 GPU 데이터센터 투자 광풍의 근본적인 배경이 되었습니다. 트랜스포머 아키텍쳐의 등장은 천문학적인 컴퓨팅 자원을 확보한 빅테크인 구글과 그렇지 못한 스타트업인 오픈AI 사이의 격차가 더욱 벌어질 수 있음을 의미했습니다. 오픈AI의 공개한 내용에 따르면 일론 머스크는 오픈AI의 비영리 구조로는 이 격차를 절대 좁힐 수 없다고 판단했고, 2018년 자신이 직접 조직을 장악해 이끌겠다고 제안했다고 합니다. 나아가 오픈AI를 아예 테슬라에 합병하자는 안까지 꺼냈지만, 샘 올트먼을 비롯한 공동 창립자들은 어느 한 개인이 오픈AI를 완전히 통제하는 구조는 창립 취지에 어긋난다며 이를 거부했습니다. 일론 머스크는 2018년 오픈AI 이사회를 떠나며 오픈AI의 성공 가능성이 없다고 선언했습니다.

이후 오픈AI 운영의 실질적인 방향은 샘 올트먼에게 넘어갔습니다. AGI(인공일반지능)라는 개념은 AI 연구자 커뮤니티 안에서 오랫동안 논의되어 온 것이었지만, 주류 기술 업계에서는 언급되던 키워드는 아닙니다. 이를 유통시킨 것은 오픈AI입니다. 오픈AI는 2019년 영리 법인으로 전환하며 마이크로소프트로부터 대규모 투자를 유치하면서 "AGI가 인류에 이익이 되도록(ensure that artificial general intelligence benefits all of humanity)"를 공식 미션으로 재정립하며 AGI를 조직의 중심 목표로 전면에 내세웠습니다. 흥미롭게도 이 과정에서 보스트롬이 촉발했던 두 개의 흐름, 즉 통제 가능성이라는 두려움과 초지능이라는 가능성은 샘 올트먼의 손을 거치며 전혀 다른 방향으로 재해석되었습니다. 두려움의 대상이었던 초지능은 AGI라는 이름으로 세상의 모든 문제를 해결할 수 있는 무한긍정의 목표로 탈바꿈했고, 통제 가능성에 대한 질문은 AI 정렬(Alignment)이라는 세련된 언어로 포장되어 챗GPT의 브랜드 내부로 편입되었습니다. 그러나 AGI 경쟁이 가속화될수록 AI 정렬 연구는 점점 뒷전으로 밀렸고, 정렬이라는 단어는 홍보에 더 가까운 용어가 되어갔다는 비판이 뒤따랐습니다. 챗GPT의 흥행과 함께 AGI는 산업 전체를 관통하는 트렌드가 되었고, 누가 먼저 AGI를 만드느냐는 경쟁 프레임은 산업계 뿐만 국가 간의 대결 구도까지 이르게 되었습니다.

이러한 변화는 내부 갈등을 낳았고 결국 조직의 분열로 이어졌습니다. 오픈AI의 핵심 AI 안전 연구자였던 아모데이 남매는 조직이 상업화와 성능 경쟁에 무게를 싣는 방향으로 흘러가는 것에 깊은 우려를 품었고, 2021년 동료 연구자들과 함께 오픈AI를 떠나 앤트로픽을 설립했습니다. 앤트로픽은 처음부터 AI 안전 연구를 회사의 핵심 미션으로 삼았으며, AI가 충분히 강력해지기 전에 그것을 이해하고 통제하는 방법을 찾겠다는 원칙을 조직의 근간에 두었습니다. 그리고 이러한 내부의 균열이 단순한 개인적 견해 차이가 아니었음은 2023년 11월의 오픈AI 이사회 샘 올트먼 해임 사건이 보여주었습니다. 오픈AI 이사회는 안전보다 상업화를 밀어붙인다는 우려를 이유로 샘 올트먼을 전격 해임했지만, 그는 불과 닷새 만에 복귀했고 오히려 안전을 중시하던 이사진이 대거 교체되며 상황은 완전히 역전되었습니다. 이 사태의 한복판에 있었던 인물 중 하나가 바로 오픈AI의 공동 창립자이자 수석 과학자였던 일리야 수츠케버입니다. 샘 올트먼 해임에 찬성표를 던졌던 그는 이후 복잡한 내부 상황 속에서 결국 2024년 오픈AI를 떠났고, 그해 Safe Superintelligence(SSI)를 설립했습니다. SSI는 오직 안전한 초지능 개발이라는 단 하나의 목표에만 집중하겠다는 것을 내세웠는데, 이는 어찌보면 상업화 이전 오픈AI가 내걸었던 최초의 창립 정신으로 돌아가겠다는 선언이기도 했습니다. 결국 오픈AI 창립의 근간이었던 AI 안전이라는 가치는 아이러니하게도 오픈AI를 떠난 사람들이 더 지키고 있는 상황입니다.

반면, AGI를 기치로 내걸며 모든 문제를 풀 수 있을 것처럼 주장했던 오픈AI는 이미지, 비디오, 다양한 애플리케이션 등 여러 분야로 영역을 넓혔지만, 처음 챗GPT가 세상에 던졌던 것과 같은 수준의 임팩트를 다시 만들어내지는 못하고 있습니다. 챗GPT의 등장에 자신들의 핵심 비즈니스 모델이 송두리째 흔들릴 수 있다며 내부에 코드 레드까지 발령했던 구글은, 결국 자신들이 원래 걷던 길로 돌아와 제미나이를 통해 1인자 자리를 되찾는 모습을 보이고 있습니다. 반면 언어와 안전에 집중하며 B2B에 집중했던 앤트로픽은, 국방부와 협력하면서도 자동화된 의사결정만큼은 끝까지 거부하는 방식으로 존재감을 입증하고 있습니다.

이 같은 앤트로픽의 행보는 단순한 브랜딩으로 볼 수도 있습니다. AI 정렬이라는 언어가 한때 오픈AI의 홍보 서사로 소비되었듯, 통제 가능성이라는 키워드 역시 새로운 포장지가 될 수 있다는 시각도 존재합니다. 그러나 오픈클로와 같은 AI 에이전트에 대한 낙관론이 업계 전반을 뒤덮고 있는 지금, 앤트로픽이 자율적 의사결정의 선을 지키고 있다는 사실은 단순한 마케팅 이상의 의미를 갖습니다. 2014년 닉 보스트롬이 촉발한 질문은 AI를 멈출 수 있는가였고 이는 너무 추상적입니다. 2026년 우리에게 필요한 것은 보다 실천적인 질문입니다. AI를 우리가 원하는 방향으로 통제하기 위한 기술적, 인터페이스적, 혹은 제도적 해법은 무엇인가와 같이 말이죠. 앤트로픽과 국방부의 사례는 아직까지도 AI의 통제 가능성에 대한 해법을 도출하지 못했다는 것을 보여줍니다. 우리는 어떤 식의 통제 가능성을 이야기하고 요구해야 할까요?

#feedback

오늘 이야기 어떠셨나요?
여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.
남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.