지식에 직접적인 생산성을 부여하면서 자본주의적 지식 생산은 저변에 깔려있던 자신의 근거를 없애 버렸다.
—저스틴 조크 (고유경 역), <혁명을 위한 수학>

유토피아도 디스토피아도 아닌 AI의 미래

by 🤔어쪈

다양한 배경을 가진 사람들로 구성된 AI 윤리 레터 필진이지만, 뉴스레터를 시작할 당시 모두가 동의하는 문제의식이 한가지 있었습니다. AI라는 새로우면서도 오래된 기술에 바람을 불어넣어 과도한 기대와 우려를 동시에 불러일으키는 하이프(hype)가 심하다는 점이었죠. 그리고 지난 2년간 AI 하이프는 전사회적 자원을 끌어모아 기술을 발전시키는 형태로 증폭되어 왔습니다. 모든 대선 후보가 주요 공약으로 AI 투자를 내세울 정도로 말입니다.

AI 하이프의 자기강화 기제에서 언론의 역할을 한번쯤은 꼭 짚고 넘어가야만 했습니다. 레터에서 <AI 하이프 뉴스 체크리스트>를 만든 이유죠. 이 때 훨씬 예전부터 같은 문제의식을 갖고 활동해 온 프린스턴 대학의 아르빈드 나라야난(Arvind Narayanan)과 사야쉬 카푸어(Sayash Kapoor)가 운영하는 뉴스레터 <AI Snake Oil>을 접했습니다. 이제는 동명의 책을 출판하기 한참 전에 사전구매할 정도로 그들의 팬이 되었죠.

최근 둘은 ‘AI는 정상기술(normal technology)’이라는 명제를 제시하며 다음 책을 예고했습니다. 미리보기 치고는 50쪽이 넘는 긴 글이지만 흥미롭고도 개인적으로 상당 부분 동의하는 내용이라 금방 읽을 수 있었습니다. AI라는 기술을 어떻게 받아들이고 또 대할 것인지 AI 윤리 레터 독자 분들과도 함께 논의해보고 싶어 요약 정리해보았습니다.

정상기술로서의 AI란?

​토마스 쿤이 제시한 ‘정상과학(normal science)’이라는 개념을 참고하여 번역했지만, 사실 ‘정상기술’이라는 번역어에 특별한 의미가 있는 것은 아닙니다. 저자들이 쿤의 이론을 참조한 것도 아니에요. 저자들은 AI를 인터넷이나 컴퓨터, 전기와 같은 일반목적기술과 다르지 않은 보통의 기술로 보자고 주장합니다. 모두가 AI의 빠른 발전에 놀라워하면서 동시에 두려워하는 와중이지만 결국 AI도 그저 기술에 지나지 않는다는 의미입니다.

‘AI는 그냥 기술일 뿐’이라는 어찌보면 당연한 생각을 책까지 써가며 일종의 세계관이라고까지 불러야 할 이유가 있을까요? 저자들은 AI를 기술이 아닌 별개의 종(species), 나아가 온전한 자율성을 지닌 행위자(agent), 끝내 인류 멸종을 불러올 수 있는 초지능(superintelligence)으로 보는 관점이 갈수록 득세하고 있다고 지적합니다. 요컨대 (예비)초지능으로서의 AI라는 담론에 대항하기 위해 AI를 정상기술로 이해하는 입장을 정리한 것이죠.

초지능 담론이 결코 논리적이지 않은 이유

인공지능(artificial intelligence)이라는 기술의 이름과 인간의 지적 능력에 빗대어 용어를 정의한 것이 개념 이해와 상상의 나래를 펼칠 땐 도움이 될지도 모릅니다. 하지만 AI가 작동하는 원리나 실제로 어떤 기제를 통해 사회·경제·기술·문화·정치적 파급효과를 가져오는지를 파악하는 데엔 오히려 방해가 될 수 있습니다. 저자들은 인간의 지능을 단순 지적 ‘능력’에 국한되지 않고 환경을 제어할 수 있는 ‘역량’도 포괄하여 이해하되, 이를 구분해야 한다고 주장합니다. 인간의 뛰어난 역량은 우리가 그동안 구축해 온 사회기술시스템에 의존하고 있으며, 이를 통해 아무리 천재라도 부딪힐 수 밖에 없는 생물학적 한계를 뛰어넘을 수 있습니다.

반면 지능을 그저 ‘똑똑한 정도’로 이해하고 지적 능력과 환경 제어 역량을 구별하지 않는 관점에서는 아래 첫번째 그림과 같이 [쥐-침팬지-동네 바보-아인슈타인-재귀적 자가발전 AI]로 이어지는 단선적 스펙트럼만 보일 뿐입니다. 우리가 다른 동물을 지배(한다고 착각)하듯 우리보다 훨씬 똑똑한 초지능이 인류를 지배할 수 있다는 것이죠. 하지만 현대 인류가 유인원 시절과 달라진 데에는 생물학적 진화보다 기술 축적이 기여한 바가 더 큽니다. 중요한 것은 지능 그 자체가 아닌 통제력을 가져다주는 기술을 얼마나 잘 활용할 수 있는지이며, 인간보다 더 뛰어난 지능을 가진 AI가 우리를 곧바로 넘어설 거라고 보기는 어렵습니다.

(오래된) 진짜 위험과 필요한 처방

초지능론자들에게 가장 큰 위험은 AI가 기술적 특이점에 도달하여 지능 폭발이 일어나 더 이상 인간의 통제가 불가한 상황입니다. 이들이 주로 내놓는 처방은 모델 정렬(model alignment)인데, 해석하자면 인류의 이익에 반하는 행위를 하지 않도록 AI 모델에 올바른 가치관을 학습시키는 일입니다. 하지만 모든 위험이 지극히 맥락의존적이라는 점을 고려한다면 모델 정렬이 답이 될 순 없습니다. 우리가 옳다고 생각한 특정 가치를 학습시킨 AI는 상황에 따라 되려 그 가치에 반하는 결과를 가져올 수 있기 때문입니다.

저자들이 제시하는 정상기술론에서도 AI를 더 이상 통제할 수 없는 상황을 가장 심각한 문제로 꼽습니다. 다만 엄밀하게는 AI 그 자체가 아니라 AI가 만연한 사회기술시스템의 통제 불가능을 주로 우려합니다. 차별과 불평등의 공고화, 대규모 실업, 소수 계층에게 집중된 권력, 사회적 신뢰 약화, 자연 및 지식 생태계 오염, 민주주의 붕괴와 독재, 대중 감시 등을 언급하고 있죠. 이러한 문제가 발생하지 않도록 방지하는 방법은 그 전 단계의 위험에 해당하는 AI로 인해 발생할 수 있는 사고나 악용, 과도한 군비 경쟁부터 통제하는 것입니다.

지금 AI 산업의 트렌드처럼 갈수록 ‘AI 에이전트’가 더 많은 일을 알아서 하도록 내버려둔다면 분명 더 큰 문제로 이어질 수 있습니다. 하지만 이 때 모델 정렬에 힘쓰기보다 중요한 사안에 대해서는 AI가 결정하지 못하도록 권한을 주지 않는 것이 훨씬 현실적인 방법입니다.

AI를 어떻게 통제할 것인가?

지금 우리 사회는 국가 경쟁력이라는 목표를 위해 AI 기술 발전과 투자를 부르짖는 정치인들과 AI 하이프를 이어가려는 기업들의 목소리로 가득차 있습니다. AI를 핵무기에 빗대며 그들의 말을 듣지 않으면 마치 다른 나라에서 만든 기술과 서비스에 종속되거나 초지능이 도래해 인류가 멸종할 것처럼 불안감과 공포감을 자극하는 전문가도 적지 않습니다.

하지만 AI를 보통의 기술로 바라본다면 증폭되는 공포와 불안에 대해 보다 침착하게 대응할 수 있습니다. 우리가 지금껏 잘 사용하는 다양한 기술들도 위험이 없지 않습니다. 그동안 인류가 문제가 발생하지 않도록 제어할 수 있는 시스템을 구축해왔기에 — 물론 종종 실패하기도 하지만 — 우리에게 이로운 방향으로 활용할 수 있었죠. AI도 마찬가지입니다. AI에 대한 제대로 된 통제의 출발점은 AI가 다른 기술과 다르지 않다는 관점입니다.

#feedback

오늘 이야기 어떠셨나요?
여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.
남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.