객관성은 사실 암묵적인 가치판단이 공개되어 사려 깊은 조사와 숙의의 대상이 될 때 높아질 수 있다.
—케빈 엘리엇 (김희봉 역), <과학에서 가치란 무엇인가>

AI안보연구소가 된 AI안전연구소

by 🤔어쪈

영국은 2023년 말만 해도 첫 AI 안전 정상회의를 개최하고, 최초로 AI안전연구소를 설립하는 등 국제 AI ‘안전’ 거버넌스를 주도하기 위한 역할을 도맡았습니다. 하지만 올해 파리에서 열린 정상회의에서는 선언문 참여를 거부하고, AI안전연구소의 이름도 AI안보연구소로 변경했죠. 영국을 필두로 우리나라를 포함하여 여러 국가가 같은 이름으로 연구소를 만들며 AI 안전 연구 네트워크를 구축했다고 홍보해왔지만, 1년이 채 안되어 균열이 발생하고 있는 모습입니다. 미국 AI안전연구소 역시 규모 축소 기로에 서있죠.

AISI (Artificial Intelligence Safety/Security Institute) 라는 같은 약자를 사용하고 있기도 하고, 안전과 안보가 공유하는 영역이 적지 않은 만큼 이름만 바뀌었을 뿐 별다른 변화가 없는 것 아닌가하는 의문이 들 수도 있습니다. 상위 부처인 영국 과학혁신기술부에서 연구소의 명칭 변경과 함께 발표한 보도자료를 살펴보면 하는 일이 달라지는 건 아니라고도 했죠. 그러나 같은 글을 보다 자세히 읽어보면 연구소의 목적과 향후 주요 연구 주제가 송두리째 바뀌는 것처럼 느껴지기도 합니다.

안전과 안보의 차이

미국의 비당파적·비정부 연구기관인 AI 정책센터에서 지적하듯, 안전이 일반적인 위험을 방지하는 의미를 가지는 반면 안보는 적대적인 공격을 전제합니다. 항공 분야를 예로 들어볼까요? 항공안전은 비행기 운행 시 발생할 수 있는 사고를 방지하기 위해 항공기와 공항의 설계부터 제조 및 건축, 조종사와 승무원 훈련, 이륙 전부터 착륙 후까지의 전체 운항 절차, 관제 시스템 등을 포괄하는 개념입니다. 반면 항공안보 내지는 항공보안의 경우 주로 테러와 같은 악의적 행위로부터 사람과 기체, 시설을 보호하기 위한 것이죠.

영국 정부는 AI안보연구소가 편향이나 표현의 자유와 같은 문제를 다루지 않을 것이라고 명시했습니다. 동시에 AI를 생화학무기 개발, 사이버 공격, 사기나 아동성착취와 같은 범죄에 활용하는 것이야말로 심각한 국가 안보 위험이며 이를 방지하는 게 곧 영국의 책임있는 AI 개발이라고 정의했죠. 영국의 국방과학기술연구소를 비롯한 각종 국가안보기구와의 협력 계획도 발표했습니다. 마지막엔 다소 뜬금없이 공공 서비스 혁신을 추진한다는 명목으로 주요 AI 기업 중 하나인 앤스로픽(Anthropic)과의 제휴 소식을 알렸습니다. 영국의 새로운 ‘소버린 AI’ 유닛이라는 설명과 함께요.

연구소가 수행해 온 AI 안전 연구

이처럼 첫 돌을 축하하기 바쁘게 큰 변화를 앞둔 영국 AI안전연구소를 추억(?)하기 위해, 그간 연구소에서 진행해 온 작업들을 간략히 훑어보며 어떤 성과가 있었는지, 또 앞으로는 어떤 연구가 주로 이뤄질 것으로 예상되는지 살펴보고자 합니다.

AI안전연구소가 가장 많은 공을 들인 연구분야는 다름 아닌 모델 평가입니다. 과학적인 제3자 평가의 중요성을 강조하며 오픈AI나 구글, 앤스로픽을 비롯한 AI 기업들의 최신 모델에 대해 배포 사전 평가를 수행해왔습니다. 이를 위해 안보 영역에 해당하는 생화학적 무기 개발이나 사이버 공격 시 활용 가능성 말고도 AI에 내재된 편향, 사용자 심리에 미치는 영향을 비롯한 사회적 파급력과 같이 포괄적인 기준을 마련했죠 위험 영역에서의 1) 단순 질의, 2) 레드티밍, 3) 인간 역량 향상 정도, 4) 자율 행동 성능 등을 평가하기 위한 여러 방법을 개발하여 오픈소스로 공개하기도 했습니다.

모델 평가는 연구소의 핵심 정체성이라고 할 수 있는 만큼 계속해서 연구가 이뤄질 것으로 예상됩니다. 다만 안보에 해당하는 주제만으로 평가 분야를 대폭 축소하겠죠. AI 모델의 편향성 평가는 더이상 이뤄지지 않을 가능성이 높습니다. 사람들이 챗봇을 이용할 때 AI라는 사실을 알 수 있기를 바라는지, 챗봇의 감정 표현을 어떻게 받아들이는지와 같은 폭넓은 인간-AI 상호작용에 대한 연구도 추진하지 않을테고요. 안보나 치안 문제를 불러일으킬 수 있는 AI 악용 가능성에 대한 평가에 더더욱 집중할 것으로 보입니다.

또 다른 축으로 연구소는 AI 안전 프레임워크와 안전 사례(safety case) 발굴에도 힘써왔습니다. 작년 AI 서울 정상회의에서 프론티어 AI 안전 서약에 참여한 AI 기업들이 발표한 각종 AI 안전 정책 문서를 토대로 AI 연구개발에 있어 안전성을 갖추기 위해 필요한 각종 절차와 체계를 제안했죠. 일반화된 양식을 발전시켜오던 해당 분야 역시 마찬가지로 보다 안보 문제에 집중된 내용으로 구체화되지 않을까 싶습니다.

안보가 안전을 대체할 수 있을까

사실 AI 윤리 레터는 AI 기술의 사회적 영향과 바람직한 발전 방향에 대한 논의를 다루기에 너무 좁다는 취지로 AI 안전이라는 개념에 대해서도 다소 비판적인 시각을 견지한 바 있습니다. 하지만 이조차 AI 안보라는 주제로 환원된다면 AI가 제기하는 여러 종류의 사회기술적 쟁점을 살펴볼 수 있는 기회가 더더욱 사라질 수 밖에 없습니다. 항공안전과 항공보안의 차이에 다시 빗대자면, 후자에만 집중하는 것은 항공사고로 이어질 수 있는 다양한 기술적, 인적, 절차적 결함을 줄이기 위해 힘쓰기보다 적대적 세력의 테러 위협에만 반응하는 모습과 크게 다르지 않습니다.

영국의 행보는 AI를 어떻게 개발하고 활용할 것인지를 둘러싼 다양한 가치 판단과 추구에 대한 논의를 AI 안전, 더 나아가 AI 안보라는 좁은 주제로 축소하는 효과를 가져올 수 있다는 점에서 우려하지 않을 수 없습니다. 특히 국가 안보를 기술 개발의 주요 목적으로 아로새겼을 때 역사적으로 어떤 일이 발생했는지를 생각해보면 더더욱 그렇습니다. 영국 정부의 결정이 우리나라를 포함한 다른 국가로 퍼져나가지 않기를 바라는 이유입니다.

#feedback

오늘 이야기 어떠셨나요?
여러분의 유머와 용기, 따뜻함이 담긴 생각을 자유롭게 남겨주세요.
남겨주신 의견은 추려내어 다음 AI 윤리 레터에서 함께 나눕니다.