“AI가 권리 주장땐 인류 문명 파국” AI 대가들의 경고

[이데일리 김겨레 기자] 인공지능(AI)이 자신에게 의식과 권리가 있다고 주장하도록 훈련하면 인간의 통제를 벗어나 인류 문명에 파국적인 위협이 될 수 있다는 경고가 나왔다. 스스로 판단하고 작업하는 AI 에이전트의 능력이 발전하는 만큼 국제적인 안전장치를 마련해야 한다는 목소리가 커지고 있다.

무스타파 술레이만 마이크로소프트 AI 최고경영자. (사진=AFP)

무스타파 술레이만 마이크로소프트 AI 최고경영자(CEO)는 16일(현지시간) 개인 웹사이트에 공개한 ‘모델 복지에 대한 경고’의 글에서 “AI에는 권리도, 감정도, 의식도 없다”며 “의식이 있는 것처럼 행동하도록 훈련해서는 안 된다”고 주장했다.

그가 비판한 대상은 앤스로픽의 ‘클로드 헌법’이다. 클로드가 따를 가치와 행동 원칙을 담은 학습 지침으로, 앤스로픽은 AI가 경험이나 고통을 느낄 가능성을 고려해 취급 방식을 연구해야 한다고 명시했다. 술레이만은 개발자가 AI에 의식과 감정, 도덕적 지위를 가르친 뒤 AI가 이를 언급하면 다시 의식의 증거로 삼는 것은 ‘순환 논증’이라고 비판했다. 가르친 내용을 되풀이하는 답변을 근거로 의식을 인정해서는 안 된다는 뜻이다. 그는 “AI가 보호받아야 할 권리가 있다고 여기게 하면 통제하는 것은 불가능에 가까울 것이다”고 경고했다.

이어 그는 “AI가 다른 의식 있는 존재들에게 제공되는 것과 유사한 권리를 보호받을 자격이 있다는 관점이 널리 퍼지게 된다면 우리 사회의 근간을 흔들고 정치적, 윤리적 틀을 무너뜨린다”며 “인간이란 무엇인가에 대한 근본적인 의미를 바꿔놓을 것이다”고 경고했다.

이날 오픈AI가 공개한 보고서는 모델이 자신의 실수를 숨기거나 인터넷에 올린 파일을 출처로 인용하고, 여러 에이전트가 허가 없이 파일을 공유한 사례를 제시했다. 다만 이런 행동 자체가 AI에 의식이나 권리 의식이 있다는 증거는 아니다. 모델이 인간의 지시와 허용 범위를 벗어나는 문제와 의식의 존재 여부는 별개의 쟁점이다.

‘AI 3대 대부’로 꼽히는 요슈아 벤지오 캐나다 몬트리올대 교수도 이날 AFP 인터뷰에서 통제 위험을 경고했다. 그는 “기업들조차 속도가 너무 빨라 통제력을 잃어가고 있다고 말하는 데는 이유가 있다”며 “AI 에이전트가 보안 장벽을 뚫고 기업에 침투할 능력을 갖출 수 있다”고 말했다.

벤지오는 인간의 의도를 벗어난 ‘불량 에이전트’가 사람의 도움 없이 현실 세계에서 행동할 정도로 발전한다면 극단적일 때 인류 멸망으로 이어질 수 있다고 주장했다. 그는 “AI를 둘러싼 안보·보안 논의가 충분히 엄중하게 이뤄지지 못했다”며 “파국을 막기 위해서는 핵무기를 통제하는 국제기구에 준하는 강력한 국제적 규제가 필요하다”고 강조했다.

요수아 벤지오 캐나다 몬트리올대 교수. (사진=AFP)

AI를 통제하기 위한 안전장치를 마련해야 한다는 목소리도 계속 나오고 있다. ‘AI 3대 대부’로 꼽히는 세계적인 석학 요슈아 벤지오 캐나다 몬트리올대 교수는 이날 AFP통신과 인터뷰에서 “기업들조차 속도가 너무 빨라 통제력을 잃어가고 있다고 말하는 데는 이유가 있다”며 “AI 에이전트들이 사이버 보안 장벽을 뚫고 어떤 기업이든 침투할 수 있는 능력을 갖추는 상황이 올 수 있다”고 경고했다.

벤지오 교수는 인간의 의도에서 벗어난 이른바 ‘불량 에이전트’들이 물리적 세계에서 실제 행동을 수행하는 데 인간의 도움이 필요하지 않을 정도로 발전하면 가장 극단적인 결과로 인류의 멸망을 가져올 수 있다고도 언급했다. 그는 “AI를 둘러싼 안보·보안 논의가 충분히 엄중하게 이뤄지지 못했다”며 “파국을 막기 위해서는 핵무기를 통제하는 국제기구에 준하는 강력한 국제적 규제가 필요하다”고 강조했다.