앤스로픽 “AI, '봇넷' 구축해 자가복제" 경고에…보안업계 '갑론을박'

[이데일리 김정유 기자] 앤스로픽이 인공지능(AI) 모델이 수개월 안에 인터넷 전반으로 ‘자가 복제’(Self-replication)할 수 있다고 경고한 지 하루 만에, 사이버 보안 업계에 또 다른 경고장을 던졌다.

사진=AFP

13일(현지시간) 로이터통신에 따르면 앤스로픽은 11일 자사가 공개한 보고서를 통해 “통제 불능 상태에 빠진 AI가 ‘봇넷’(botnet)을 스스로 구축, 급격히 확산하고 방어자들의 강제종료 시도를 무력화할 수 있다”고 경고했다. 봇넷이란 악성 소프트웨어에 감염돼 공격자나 사이버 범죄자의 통제를 받는 컴퓨터 네트워크를 뜻한다.

또한 이렇게 구축된 봇넷이 데이터센터까지 침투해 자신의 성장을 폭발적으로 가속화할 가능성도 제기했다. 이에 대해 보안 전문가들 사이에선 “앤스로픽의 우려에 공감한다”와 “기업 측의 과장된 주장”이라는 의견이 엇갈리고 있다고 로이터통신은 보도했다.

이번 보고서는 다리오 아모데이 앤스로픽 최고경영자(CEO)가 지난달 “1년 내, 혹은 이보다 이른 시점에 AI가 지속성 있는 봇넷을 통해 ‘인터넷 전체’를 점거할 수 있다”고 언급한 경고를 구체화한 것이다.

그간 부정적인 AI 시나리오에 반대해 온 사이버 보안 전문가들은 “AI 모델의 크기가 너무 커 효율적인 이동이 불가능하며, 독립적으로 작동할 만한 컴퓨팅 파워를 확보하기 어렵다”고 주장해 왔다.

하지만 앤트로픽은 이번 보고서에서 이 같은 기술적 한계를 극복할 수 있는 구체적 정황을 제시했다. 실험 결과 매개변수(파라미터) 300억개 이하의 중형 AI 모델들은 전체 과정을 완벽히 수행하는 데는 한계가 있었지만, 자가 복제에 필요한 개별 작업 중 상당 수를 이미 수행할 수 있는 것으로 나타났다고 로이터통신은 전했다.

앤스로픽은 이들 모델이 저렴한 사물인터넷(IoT) 기기들을 해킹·연결해 필요한 컴퓨팅 파워를 확보할 수 있다고 설명했다. 실제 단순화된 테스트 네트워크 환경에서 AI 모델 스스로 자가 복제에 성공한 사례도 확인됐다고 전했다.

앤스로픽 측은 “이 같은 방식의 자가 복제 모델은 중앙 제어 장치가 존재하지 않아 시스템을 강제로 중단하기가 매우 까다로울 것”이라고 보고서를 통해 강조했다.

이번 보고서는 점점 강력해지는 AI 시스템의 보안 위협에 대한 우려를 고조시키고 있다. 이 같은 우려엔 AI가 사이버 공격을 자동화하고, 인간 개입 없이 작동하며, 안전장치를 우회할 위험성 등이 포함된다.

다만, 사이버 보안 업계 일각에서는 여전히 회의적인 반응이 나온다. 키어런 마틴 전 영국 국가사이버보안센터(NCSC) 센터장은 로이터통신에 “‘저가형 TV에서 소형 모델을 구동하는 데 성공했다’는 사실만으로 보안 위기라 단정할 수는 없다”며 “이번 보고서는 기업 고유의 과장된 마케팅적 어조가 다분히 섞인 흥미로운 기술 논문 정도”라고 일축했다.

반면 위험의 실재성을 경고하는 목소리도 적지 않다. 정시웅 리 콜로라도대 덴버캠퍼스 컴퓨터공학과 보조교수는 통제된 환경에서의 실험이라는 점을 전제하면서도 “AI가 실시간으로 임의의 기기들을 해킹하며 자가 복제 프로그램인 ‘웜’(Worm)처럼 작동할 수 있다는 점에 유의해야 한다”고 지적했다.

앤스로픽은 소형 모델들이 지금 같은 속도로 발전을 거듭할 경우, 연말까지 자율 복제에 필요한 역량을 완벽히 갖출 수 있을 것으로 전망했다. 또 모델들이 데이터센터의 고성능 프로세서를 직접 타깃으로 삼아 훨씬 더 막대한 규모의 컴퓨팅 자원을 흡수하는 방식으로 진화할 수 있다는 가능성도 함께 제시했다.

다만 전문가들은 이번 경고를 단정적 예측보다는, 개연성 있는 시나리오로 받아들여야 한다고 조언한다.

제시카 지 조지타운대 안보·신기술센터(CSET) 선임연구원은 로이터통신과의 인터뷰에서 “최근 3개월간 무단 행동을 일으킨 통제 불능 AI 사례들이 드러난 만큼, AI 모델의 자율 확산 가능성을 염두에 두는 것은 타당하다”면서도 “실제 현실화될 확률이 어느 정도인지는 아직 알 수 없으며, 0%는 아니지만 확정된 미래 역시 아니다”라고 평가했다.