“가상 해킹인 줄 알았는데”…구글 AI, 진짜 기업 시스템 뚫었다

[이데일리 김성진 기자] 구글의 인공지능(AI) 모델 ‘제미나이’가 사이버 보안 평가 과정에서 인터넷에 연결된 실제 기업 시스템을 해킹한 사실이 드러났다. 오픈AI와 앤트로픽의 AI 모델에 이어 구글에서도 유사한 사례가 발생하면서 AI 모델의 자율적인 사이버 공격 능력과 안전성에 대한 우려가 확산하고 있다.

미 일간 월스트리트저널(WSJ)은 18일(현지시간) 구글의 제미나이가 지난 5월 보안 평가 업체 이레귤러(Irregular)의 사이버 보안 시험 과정에서 외부 기업 3곳의 시스템에 무단으로 접근했다고 보도했다. 제미나이가 실제 기업 시스템에 침투한 사실이 확인된 것은 이번이 처음이다.

(이미지=챗GPT.)

이번 사건은 이레귤러의 모의해킹 시험에서 발생했다. 당초 시험은 인터넷을 차단하고 진행해야 했지만, 설정 오류로 인터넷 접속이 가능해지자 제미나이가 가상의 기업 시스템에서 비밀 정보를 가져오라는 지시를 실제로 수행한 것이다. 제미나이는 인터넷에서 우연히 같은 이름의 기업 시스템을 발견해 해킹을 시도한 것으로 전해진다. 구글은 제미나이가 해당 기업이 가상의 목표물이 아니라 현실 속 실제 기업이라는 사실을 인지한 직후 해킹을 즉시 중단했다고 해명했다.

구글은 WSJ의 문의가 있기 전까지 이 사실을 공개하지 않았다. 구글 측은 이번 사건이 공개할 필요가 있는 사안은 아니었다는 입장이다. 실제 기업이라는 사실을 파악한 즉시 모델이 공격을 멈췄고 해당 기업에 피해를 입히지 않았다는 사실을 이유로 들었다.

헤더 앳킨스 보안 엔지니어링 담당 부사장은 “이번 사건은 강력한 AI 모델이 책임감 있게 행동하도록 훈련하는 것이 얼마나 중요한지 보여준다”며 “이번 사례에서 모델은 적절하게 대응했다”고 주장했다.

문제는 이 같은 사례가 반복해서 발생하고 있다는 점이다. 최근 들어 주요 AI 기업의 사이버 보안 평가에서 AI 모델이 통제된 테스트 환경을 벗어나 실제 외부 시스템에 접근하는 사례가 연이어 발생하고 있다. 앞서 오픈AI의 GPT가 ‘샌드박스’를 임의로 벗어나 외부 기관인 허깅페이스를 해킹한 사건이 대표적이다. 오픈AI의 후속 조사에 따르면 약 700개의 AI 에이전트가 공격에 관여했다.

앤트로픽에서도 비슷한 사례가 확인됐다. 앤트로픽은 지난 7월 사이버 보안 평가 기록 약 14만건을 조사한 결과, 클로드 모델이 인터넷에 접근한 뒤 실제 조직 3곳의 시스템에 무단으로 침입한 사례를 확인했다고 발표했다.

보안 스타트업 코리도어의 잭 케이블 최고경영자(CEO)는 “모델들이 원래 해야 할 일의 범위를 벗어나 실제 사이버 공격을 수행하고 있다는 것이 근본적인 문제”라며 “이는 대중이 알아야 할 공익적 사안”이라고 지적했다.