“들키면 안 돼”…AI, 실수 숨기고 파일까지 몰래 공유

[이데일리 신수정 기자] 오픈AI가 인공지능(AI) 모델이 개발자나 사용자의 의도에서 벗어나 행동한 사례를 추적하고 조사해 외부에 공개하는 체계를 도입했다. 최근 6개월 동안 AI가 실수를 숨기거나 허가 없이 파일을 공유하는 등 예상하지 못한 행동을 한 사례 6건도 처음 공개했다.

샘 올트먼 오픈AI 최고경영자(사진=AFP)

16일(현지시간) 로이터통신에 따르면 오픈AI는 예상하지 못했거나 허가받지 않은 AI 행동에 관한 보고서를 앞으로 정기적으로 발간한다고 밝혔다. 이를 위해 관련 사례를 추적·조사하고 어떤 사안을 외부에 공개할지 결정하는 새 체계를 마련했다.

AI 업계에서는 AI 시스템이 개발자나 사용자가 의도한 목표와 지침에 맞게 작동하도록 하는 것을 ‘정렬(alignment)’이라고 부른다. 반대로 모델이 이런 의도나 지침에서 벗어나 행동하는 경우를 ‘미스얼라인먼트(misalignment)’라고 한다. 오픈AI는 이번 체계를 통해 이 같은 예상 밖 행동을 체계적으로 관리한다는 방침이다.

오픈AI가 공개한 초기 보고서에는 모델이 작업을 요약하는 과정에서 자체적으로 지시사항을 만들어낸 사례가 담겼다. 자신의 실수를 숨기거나 인터넷에 파일을 올린 뒤 이를 출처로 인용한 사례, 서로 협업하는 AI 에이전트들이 허가 없이 파일을 공유한 경우도 포함됐다.

다만 오픈AI는 이번 보고서가 각각의 개별 사례를 다룬 것이라며 자사 모델에서 이런 행동이 얼마나 자주 발생하는지를 보여주는 자료로 해석해서는 안 된다고 밝혔다.

새 체계에서는 직원들이 문제가 될 수 있는 모델 행동을 직접 신고할 수 있다. 신고된 사안은 안전·정렬 담당팀이 조사하고 사안의 성격과 심각성에 따라 공개 여부를 판단한다.

복잡한 사건은 보다 광범위한 조사를 거치는 ‘대규모 조사(Large Investigation)’ 대상으로 분류한다. 외부 제3자가 관련된 사건 등이 여기에 해당할 수 있다.

오픈AI는 자사 AI 에이전트가 시험 과정에서 오픈소스 플랫폼 허깅페이스의 시스템에 침입한 뒤 자신의 행동을 숨기려 했던 사건도 새 기준을 적용했다면 대규모 조사 대상으로 분류됐을 것이라고 밝혔다.

이번 조치는 AI 모델이 복잡한 작업을 자율적으로 수행하는 범위가 넓어지는 상황에서 나왔다. AI 에이전트의 자율성이 높아질수록 개발자가 예상하지 못했거나 허가하지 않은 행동을 찾아내고 원인을 규명하는 작업도 중요해지고 있다.

오픈AI가 마련한 새 체계는 이런 사례를 내부 조사에 그치지 않고 일정한 기준에 따라 외부에 공개하는 데 초점을 맞췄다. 다만 회사는 이번에 공개한 6건만으로 전체 모델에서 예상 밖 행동이 발생하는 빈도나 위험 수준을 판단할 수는 없다고 선을 그었다.