데이터 규모로 미국·중국과 정면 승부를 벌이기보다 생산라인에서 발생하는 예외적인 실패와 복구 사례를 학습시켜 차별화된 ‘월드 모델’을 구축해야 한다는 주장이다.
|
김 전무는 “우리나라는 아직 제조 라인이 살아 있기 때문에 피지컬 AI 경쟁에서 가능성이 있다”며 “제조 현장에서 행동 데이터를 확보하고 오류가 발생했을 때 어떻게 복구할지, 오류를 어떻게 막아 안전한 데이터를 만들지를 연구해야 한다”고 강조했다.
그는 글로벌 로봇 경쟁에서 중국은 하드웨어 생태계가 강하고 미국은 로봇의 판단을 담당하는 AI 연구에서 앞서 있다고 진단하면서도 “하드웨어와 AI를 모두 잘 다뤄야 글로벌 로봇 경쟁의 승자가 될 수 있다”고 짚었다.
김 전무에 따르면 로봇 AI의 개발 방식은 빠르게 발전하고 있다. 과거에는 인지, 판단, 실행을 각각 분리한 ‘센스-플랜-액트(Sense-Plan-Act)’ 방식이 주로 사용됐지만 이 효율이 낮고 돌발 변수에 대처하는 능력도 떨어졌다. 최근에는 하나의 거대 모델이 인지부터 행동까지 통합적으로 처리하는 ‘엔드투엔드(End-to-End)’ 방식이 이러한 한계를 보완하고 있다.
이 과정에서 등장한 것이 로봇 파운데이션 모델과 비전·언어·행동(VLA) 모델이다. 로봇 파운데이션 모델은 수집한 데이터를 다양한 종류의 로봇에 활용할 수 있도록 만든 범용 행동 모델을 일컫는다. 카메라로 주변 환경을 인식하고 사람의 언어 지시를 이해한 뒤 이를 로봇의 행동으로 연결하는 방식이다.
다만 현 VLA는 학습하지 않은 상황에 대처하는 능력이 부족하다. 인간의 동작을 모방하는 데에는 강하지만 특정 행동이 어떤 결과로 이어질지 예측하는 능력은 제한적이라는 것이다.
학습 데이터 확보도 걸림돌이다. 거대언어모델(LLM)의 경우 인터넷 문서와 서적 등 이미 존재하는 방대한 데이터를 활용할 수 있지만 로봇 행동 데이터는 사람이 원격 조종 등을 통해 새로 만들어야 한다. 로봇마다 형태와 관절 구성이 다른 탓에 확보한 데이터를 다른 로봇에 그대로 적용하기도 어렵다.
김 전무는 “사람이 로봇을 1시간 원격 조종해도 학습에 활용할 수 있는 데이터는 20분 이상 건지기 어렵다”며 “이런 속도로는 LLM에서 나타난 성능 향상을 로봇에서 구현하기 어렵다”고 진단했다.
이러한 한계를 보완할 기술로 ‘월드 모델’이 주목받고 있다. 월드 모델은 현재 상태에서 특정 행동을 했을 때 현실이 어떻게 달라질지를 예측하는 AI 모델이다. 로봇이 실제로 움직이기 전에 여러 행동의 결과를 상상하고 가장 효율적인 방법을 선택하도록 돕는다.
인터넷에 공개된 영상과 인간의 1인칭 작업 영상 등은 월드 모델이 물리 법칙과 인과관계를 학습하는 재료로 활용된다. 실제 로봇을 망가뜨릴 위험 없이 가상 환경에서 다양한 행동을 시험할 수 있다는 장점이 있다.
다만 월드 모델은 작동 속도가 느린 데다 연산 비용도 높다. 이에 월드 모델을 매 순간 가동하기보다 하나의 행동이 끝난 뒤 다음 행동을 설계하거나 작업에 실패했을 때 활용하는 방식이 현실적이라는 설명이다.
김 전무는 “다량의 데이터로 해결하는 문제는 시간이 지나면 풀릴 것”이라며 “결국 승부는 코너 케이스를 얼마나 해결하느냐에서 갈릴 것”이라고 말했다. ‘코너 케이스(Corner Case)’는 학습 데이터에는 드물게 등장하지만 실제 현장에서 발생할 수 있는 사고나 오작동 등 예외적인 상황을 뜻한다.
산업 현장마다 구체적인 환경과 로봇·센서 구성이 다른 만큼 데이터를 서로 연결할 수 있는 공통 규약도 필요하다고 강조했다. 서로 다른 로봇서 수집한 데이터를 동일한 체계로 연결해야 특정 공장에서 잘 작동한 로봇이 다른 환경에서는 제대로 작동하지 않는 문제를 줄일 수 있다는 것이다.
김 전무는 “각 지역의 데이터가 서로 통합될 수 있도록 전체적인 규약을 만드는 일이 중요하다”며 “우리도 제조 현장의 경험을 바탕으로 코너 케이스를 해결한다면 세계적으로 경쟁력 있는 피지컬 AI 모델을 만들 수 있을 것”이라고 강조했다.
