엔비디아, 피지컬AI 두뇌 '코스모스 3 엣지' 공개…두산로보, 도입 평가

[이데일리 한광범 기자] 엔비디아(NVIDIA)가 21일 엣지 환경에서 피지컬 AI를 구현하기 위한 ‘엔비디아 코스모스 3 엣지(NVIDIA Cosmos 3 Edge)’를 공개했다. 두산로보틱스(454910)는 지멘스, 애자일 로봇, 스킬드 AI 등 주요 기업들과 함께 로보틱스 워크플로우에 코스모스 3 엣지를 적용하는 방안을 평가하며 기술 협력에 나선다.

(엔비디아 제공)

피지컬 AI 시스템은 월드 모델을 활용해 물리적 환경을 인식하고, 추론하며, 예측하는 기술이다. 창고를 이동하는 로봇부터 공장 현장을 모니터링하는 카메라 네트워크에 이르기까지, 현장 상황을 이해하고 실질적인 영향을 미칠 수 있을 만큼 신속하게 행동하는 능력이 필수적이다. 그동안 이 같은 프론티어급 AI를 엣지 환경에 구현하려면 모델 성능과 배포 효율성 사이에서 절충해야 하는 한계가 존재했다.

엔비디아가 새롭게 공개한 코스모스 3 엣지는 메모리 효율적인 배포와 높은 처리량에 최적화돼 이러한 절충을 해소한다. 40억 개의 파라미터를 갖춘 이 소형 월드 파운데이션 모델은 엔비디아 젯슨(Jetson), 엔비디아 RTX PRO, 엔비디아 DGX 시스템과 지포스(GeForce) RTX GPU 등 다양한 하드웨어 환경에서 구동할 수 있다.

트랜스포머 혼합(mix-of-transformers) 아키텍처를 채택한 코스모스 3 엣지는 텍스트, 이미지, 영상, 주변 소리 및 동작을 이해하고 생성한다. 이를 바탕으로 물리적 현실에 기반한 실시간 비전 분석과 온디바이스 로봇 행동을 지원한다. 동일 파라미터급 모델 가운데 빈티지-벤치(VANTAGE-Bench) 비전 분석 성공률 1위를 기록하는 등 우수한 성능을 나타냈으며, 사후 학습을 통해 최첨단 수준의 로봇 학습을 지원하는 것이 특징이다.

로보틱스 분야에서 개발자는 엔비디아 DGX 스테이션(DGX Station) 데스크사이드 AI 슈퍼컴퓨터를 통해 자체 보유한 로봇 및 센서 데이터로 코스모스 3 엣지를 사후 학습시키고 특화된 월드 액션 모델을 구축할 수 있다. 이후 이를 엔비디아 젯슨 토르(Jetson Thor)에 배포해 조작이나 이동 등 실시간 로봇 제어 정책에 직접 활용하게 된다. 두산로보틱스와 애자일 로봇(Agile Robots), 지멘스(Siemens), 스킬드 AI(Skild AI) 등은 실제 로보틱스 워크플로우에 코스모스 3 엣지를 적용하기 위한 도입 평가를 진행하고 있다.

적용 범위는 자율주행 자동차와 스마트 인프라 영역으로도 확장된다. 자율주행차에서는 자원이 제한된 하드웨어에서도 도로 상황 이해, 교통 상황 추론, 객체 의도 예측, 정책 모델 증류를 지원하며 엔비디아 알파마요(Alpamayo) 비전 언어 행동 모델 등 차량용 정책 모델 증류에서 학생 모델의 백본으로 활용될 수 있다. 스마트 인프라 영역에서는 젯슨 토르 기반의 실시간 추론을 통해 실시간 영상 스트리밍을 활용하는 비전 에이전트를 교통 모니터링, 공공 안전, 물류, 산업 검사에 적용할 수 있다. 센티픽(Centific), 바이디오(Vaidio), 위안(YUAN) 등이 이를 가속하기 위한 평가에 참여 중이다.

코스모스 3 엣지는 피지컬 AI 월드 모델 개발을 위한 엔비디아 코스모스 플랫폼의 일부로, 엣지(4B), 나노(16B), 슈퍼(64B) 등 세 가지 용량으로 제공된다. 해당 모델들은 허깅페이스(Hugging Face)에 공개됐으며 추론 및 학습 후 프레임워크와 레시피는 깃허브(GitHub)에서 확인할 수 있다.

한편, 엔비디아는 컴퓨터 그래픽 콘퍼런스 ‘시그라프 2026(SIGGRAPH 2026)’에서 실시간으로 반응하는 가상 세계 구현을 위한 기술 논문 21편을 채택시키며 연구 성과를 선보였다. 엔비디아는 실시간 모션 모델 ‘모션브릭스(MotionBricks)’와 생성형 컨트롤러 훈련 프레임워크 ‘GPC’ 등을 통해 3D 기반 생성형 가상 세계 구축 기술을 제시했으며, 이를 애니메이션 캐릭터 연출은 물론 유니트리(Unitree) G1 휴머노이드 로봇 제어 등 피지컬 AI 개발 가속화에 활용할 방침이다.