현대차, 언어로 추론하는 차세대 자율주행 개발…내년 실차 검증

[이데일리 이배운 기자] 현대자동차그룹이 언어를 기반으로 주변 상황을 이해하고 판단 이유까지 설명하는 차세대 자율주행 기술 개발에 본격 착수했다.

완성도가 앞선 엔드투엔드(E2E) 기술의 양산을 우선 추진하는 동시에 빠르게 변화하는 인공지능 기술에 대응하기 위해 비전·언어·행동(VLA) 모델도 함께 개발한다는 구상이다.

이희석 포티투닷 트리온그룹 리더가 지난 11일 경기 성남시 판교 포티투닷 본사에서 열린 현대차그룹 자율주행 미디어데이에서 발표하고 있다. (사진=현대차그룹)

13일 현대차그룹에 따르면 그룹의 글로벌 소프트웨어센터인 포티투닷은 지난 11일 경기 성남시 판교 본사에서 열린 ‘현대차그룹 자율주행 미디어데이’에서 VLA 기반 차세대 자율주행 기술의 개발 현황을 공개했다.

VLA는 시각 정보 인식과 언어 기반 추론, 행동 생성을 하나의 모델로 결합한 기술이다. 현재 포티투닷이 개발 중인 E2E 자율주행 모델이 카메라 등으로 받아들인 시각 정보를 곧바로 차량의 행동으로 연결한다면, VLA는 여기에 언어를 활용한 상황 이해와 추론 과정을 더한다.

포티투닷이 공개한 개발 영상에는 VLA 모델이 우회전 과정에서 차량의 위치와 이동해야 할 차로를 영상과 언어를 결합해 판단하는 모습이 담겼다. 차량의 주행 행동과 그 판단 근거도 화면에 문장으로 표시됐다.

VLA의 강점은 주행 데이터가 충분하지 않은 희귀 상황에 대한 대응 능력이다. 기존 E2E 모델은 새로운 상황을 학습하려면 관련 주행 데이터를 대량으로 확보해야 하지만, VLA는 대형언어모델(LLM)이 사전에 습득한 지식과 언어적 추론 능력을 활용할 수 있다.

교통법규가 변경된 경우에도 새로운 규칙에 맞춰 주행하는 모습을 반복적으로 보여주는 대신, 바뀐 내용을 언어로 설명해 학습시키는 방식으로 모델을 더욱 빠르게 개선할 수 있다는 게 포티투닷의 설명이다.

다만 VLA가 기존 E2E 모델을 당장 대체하는 것은 아니다. 대형언어모델을 활용하는 만큼 연산량이 많고 고사양 차량용 컴퓨팅 하드웨어가 필요하기 때문이다.

이희석 포티투닷 트리온그룹 리더는 “E2E와 VLA를 투트랙으로 개발하고 있다”며 “현재 완성도가 더 높은 E2E를 우선 개발하면서 빠르게 변하는 기술 환경에 대응할 수 있는 새로운 VLA 기술도 함께 개발하고 있다”고 말했다.

포티투닷은 올해 초 VLA 개발을 시작해 비전언어모델(VLM) 학습과 주행 판단·경로 학습, 모델 경량화, 폐루프 시뮬레이션 평가 등 제품화에 필요한 기반 기술을 확보하고 있다.

현재는 실차 테스트에 앞서 시뮬레이션을 통해 모델을 반복적으로 개선하고 있다. 올해 말까지 실차 테스트를 포함한 전체 개발 체계를 갖추고 내년부터 실제 차량을 운행하며 다양한 주행 데이터를 확보한다는 계획이다.

이 리더는 “VLA는 AI가 단순히 주행하는 수준을 넘어 상황을 이해하고 추론하며 행동하는 피지컬 AI 구현의 핵심 기술”이라며 “자율주행을 시작으로 로보틱스 등 다양한 영역으로 확장할 수 있는 기반이 될 것”이라고 말했다.