포티투닷이 자율주행의 다음 단계로 ‘VLA(Vision-Language-Action)’ 기술을 꺼내 들었다. 지난 11일 열린 현대차그룹 자율주행 미디어 데이에서 포티투닷은 시각 정보 인식과 언어적 추론, 차량 행동 생성을 하나로 묶은 이 기술의 개발 착수 사실을 처음 공개했다.
VLA는 기존 자율주행 방식과 무엇이 다른가
기존 E2E(End-to-End) 모델은 주행 입력을 차량의 행동으로 곧바로 연결하는 방식이다. VLA 모델은 여기에 언어 기반의 상황 이해와 추론 과정을 더한다는 점에서 갈라진다. 포티투닷에 따르면 이 차이는 복잡한 주행 상황에 대한 판단력과 설명 가능성을 높이는 결과로 이어진다. 차량이 왜 그렇게 행동했는지를 언어로 설명할 수 있다는 뜻이다.
실제로 공개된 개발 영상에는 차량이 차선을 변경하는 상황에서, 그 행동과 이유를 설명하는 문장이 화면에 함께 표시되는 장면이 담겼다. 자율주행 시스템의 판단 과정이 사람이 이해할 수 있는 언어로 드러난 셈이다.
VLA와 E2E를 병행 개발하는 이유는 무엇인가
포티투닷은 기존 E2E 자율주행 모델과 VLA 모델을 동시에 개발하고 있다. 하나의 기술로 몰아가는 대신 두 갈래를 함께 가져가는 방식을 택한 것이다.
회사 측은 이를 통해 자율주행 기술의 안정성과 확장성을 높이고, 차량 하드웨어 사양과 고객 요구에 맞춘 다양한 자율주행 솔루션을 제공할 수 있다고 설명했다. 또한 VLA가 언어 기반 추론과 대규모 사전 학습 지식을 활용해, 기존 주행 데이터만으로는 학습하기 어려운 희귀 상황에 대한 대응력을 높이는 데도 기여할 것으로 기대하고 있다고 밝혔다.
VLA 개발에도 데이터 플라이휠이 적용되나
포티투닷은 VLA 개발 과정에도 데이터 플라이휠 구조를 그대로 적용하고 있다. 주행 이슈가 발생하면 원인을 분석하고, 필요한 주행 정책과 데이터를 보강한 뒤 모델을 다시 학습시키는 순서다. 다른 자율주행 기술 개발과 같은 방식론을 공유하고 있는 셈이다.
VLA 기술은 지금 어느 단계에 와 있나
현재 포티투닷의 VLA 기반 자율주행 기술은 시뮬레이션을 통한 모델 검증 단계에 머물러 있다. 회사는 올해 말부터 내년 초 사이 실차 테스트를 포함한 전체 개발 프로세스를 가동할 계획이라고 밝혔다. 실제 주행 환경에서 확보한 이슈 데이터를 다시 학습과 검증에 반영해, VLA 모델의 완성도를 끌어올린다는 방향이다.
이희석 포티투닷 Trion Group GL은 “VLA는 AI가 단순히 주행하는 수준을 넘어 상황을 이해하고 추론하며 행동하는 Physical AI 구현의 핵심 기술”이라며 “자율주행을 시작으로 로보틱스 등 다양한 영역으로 확장할 수 있는 기반이 될 것”이라고 말했다. VLA를 자율주행에 국한된 기술이 아니라, 물리적 세계에서 작동하는 AI 전반으로 확장 가능한 기술로 바라보고 있다는 뜻으로 읽힌다.