이 연구는 CARLA 시뮬레이터에서 오프라인 전문가 시연만으로 소형 멀티모달 정책이 폐루프 자율주행 능력을 어느 정도까지 획득할 수 있는지 실험했다. 정책은 RGB 이미지·라이다·차량 텔레메트리·차선 웨이포인트의 5프레임 이력을 입력받아 20Hz로 스로틀·브레이크·조향을 예측한다. 시연 데이터는 스폰 지점과 가능한 기동을 전수 나열하고 완료된 오토파일럿 경로를 검증하는 체계적 경로 생성 절차를 포함해 3단계로 수집됐으며, 136만 파라미터의 공개 정책은 448개 캡처에서 나온 약 3.3시간 분량, 23만6882개 윈도로 학습됐다. 이 정책은 훈련 경로와 미공개(held-out) 경로 모두에서 충돌 없이 수 시간 자율주행했고, 도로 구조가 다른 미공개 CARLA 타운으로도 정성적으로 전이됐다. 큰 궤적 이탈에서 회복하는 모습도 관찰됐지만, 통제된 평가 없이 체계적 회복 능력을 주장하지는 않는다고 밝혔다. 연구진은 코드, 학습된 체크포인트, ONNX 모델, 데이터 샘플, 근거 감사 자료를 함께 공개했다.
- •CARLA에서 오프라인 시연만으로 소형 멀티모달 정책(RGB·라이다·텔레메트리·차선 웨이포인트)이 확보할 수 있는 폐루프 주행 능력을 실험
- •스폰 지점·기동을 전수 나열하는 체계적 경로 생성 절차로 3단계에 걸쳐 시연 데이터 수집
- •136만 파라미터 정책을 약 3.3시간 분량(23만6882개 윈도)으로 학습, 훈련·미공개 경로에서 수 시간 무충돌 자율주행
- •도로 구조가 다른 미공개 CARLA 타운으로도 정성적으로 전이됨을 확인
- •코드·체크포인트·ONNX 모델·데이터 샘플·근거 감사 자료를 함께 공개
0단 자동
AI가 규칙대로 쓰고 그대로 게시했습니다. 사람이 따로 보지 않았습니다.
- 규칙 판
- 규칙 판 도입 이전 기사입니다.
- 남기는 것
- 규칙 판 · 모델 · 시각
- 판 기록
- 아직 없습니다.
Imitation Learning for Autonomous Driving in CARLA
- 1.136만 파라미터 경량 멀티모달 정책을 23만6882개 구간, 약 3.3시간 주행으로 학습
- 2.RGB·라이다·텔레메트리·차선 웨이포인트 5프레임 히스토리로 20Hz 조향·제동 예측
- 3.CARLA 학습 경로와 미지 경로 모두에서 충돌 없이 장시간 자율주행에 성공
- 4.처음 보는 타운에도 정성적으로 전이되고 큰 궤적 이탈에서 회복하는 사례 관찰
왜 중요한가?
폐루프 자율주행의 고질적 분포 이동 문제를 소형 정책과 제한된 오프라인 데이터만으로 완화할 수 있음을 보여주고, 코드와 체크포인트를 함께 공개해 저비용 자율주행 연구의 재현성을 높였다.
언급 프로젝트
본문 미리보기
arXiv:2609.17757v1 Announce Type: new Abstract: Behavioral cloning trains a policy offline on expert demonstrations, but deployment is closed loop: each action affects the observations the policy receives next. We study how much closed-loop driving competence a compact multimodal policy can acquire from offline demonstrations in the CARLA simulator. The policy uses five-frame histories of RGB images, LiDAR, vehicle telemetry, and lane waypoints to predict throttle, brake, and steering at 20 Hz.
전체 내용이 궁금하다면?
원문을 직접 읽어보세요
이 글이 만들어진 과정
- 10:40AI 초안

![[10월12일] AI가 암을 치료해도 원리를 알아야 할까…수학자 타오의 질문에 쏟아진 반론](https://cdn.aitimes.com/news/photo/202610/216150_220160_1157.jpg)

