NVIDIA Video to Data — 로봇 학습 파이프라인과 실행 환경

자료의 범위와 버전

NVIDIA(미국)의 Video to Data(V2D) 공식 저장소 README 중 개요, E2E workflow, Packages, Prerequisites 절을 한국어로 번역하고 사용 범위를 덧붙였습니다. 기준은 2026년 9월 29일 공개 커밋 8c778f905cb35f76f8e6cd6e2ea486da4fb9e0ef입니다. 이 날짜는 검수한 자료 버전 날짜이며 프로젝트 최초 공개일과 구분합니다. Quickstart 이후까지 포함한 전체 README 전문 번역은 아닙니다.

전체 파이프라인 개요

V2D는 사람이 수행한 시연 영상을 로봇 학습용 데이터로 바꾸는 세 단계와 저장소 최상위의 종단 간 실행 흐름으로 구성됩니다. 각 단계는 독립 실행이 가능하고 결과를 디스크에 기록하므로 중간에 멈추어 결과를 검사·캐시하거나 다른 단계와 다시 조합할 수 있습니다.

1단계 — 영상 수집 에이전트

LangGraph 기반 에이전트 작업 흐름이 시연 영상을 시간 경계가 있는 행동 클립으로 나눕니다. 장면의 개체·관계 그래프를 추출하고 프레임별 SigLIP-2 임베딩을 저장합니다. 결과는 graph.db와 vector.db로 구성된 검색 가능한 행동 데이터베이스입니다. 후속 단계는 영상을 통째로 처리하는 대신 자연어 검색으로 처리할 클립을 고릅니다.

2단계 — 3차원 복원

컨테이너화된 비전 모듈이 선택된 RGB 또는 스테레오 클립을 프레임별 깊이, 물체 마스크, 텍스처가 있는 메시, 물체의 6자유도 자세와 SMPL 인체 매개변수로 바꿉니다. run_mv_hoi_reconstruction과 run_mv_calibration 같은 다중 시점 파이프라인은 rosbag에서 전체 복원을 조율합니다.

3단계 — 로봇 학습에 연결

Arctic 같은 사람 동작을 대상 로봇인 Sharpa의 신체 구조에 맞게 리타기팅합니다. 복원된 장면과 변환된 동작을 Isaac Lab 환경에 연결하고 RSL-RL PPO로 학습하여 배포 가능한 정책을 생성합니다. 이는 저장소가 설명하는 작업 흐름이며 모든 로봇에서 바로 작동한다는 뜻은 아닙니다.

처음부터 평가까지 이어지는 예제

포함된 종단 간 예제는 iPhone으로 촬영한 1인칭 시연에서 출발해 복원, 리타기팅, 원천 전문가 정책 학습, 시연 수집, GR00T N1.7 미세조정과 폐루프 평가까지 이어집니다. 원문은 floating Sharpa와 Vega Sharpa 구성에서 검증했다고 설명합니다. run_e2e.sh는 각 단계를 조율하고 검사·재개를 위해 상태를 기록합니다. 동반 에이전트 스킬은 이 실행기를 사용해 준비와 실행을 안내합니다. 기본 경로는 전문가 정책을 새로 학습하며, 포함된 티슈 상자 ONNX 정책은 GR00T 미세조정부터 시작할 때 사용할 수 있는 선택적 지름길입니다.

검증된 실행 장비

README는 전체 예제가 VRAM 48GB의 NVIDIA RTX A6000 한 장에서 실행 가능하고 L40 및 L40S에서도 검증됐다고 설명합니다. 실제 티슈 상자 예제의 준비 조건, 통과 기준과 재개 방식은 docs/e2e_workflow.md를 따라야 합니다. 이 안내 작성 과정에서 로봇노드가 GPU 학습이나 실제 로봇 구동을 시험한 것은 아닙니다.

패키지 구성과 실행 환경

video_ingestion_agent/: 행동 분할·검증/개선·개체 그래프·임베딩을 처리하며 EGAgent 방식 자연어 검색과 선택적 Gradio 화면을 제공합니다. Python 가상환경과 vLLM 서버를 사용합니다. reconstruction/: 깊이·마스크·메시·6차원 자세·인체를 복원하는 18개 컨테이너 모듈 및 다중 시점 파이프라인이며 모듈별 Docker 이미지를 사용합니다. robotic_grounding/: NVIDIA Isaac Lab 2.3.1, RSL-RL PPO 학습과 동작 리타기팅 도구이며 Docker 기반입니다. robotic_grounding/flash_chord/: PPO와 FlashSAC를 이용한 빠른 참조 동작 추적 학습으로, 별도의 Newton/Warp/JAX 컨테이너가 필요합니다. robotic_grounding/groot_finetune/: 전문가 시연 수집, LeRobot 데이터 변환, GR00T N1.7 미세조정 및 폐루프 평가를 담당하며 Python 3.10과 외부 Isaac-GR00T 체크아웃을 사용합니다.

공통 준비 사항과 호환성 제한

GPU 지원 Docker, NVIDIA Container Toolkit, Python 3.10 이상이 필요합니다. robotic_grounding에는 NVIDIA 드라이버 580.126.09와 CUDA 13.0을 권장합니다. 별도의 v0.2 다중 시점 HOI 물체 복원 파이프라인은 RTX A6000(SM 86)과 L40S(SM 89)에서 검증됐습니다. RTX PRO 6000 Blackwell을 포함한 연산 능력 12.0(sm_120)의 Blackwell GPU는 v2d_cusfm에 포함된 TensorRT 및 cuVSLAM 버전에서 지원하지 않습니다. 복원 컨테이너 빌드와 실행기는 시작 전에 이 조건을 검사합니다. 이 제한을 저장소의 모든 하위 기능에 일괄 적용하는 것은 아닙니다.

첨부·이용 조건

Copyright (c) 2026 NVIDIA CORPORATION & AFFILIATES. 원본 LICENSE는 문서·스킬에 CC BY 4.0, 소스 코드에 Apache-2.0을 구분해 지정합니다. 첨부는 변경하지 않은 전체 영문 README와 LICENSE, 위 범위의 한국어 번역 안내입니다. 번역은 로봇노드가 작성한 변경본이며 CC BY 4.0으로 제공합니다. 원저작자·출처·라이선스와 변경 사실을 유지하세요. 저장소 전체, 외부 모델 가중치·데이터셋·사진·로봇 자산을 일괄 재배포하는 묶음은 아니며 해당 자료의 개별 조건은 별도로 확인해야 합니다.

목록보기