MuJoCo 시뮬레이션에서 SO-ARM101 실제 로봇까지, 피지컬 AI를 처음부터 끝까지 경험하는 VLA 입문서!

이 책은 로보틱스 지식이 없어도 파이썬 코드를 읽고 실행할 수 있다면 피지컬 AI와 VLA(Vision-Language-Action)를 차근차근 경험해 볼 수 있도록 구성되어 있습니다.

먼저 인공지능이 무엇을 보고 어떤 행동을 출력하는지 구조부터 이해한 다음, MuJoCo 시뮬레이터로 로봇 제어의 기초를 다집니다. 이어서 허깅페이스의 르-로봇(LeRobot)과 SmolVLA로 데이터를 모아 모델을 학습시키고, 결과를 확인하며 고쳐 나가는 과정을 시뮬레이션에서 차례로 실습합니다. 마지막으로 같은 흐름을 SO-ARM101 실제 로봇 팔로 다시 실행하며 시뮬레이션과 현실의 차이를 살펴봅니다.

SO-ARM101 로봇과 비싼 GPU가 있으면 도움이 되지만, 대부분의 실습은 개인 PC와 무료 코랩만으로도 가능합니다. 블록 하나를 집어 옮기는 작업을 끝까지 해 보면서 무엇을 재고 어디를 고치면 로봇이 나아지는지 배울 수 있습니다. 책을 마칠 즈음에는 데이터 수집부터 모델 학습, 로봇 제어까지 전 과정을 직접 완주해 보는 경험을 합니다.

★ 이 책에서 다루는 내용 ★

◎ 피지컬 AI의 등장 배경과 LLM·VLM·로봇 하드웨어의 관계

◎ VLA 모델의 구조와 최신 발전 흐름(RT-2, OpenVLA, SmolVLA 등)

◎ MuJoCo 시뮬레이터와 MJCF로 로봇 모델 다루기

◎ 관절·모터 제어, 정기구학과 역기구학

◎ 허깅페이스 르-로봇(LeRobot)의 실행 파이프라인과 데이터셋 구조

◎ 텔레오퍼레이션을 활용한 시연 데이터 수집과 허깅페이스 허브 업로드

◎ SmolVLA 아키텍처 이해와 파인튜닝

◎ 성공률 평가 설계와 평가-개선 루프

◎ 오프라인 데이터 증강과 시뮬레이션의 한계

◎ 르랩(LeLab)을 활용한 SO-ARM101 학습 추론 루프 구현

[01부] 피지컬 AI와 VLA

▣ 01장: 피지컬 AI의 등장

1.1 지금 피지컬 AI가 중요한 이유

1.2 LLM(사고)과 목표 해석

1.3 VLM(인식)과 장면 이해

1.4 생성형 AI와 로봇 하드웨어

1.5 정리

▣ 02장: VLA 모델의 구조와 발전

2.1 VLA의 개념과 구조

2.2 멀티모달 입출력 구조

2.3 로봇의 데이터와 학습 전략

2.4 최신 VLA의 발전

2.5 정리

[02부] MuJoCo 시뮬레이터 입문

▣ 03장: MuJoCo 시뮬레이터

3.1 시뮬레이션의 필요성

3.2 MuJoCo 구조 이해

3.3 XML과 MJCF 기초

3.4 Hello MuJoCo

3.5 정리

▣ 04장: MuJoCo 로봇 제어

4.1 로봇의 현재 상태 확인

4.2 관절(Joint)과 모터 제어의 기초

4.3 정기구학과 시뮬레이션의 연결

4.4 역기구학과 목표 위치 도달

4.5 정리

[03부] 르-로봇으로 완성하는 AI 로봇

▣ 05장: 르-로봇 입문

5.1 르-로봇의 등장 배경

5.2 르-로봇 실행 파이프라인

5.3 르-로봇 데이터셋 구조

5.4 르-로봇 첫 번째 실습: PushT 예제

5.5 정리

▣ 06장: 학습 데이터 수집

6.1 좋은 시연 데이터의 조건

6.2 텔레오퍼레이션(Teleoperation)

6.3 시뮬레이션 데이터 수집 예제

6.4 허깅페이스 허브 업로드 예제

6.5 정리

▣ 07장: SmolVLA 이해와 파인튜닝

7.1 SmolVLA 아키텍처 해부

7.2 VLA 모델 파인튜닝

7.3 모델 파인튜닝 예제

7.4 첫 번째 추론

7.5 정리

▣ 08장: 모델 평가와 개선

8.1 평가-개선 루프

8.2 성공률 평가 설계

8.3 1,000 학습 스텝 체크포인트 평가 실습

8.4 학습량 확장과 성공률 개선

8.5 성공률 곡선 추세와 분기 판단

8.6 정리

▣ 09장: 모델 개선과 시뮬레이션의 한계

9.1 평가 결과 분석

9.2 오프라인 데이터 증강 실습

9.3 후속 고도화 기법

9.4 시뮬레이션의 장점과 한계

9.5 정리

[04부] 시뮬레이션을 넘어서 현실 세계로

▣ 10장: SO-ARM101 환경 구축

10.1 실제 하드웨어로 가는 이유

10.2 르랩 소개

10.3 실험 환경 구성

10.4 르랩 설치 및 로봇 설정 실습

10.5 정리

▣ 11장: SO-ARM101 데이터 수집

11.1 데이터 수집의 원리와 태스크 정의

11.2 르랩 데이터 수집 실습

11.3 르랩 예제 코드 분석

11.4 정리

▣ 12장: SO-ARM101 학습과 평가

12.1 실제 데이터 학습 전략

12.2 추론 루프와 실제 환경 변수

12.3 실제 데이터 학습 예제

12.4 실제 로봇 추론과 기준선 기록

12.5 르랩 예제 코드 분석

12.6 정리

▣ 13장: 피지컬 AI 실습 정리

13.1 4부 실습 흐름 요약

13.2 실제 환경에서 얻은 관찰 정리

13.3 입문 이후의 개선 방향

13.4 정리

▣ 부록A: SO-ARM101 하드웨어 구매 방법

A.1 필요한 하드웨어 구성

A.2 구매 경로

A.3 조립 가이드

A.4 하드웨어 취급 시 주의사항

A.5 구매 전 점검 목록

▣ 부록B: 허깅페이스 시각화 도구 사용법

B.1 시각화 도구 접속

B.2 에피소드 재생 화면

B.3 데이터셋 품질 점검 탭

B.4 분석과 심화 탭

▣ 부록C: 코랩(Colab) 활용 가이드

C.1 코랩 소개와 GPU 런타임

C.2 실습 환경 구성

C.3 학습 실행과 결과 보관

C.4 코랩으로 가능한 실습 범위