LLM/VLM에서 VLA까지,
시뮬레이터·데이터·오픈 생태계로 설계하는 로봇 지능

AI의 다음 무대는 더 이상 화면 안에만 머물지 않습니다. 지금까지의 생성형 AI가 글을 쓰고, 이미지를 만들고, 코드를 생성하는 지능이었다면, 피지컬 AI는 그 지능을 현실 세계의 물체와 공간, 센서, 로봇의 움직임으로 확장하려는 새로운 흐름입니다. 이제 중요한 질문은 “AI가 무엇을 말할 수 있는가”가 아니라 “AI가 현실 세계에서 무엇을 할 수 있는가”입니다.
『피지컬 AI 시스템 설계』는 바로 이 질문에서 출발합니다. 이 책은 로봇공학 전공서가 아닙니다. LLM과 VLM으로 발전해온 생성형 AI의 지능이 어떻게 로봇의 판단과 행동으로 이어지는지, 그리고 그 과정에서 데이터, 모델, 시뮬레이션, 제어, 배포가 어떻게 하나의 시스템으로 맞물리는지를 개발자 관점에서 설명하는 책입니다.

피지컬 AI와 로봇 분야는 아직 하나의 정답으로 수렴된 단계가 아닙니다. 지금 주목받는 기술도 몇 달 뒤에는 더 나은 방식으로 보완되거나 대체될 수 있습니다. 그래서 이 분야를 이해하려면 단순히 최신 키워드를 따라가는 것만으로는 부족합니다. 어떤 한계가 있었고, 그 한계를 넘기 위해 어떤 구조와 아이디어가 등장했는지를 따라가야 변화의 방향을 읽을 수 있습니다.
이 책은 LLM 기반 플래닝에서 시작해 VLA 모델, 오픈 로봇 데이터셋, 중간 표현, 연속 행동, 듀얼 시스템 구조, 디지털 트윈, 합성 데이터, 파인튜닝, 온디바이스 실행, 지속 학습 시스템까지 이어지는 피지컬 AI 기술의 흐름을 한 권으로 정리합니다. 각각의 기술을 독립된 유행어처럼 나열하지 않고, “생각하는 AI”가 실제로 “움직이는 시스템”이 되기 위해 어떤 설계 문제를 풀어야 하는지 보여줍니다.
또한 이 책은 피지컬 AI를 거대한 로봇 장비를 가진 연구자만의 영역으로 다루지 않습니다. 로봇 장비가 없는 개발자도 시뮬레이터와 오픈소스 프레임워크를 통해 이 흐름을 이해하고 실험할 수 있다는 점에 주목합니다. 행동 데이터 수집과 가공, 시뮬레이터와 디지털 트윈, 합성 데이터 생성, 모델 파인튜닝, 온디바이스 최적화까지 이어지는 개발 파이프라인을 설명하고, 16장에서는 우분투 환경에서 LeRobot 프레임워크를 활용해 피지컬 AI 실습을 시작하는 방법도 간단히 소개합니다.

엔비디아 GR00T, 제미나이 로보틱스, 피지컬 인텔리전스 π 계열 등 최근 주요 프로젝트를 통해 빅테크와 연구 그룹이 피지컬 AI를 어떤 구조로 설계하고 있는지도 함께 살펴봅니다. 이를 통해 독자는 단순히 개별 모델 이름을 아는 데서 그치지 않고, 앞으로 로봇 지능이 어떤 방향으로 진화할지 가늠할 수 있습니다.
이 책이 독자에게 제공하는 것은 피지컬 AI의 방향감입니다. 학생이라면 아직 풀리지 않은 연구 문제를 발견할 수 있고, 개발자라면 자신이 쌓아온 소프트웨어, 데이터, 제어, 임베디드, 로봇 시스템 경험을 어떤 방향으로 확장해야 할지 힌트를 얻을 수 있습니다. 사업가라면 앞으로 필요한 제품과 서비스가 어디에서 나올지 가늠해볼 수 있습니다.
피지컬 AI는 아직 완성된 기술이 아닙니다. 그렇기 때문에 지금 시작하는 사람에게 더 많은 기회가 열려 있습니다. 『피지컬 AI 시스템 설계』는 AI가 현실 세계로 내려오는 이 거대한 전환을 이해하기 위한 기술 지도이자, 다음 시대의 개발자가 무엇을 준비해야 하는지 보여주는 출발점입니다.

말하는 AI를 넘어, 현실을 움직이는 AI를 설계하다

챗GPT 이후 AI는 글을 쓰고, 이미지를 만들고, 코드를 생성하는 도구가 되었습니다. 그러나 다음 질문은 다릅니다. AI는 어떻게 현실 세계를 보고, 판단하고, 직접 행동할 수 있을까요?
『피지컬 AI 시스템 설계』는 이 질문에 답하기 위해 준비했습니다. 이 책은 로봇공학 전공서가 아닙니다. LLM과 VLM으로 발전해온 생성형 AI가 어떻게 VLA 모델, 로봇 데이터셋, 시뮬레이터, 디지털 트윈, 합성 데이터, 파인튜닝, 온디바이스 실행, 지속 학습 시스템으로 확장되는지를 설명합니다.
피지컬 AI는 단순히 로봇에 AI를 붙이는 기술이 아닙니다. 언어를 이해하는 계층, 장면을 해석하는 계층, 목표와 제약을 추론하는 계층, 행동을 생성하는 계층, 실제 몸을 제어하는 계층이 맞물려야 비로소 현실에서 움직이는 지능이 됩니다. 이 책은 바로 그 구조를 한 권으로 정리합니다.
현직 로봇 개발자인 저자(엥지유니버스)는 B2C 로봇부터 물류·제조 현장의 산업용 로봇까지 다양한 시스템 개발 경험을 바탕으로, 피지컬 AI가 왜 지금 중요한 흐름이 되었는지 현실적인 시각으로 짚어냅니다. 엔비디아 GR00T, 제미나이 로보틱스, 피지컬 인텔리전스 π 계열 등 최신 프로젝트를 통해 빅테크와 연구 그룹이 로봇 지능을 어떤 방향으로 설계하고 있는지도 살펴봅니다.
또한 이 책은 피지컬 AI를 거대한 로봇 장비를 가진 연구자만의 영역으로 남겨두지 않습니다. 로봇 장비가 없어도 시뮬레이터와 오픈소스 프레임워크로 구조를 이해하고 실험할 수 있도록 안내하며, 16장에서는 우분투 환경에서 LeRobot 프레임워크를 활용한 실습 진입점도 간략하게 설명합니다.
피지컬 AI는 아직 완성된 기술이 아닙니다. 그렇기에 지금 시작하는 사람에게 더 많은 기회가 열려 있습니다. 이 책은 AI가 화면 밖으로 나와 현실 세계에서 행동하는 시스템이 되기까지의 기술 지도를 제공합니다.

주요 내용

LLM에서 VLA로 이어지는 기술 흐름 정리:
SayCan, PaLM-E, RT-1, RT-2, Open X-Embodiment, OpenVLA, GR00T, 제미나이 로보틱스, π 계열 등 주요 연구를 따라가며, 언어 모델이 어떻게 로봇의 계획과 행동 생성 구조로 확장되었는지 살펴봅니다.

생각하는 층과 움직이는 층을 나누는 시스템 설계 관점:
최신 피지컬 AI는 모든 것을 하나의 모델에 맡기는 방향이 아니라, 상위 추론 계층과 하위 행동 생성 계층을 나누고 연결하는 방향으로 발전하고 있습니다. 이 책은 VLA, 체화 추론, 행동 전문가, 듀얼 시스템 구조를 중심으로 그 설계 원리를 설명합니다.

로봇 학습 파이프라인의 전체 구조 이해:
행동 데이터 수집과 가공, 시뮬레이터와 디지털 트윈, 합성 데이터 생성, 파인튜닝과 강화학습, 온디바이스 최적화, 현장 데이터 기반 지속 학습까지 피지컬 AI 개발을 이루는 전체 파이프라인을 하나의 흐름으로 정리합니다.

개발자가 알아야 할 피지컬 AI의 미래 방향 제시:
피지컬 AI는 로봇공학 전공자만의 영역이 아닙니다. 앞으로는 데이터를 이해하고, 모델을 연결하고, 시뮬레이션과 실제 환경을 오가며 시스템 전체를 설계하는 개발자의 역량이 중요해집니다. 이 책은 피지컬 AI 시대에 개발자가 어떤 기술 스택과 관점을 준비해야 하는지 함께 제시합니다.