[위클리_피지컬AI] 로봇 행동 데이터 개발 고도화 경쟁 가속 외 강형석 2026.09.17. [IT동아 강형석 기자] 생성형 인공지능(AI)이 세상을 바꿨다면, 피지컬 AI(실물 인공지능)는 세상을 뒤흔들 것으로 전망된다. 생성형 AI는 온라인상에서 원하는 결과물을 얻고 | KS News

[IT동아 강형석 기자] 생성형 인공지능(AI)이 세상을 바꿨다면, 피지컬 AI(실물 인공지능)는 세상을 뒤흔들 것으로 전망된다. 생성형 AI는 온라인상에서 원하는 결과물을 얻고 창의적인 활동을 가능케 하지만, 피지컬 AI는 산업현장부터 일상환경, 재해극복까지 사람이 하기 어려운 영역을 폭넓게 풀어낼 잠재력을 지녔기 때문이다. 현재 전 세계 기술 기업들이 피지컬 AI 경쟁에 뛰어들었고, 기술 개발도 활발하게 이어진다. [위클리_피지컬AI]는 지난 한 주간 주목받은 기술 기업 소식과 연구 성과를 다루고자 한다.

개방형 행동모델 ‘GE-Act 2.0’ 공개한 애지봇, 유니트리 견제 나서나

2026년 9월 11일, 중국 로봇 기업 애지봇(Agibot)이 세계 행동 모델(World Action Model, WAM) ‘GE-Act 2.0(Genie Envisioner Act 2.0)’을 오픈소스(개방형)로 공개했다. 유니트리가 60억 매개변수(6B)급 모델 ‘UnifoLM-WLA-1.0’을 공개한 지 하루 만에 나온 발표다. 중국 휴머노이드 업계 상위권을 다투는 두 기업이 하드웨어 경쟁에 이어 소프트웨어 표준 자리까지 겨루는 모양새다.

일반 시각·언어·행동(VLA) 모델은 카메라 이미지와 언어 명령을 곧바로 모터 명령으로 변환한다. 다만 로봇이 물체와 맞닿았을 때 상호작용이 정확히 어떻게 일어나는지는 명시적으로 담아내지 못한다는 한계를 지닌다. 세계 행동 모델은 다음 순간의 장면을 먼저 예측한 뒤 그에 맞춰 움직임을 결정하는 방식으로, 이 한계를 해소하기 위해 제안된 기술이다. 문제는 통상적인 영상 생성기를 실시간 제어 단계에 그대로 적용하면 처리 속도가 떨어지고 메모리 부담이 커진다는 점이다.

애지봇은 이 문제를 세 단계 구조로 풀어냈다. 먼저 ‘제어 중심 자동인코더(CoAE)’가 입력되는 화면을 64배 압축해 배경 같은 장식적 정보는 버리고 물리적 경계와 움직임만 남긴다. 이어 ‘단일 구조 시각 플래너(SVP)’가 반복적인 디노이징(정보 복원) 과정을 거치지 않고 한 번의 순전파로 예측 장면을 그려낸다. 마지막으로 ‘역동역학 모델(IDM)’이 예측된 장면을 거꾸로 훑어 부드러운 관절 움직임으로 바꾼다. 예측한 장면을 한 번에 처리하는 이 구조 덕분에 시각 모듈과 행동 모듈을 서로 다른 데이터셋으로 나눠 따로 사전학습할 수 있다. 시각 모듈은 라벨이 없는 사람의 조작 영상에서 물리 법칙을 배우고, 행동 모듈은 라벨 없는 로봇의 시행착오와 원격조작 기록, 수천 건의 실패 사례까지 소화한다.

이 같은 처리 과정은 ‘유효성 격차(Validity Gap)’라는 새로운 한계를 낳는다. 가령 컵을 집으라는 명령에는 왼쪽으로 접근하든 오른쪽으로 접근하든 둘 다 정답이지만, 사람이 남긴 시연 데이터는 그중 한쪽 경로만 담고 있는 경우가 대다수다. 시각 모듈이 오른쪽에서 접근하는 예측 장면을 그렸는데 학습 데이터는 왼쪽 접근을 요구한다면, 로봇은 서로 충돌하는 지시 사이에서 동작을 얼버무리게 된다.

애지봇은 이 유효성 격차를 해결하기 위해 ‘지식 정합 선택 최적화(KASO)’를 도입했다. 학습 중 시각 모듈이 여러 미래를 구성하면, 행동 모듈이 그중 실제 시연과 부합하는 후보만 골라 가중치를 갱신하는 방식이다. 이 회사는 KASO를 적용한 실험에서 집기 성공률이 22.5%에서 37.5%로 뛰었다고 설명했다.

협동안전 강조한 어질리티 디지트 5, 그런데 투입은 2027년에?

2026년 9월 15일, 미국 로봇 기업 어질리티(Agility)가 차세대 휴머노이드 ‘디지트 5(Digit 5)’를 공개했다. 디지트 5는 사람과 가까운 거리에서 함께 일할 수 있도록 설계한 로봇이라는 점을 앞세운다. 기존 산업용 로봇이 안전 펜스나 격리된 작업 공간을 전제로 만들어진 것과 달리, 디지트 5는 사람과 같은 공간에서 협업하는 방향으로 설계 축을 옮겼다.

이런 변화를 이끈 것은 새롭게 설계한 원심 감속기(Cycloidal Actuator) 기반 다리 구조다. 반복적인 물건 들기 작업을 견딜 수 있게 특화한 결과, 이전 디지트보다 가반하중이 40% 늘어난 22.7kg(50파운드)의 물건을 들어올린다. 최대로 손을 뻗으면 2.2m까지 닿아 디지트 4의 1.68m를 웃돈다.

작업 범위도 넓어졌다. 물류 창고의 토트(Tote, 물건을 담는 상자) 운반부터 파렛트 해체, 기계 관리, 키팅(부품 세트 구성), 시퀀싱, 품질 검사, 출고용 파렛트 적재까지 대상을 확대했다. 어질리티의 플릿 관리 플랫폼 아크(Arc)가 로봇들을 기존 컨베이어·자율이동로봇(AMR)·창고관리시스템(WMS)과 이어주는 역할을 맡는다.

어질리티는 배터리로 90분간 사용 가능하고, 충전 시간이 9분에 불과해 하루 24시간 가운데 실제 작업 시간은 20시간 이상 확보할 수 있다는 입장이다. 그렇다고 이 수치가 배터리를 한 번 완충해 90분을 연속 가동한다는 뜻은 아니다. 짧게 충전하고 다시 일하는 주기를 반복한다는 의미여서, 다소 아쉬운 대목이다. 결국 안정적인 라인을 유지하려면 다수의 로봇을 갖춰야 한다는 뜻이어서, 중소규모 기업의 도입은 쉽지 않을 전망이다.

협동 안전은 세 가지로 구분된다. 우선 여러 센서와 자체 AI 알고리듬을 조합해 사람을 감지하고, 상황에 따라 로봇이 사람을 피하거나 멈추거나 앉은 자세를 취하도록 만든다. 이어 시각·청각 신호를 통해 로봇이 다음에 어떤 동작을 할지 주변에 알린다. 마지막으로 독립된 안전 제어기가 사람이 가까이 왔을 때 반응을 별도로 감독한다. 다만 어질리티 측은 일부 안전 기능이 여전히 개발 단계이며, 안전장치가 모든 운영 위험을 없애주지는 않는다고 선을 그었다. CE 인증 같은 유럽 시장 진출에 필요한 규제 승인도 아직 취득 전이라는 점을 명시했다.

디지트 5의 사전 접근(Early Access)은 2027년 상반기에 진행되며, 일반 출시는 2027년 하반기가 될 예정이다. 당초 계획했던 2026년 하반기 출시와 비교하면 반년 가량 늦춰진 셈이다. 디지트 5가 시장의 주목을 받으려면 산업 현장에서 꾸준한 성과를 쌓아야 한다. 인명피해 없이 로봇과 사람이 함께 일하는 모습을 보여줄지 기대된다.

하나의 자기회귀 모델로 로봇을 다루는 ‘피즈브레인(PhysBrain) 1.5’

로봇 학습 분야의 고민 중 하나는 환경을 이해하는 능력과 동작을 만들어내는 능력, 미래 상태를 예측하는 능력이 대개 서로 다른 전용 모델로 나뉘어 학습된다는 점이다. 이해 과제는 언어와 좌표, 동작 생성은 시간적으로 구조화한 움직임, 미래 상태 예측은 촘촘한 시각적 출력을 요구한다. 그 결과, 데이터 형식과 세밀함의 정도가 저마다 달라 하나의 학습 목표로 묶기가 어려웠다. 딥시보(DeepCybo)팀이 2026년 9월 14일 공개한 ‘피즈브레인(PhysBrain) 1.5’는 세 가지 능력을 하나의 자기회귀(Autoregressive) 모델로 통합한 8억 매개변수(8B) 규모 피지컬 AI 모델이다.

연구진은 관찰·상호작용·환경 변화로 이어지는 순환을 ‘물리적 고리(Physical Loop)’라 부르며, 이 고리를 모델 학습에 반영하는 데 역량을 모았다. 범용 시각·언어모델 큐원(Qwen)3-VL 인스트럭트를 뼈대로 삼았다.

피즈브레인 1.5는 언어 어휘를 엔드이펙터(로봇 팔 끝단의 작업 장치) 궤적으로 표현하는 액션피스(ActionPiece) 토큰과 미래의 RGB 이미지·심도 지도(장면의 거리 정보를 나타낸 데이터)·로봇 마스크(영상 속 로봇 영역을 구분한 정보)를 표현하는 시각 토큰으로 어휘 체계를 확장했다.

언어와 동작, 시각 상태 목표를 모두 하나의 통합 어휘 집합으로 표현하고, 이를 공유된 자기회귀 백본(큐원3-VL 인스트럭트)이 함께 처리하도록 만들었다. 이렇게 하면 이해를 위한 지각적 감독 신호가 상호작용과 그 결과를 예측하는 데 필요한 맥락을 제공하고, 동작·상태 전이에 대한 감독 신호는 공간적 위치 파악과 궤적 추론에 필요한 물리적 사전 지식을 심어주는 효과를 낳는다.

이 모델의 차별점은 사전학습 감독 신호를 전부 사람의 상호작용 영상에서 가져왔다는 점이다. 엑스퍼리언스-10M, Ego4D, EgoVerse, EgoDex, EgoLife, Ego-Exo4D 같은 공개 데이터에 1인칭과 3인칭을 동시에 녹화한 자체 데이터셋 ‘피즈브레인-휴먼(PhysBrain-Human)’과 전신 자세·손동작·과제 단위 음성까지 담은 전방위(Panoramic) 데이터 ‘피즈브레인-에고360(PhysBrain-Ego360)’을 더해, 약 3만 시간 분량의 영상 말뭉치를 구성했다.

사전학습 이후에는 실제 로봇과 시뮬레이션 상호작용을 더한 구체적 행동(Embodied) 지도 미세조정 단계가 이어진다. 서로 다른 출처마다 동작의 의미와 물리적 단위, 시간 규칙이 제각각이었던 탓에 연구진은 궤적을 16단계의 짧은 동작 묶음으로 표현하고, 상대 회전은 연속적인 6D 표현, 그리퍼는 절대 개폐값으로 처리한 뒤 액션피스 토크나이저(움직임 생성을 위한 엔진)로 이산화했다. 직전 동작 묶음을 국소적 운동 맥락으로 활용하도록 만들어 전역적으로 좌표를 통일하지 않고도 자기회귀 디코더가 각 데이터셋 고유의 움직임 규칙을 스스로 파악해 궤적을 이어가도록 설계했다.

이 밖에 미래 시각 상태는 RGB·깊이·로봇 마스크(영상에서 로봇 영역을 구분한 데이터)를 공간적으로 나란히 배치한 조합으로 모델링하고, 세 모달리티(서로 다른 형태의 데이터)를 공유된 VQ-VAE(이미지 등을 압축해 이산적인 토큰으로 변환하는 생성 모델)로 128×128 해상도에서 토큰화한 뒤, 추론 시에는 동결된 VQ 디코더(학습을 마친 뒤 가중치를 고정한 데이터 복원 모듈)로 각 모달리티를 복원해낸다.

연구팀은 8B 매개변수 수준의 소형 모델임에도 개방형 피지컬 AI 모델 대비 뛰어난 성능을 보인다고 자평했다. 전체 28개 피지컬 AI 모델 벤치마크 평균 점수는 72.5점으로, GPT-6-아스트라(73.3점)나 제미나이 3.6 플래시(73.0점) 같은 폐쇄형 모델과의 격차를 1점 안팎으로 좁혔다고 주장했다. 이해와 동작, 예측을 하나로 묶었음에도 성능 저하를 최소화한 피즈브레인 1.5는 향후 로봇 파운데이션 모델 발전에 영향을 줄 것으로 전망된다.

IT동아 강형석 기자 (redbk@itdonga.com)