엑스와이지, 세미 휴머노이드 ‘듀스’ 피지컬 AI 학습 파이프라인 공개…현장 실패 재학습으로 파지 성공률 90% 달성
2026년 11월 20일

엑스와이지, 세미 휴머노이드 ‘듀스’ 피지컬 AI 학습 파이프라인 공개…현장 실패 재학습으로 파지 성공률 90% 달성

AI 로보틱스 기업 엑스와이지(XYZ, 대표 황성재)가 세미 휴머노이드 로봇 ‘듀스(DEUX)’의 피지컬 AI 학습 파이프라인을 구축하고 관련 기술을 공개했다. 이 파이프라인은 시연 데이터 수집, 모델 학습, 로봇 배포, 현장 검증을 하나의 루프로 연결한 구조로, 데이터를 일괄적으로 늘리는 대신 실제 현장에서 로봇이 어려움을 겪은 실패 유형을 찾아 해당 취약점을 보완하는 시연 데이터를 추가 학습한 뒤 다시 검증하는 데 초점을 맞췄다.

엑스와이지는 이 구조를 컨베이어 빵 봉지 분류 작업에 적용했다. 듀스 두 대가 이동하는 트레이에서 빵 봉지를 집어 바코드를 스캔한 뒤 옆 트레이로 옮기는 작업으로, 먼저 다양한 상황을 담은 시연 데이터 1,200건으로 모델을 학습했다. 현장 검증 과정에서는 봉투를 놓친 뒤 다시 잡지 못하는 경우와 약 90도 회전된 봉투를 파지하지 못하는 경우가 주요 과제로 도출됐다.

엑스와이지는 각 실패 유형에 맞춘 시연 데이터를 약 200건씩 추가해 모델을 미세조정했다. 그 결과 봉투 파지 실패 후 복구 성공률은 0%에서 약 85%로, 회전 봉투 파지 성공률은 약 10%에서 약 90%로 높아졌다. 반면 학습 데이터에서 충분히 다루지 않은 대각선 방향 봉투에서는 오프라인 예측 평가에서 뚜렷한 개선이 나타나지 않아, 특정 상황의 성능을 높이는 것과 다양한 조건에 대응하는 범용성을 확보하기 위해서는 반복적인 학습과 검증이 필요하다는 점도 확인했다.

데이터 수집과 모델 배포가 동일한 제어 흐름을 따르도록 설계한 점도 특징이다. 작업자는 메타 퀘스트3(Meta Quest 3)나 리더암(leader arm)으로 듀스를 원격 조종하고, 이때 로봇에 전달되는 관절 단위 명령을 그대로 기록한다. 이에 따라 학습한 모델을 현장에 적용할 때는 명령을 보내는 주체만 사람에서 모델로 전환하면 되며 하위 제어 시스템은 그대로 유지할 수 있다.

모델 학습에는 엔비디아의 비전·언어·행동(VLA) 파운데이션 모델 ‘아이작 GR00T N1.7(Isaac GR00T N1.7)’을 활용했다. 듀스의 시연 데이터로 미세조정한 모델은 짧은 동작 단위의 명령을 생성하며 이를 이어 붙여 로봇의 움직임을 구현한다. 데이터 수집 과정에서는 카메라와 센서 기록 상태를 실시간으로 점검하고, 듀스에 탑재된 컴퓨터 세 대를 정밀 시간 동기화 기술인 PTP(Precision Time Protocol)로 약 1밀리초 이내 오차로 맞춘다.

학습을 마친 작업은 엑스와이지의 로봇 지능 플랫폼 ‘브레인엑스(BrainX)’에 ‘스킬’로 축적된다. 브레인엑스는 작업을 단계별로 나누어 표준화된 동작은 정해진 행동으로 처리하고 유연한 판단이 필요한 작업은 VLA 모델에 맡기며, 학습 파이프라인을 반복해 쌓은 스킬을 실제 작업 수행에 활용한다.

황성재 엑스와이지 대표는 “피지컬 AI의 경쟁력은 로봇이 현장에서 겪은 실패를 얼마나 빠르게 다음 학습으로 연결하느냐에 달려 있다”며 “학습 루프를 반복해 듀스가 수행할 수 있는 업무를 늘리고 리테일과 오피스 등 실제 서비스 현장으로 적용을 넓혀 가겠다”고 설명했다. 한편 엑스와이지 로봇지능화팀이 공개한 피지컬 AI 학습 파이프라인의 세부 기술과 적용 사례는 미디엄(Medium)에서 확인할 수 있다.

이미지 제공: 엑스와이지

beSUCCESS is a professional media company with a particular focus on startups and tech industry | beSUCCESS는 국내 기업의 해외 진출을 지원하는 미디어 회사로, 실리콘밸리를 포함한 전세계 테크 트렌드와 스타트업 뉴스, 기업가 정신 등 국내 스타트업의 인사이트 확대를 위해 필요한 외신 정보를 직·간접적으로 제공할 뿐만 아니라, 한국의 스타트업 생태계와 출시 소식 등 주요 뉴스를 영문으로 세계 각국에 제공해 한국 스타트업의 글로벌 성공을 지원하는 '연결'의 역할을 합니다.

Comments are closed.