에이전트로 녹화

사람이 조종하는 대신 로봇 에이전트가 카메라를 보고 로봇을 움직이게 하고, 그 동작을 시연 에피소드로 저장할 수 있습니다. 에이전트는 워크스페이스 에이전트 설정에 적은 작업 지시대로 움직입니다. 다른 텔레오퍼레이션 타입과 같은 녹화 바에서 시작하고, 저장된 에피소드도 사람이 모은 에피소드와 같은 방식으로 학습에 씁니다.

사전 조건 #

• 모듈 관리에서 Claude (Anthropic) · GPT (ChatGPT 구독) · Gemini (Google) 모듈 중 하나를 설치하고, 설정 → 에이전트에서 연동합니다. 셋 다 없으면 텔레오퍼레이션 타입 목록에 에이전트가 나타나지 않습니다.
• 워크스페이스 설정 탭의 에이전트 설정에서 작업 지시와 에이전트가 볼 카메라를 채웁니다.
• 다른 수집과 마찬가지로 워크스페이스의 로봇과 센서가 모두 켜져 있어야 합니다.

녹화하기 #

1. 데이터 탭의 녹화 바에서 데이터셋을 고르고, 텔레오퍼레이션 타입을 에이전트로 바꿉니다.

   자연어 지시를 비워 두면 에이전트 설정의 작업 지시가 이 에피소드의 자연어 지시로 저장됩니다. 옆의 Hz 칸에서 초당 기록할 프레임 수를 정합니다.

   📸스크린샷 누락/docs/data-collection/agent-01-teleop-type.png

   녹화 바 — 데이터셋 / 자연어 지시 / 텔레오퍼레이션 타입 목록에서 에이전트 선택 / Hz / 녹화 버튼

2. 필요하면 홈포즈 배지를 켜고 녹화 버튼을 누릅니다.

   홈포즈 배지가 켜져 있으면 로봇이 먼저 홈포즈로 간 뒤 에이전트가 움직이기 시작합니다. 에이전트 설정의 시작할 때 홈포즈로 이동은 녹화에 쓰이지 않습니다.

   📸스크린샷 누락/docs/data-collection/agent-02-rec.png

   텔레오퍼레이션 타입이 에이전트인 상태에서 녹화 버튼과 홈포즈 배지

3. 녹화 바 아래 로봇 에이전트 패널에서 진행을 지켜봅니다.

   녹화가 시작되면 녹화 바 아래에 로봇 에이전트 · 에이전트 패널이 나타납니다. 패널에는 상태(실행 중 등), 지금 하는 단계, 호출 수, 작업 지시, 에이전트의 최근 결정과 그때 한 동작이 표시됩니다.

   프레임은 로봇이 움직이는 동안에만 기록됩니다. 에이전트가 화면을 보고 생각하거나 답을 기다리는 동안 로봇이 서 있는 구간은 에피소드에 들어가지 않습니다. 이런 정지 구간이 시연에 섞이면 정책이 멈칫거리는 동작을 배우기 때문입니다.

   📸스크린샷 누락/docs/data-collection/agent-03-panel.png

   녹화 바 아래 로봇 에이전트 · 에이전트 패널 — 상태 · 단계 · 호출 수 · 작업 지시 · 최근 결정 · 입력창 · 마이크 · 음성 스위치 · 에이전트 중지

4. 필요하면 글이나 말로 바로잡습니다.

   • 입력창 — 메시지를 적고 Enter 또는 보내기 버튼을 누르면 에이전트의 다음 결정부터 반영됩니다. 에이전트가 에이전트의 질문을 띄운 상태라면 보낸 메시지가 그 질문의 답이 됩니다.
   • 말로 보내기 — 마이크 버튼을 누르고 말한 뒤 종료를 누르거나, M 키를 누르고 있는 동안 말하고 떼면 그 내용이 바로 에이전트에게 전달됩니다.
   • 음성 스위치 — 패널 머리줄의 스피커 모양 스위치입니다. 켜면 에이전트가 결정마다 남기는 말을 읽어 주고, 다 읽은 뒤에 움직입니다. 녹화 중에도 켜고 끌 수 있습니다. 브라우저가 음성 읽기를 지원할 때만 보이며, 언어 · 이름 · 말투는 에이전트 설정의 음성 안내 설정을 따릅니다.
   • 에이전트 중지 — 에이전트를 멈춥니다. 확인 창에서 한 번 더 누르면 이 에피소드는 저장되지 않습니다.

   📸스크린샷 누락/docs/data-collection/agent-04-intervene.png

   로봇 에이전트 패널 — 에이전트의 질문 상자, 입력창(Enter로 보내기), 마이크 버튼, 머리줄의 음성 스위치(스피커 아이콘)

5. 에이전트가 끝나면 알림으로 저장 여부를 확인합니다.

   • 성공으로 끝낸 경우 — 마지막 몇 프레임에 성공 표시를 남겨 에피소드를 저장하고, "에이전트가 작업을 끝내 에피소드를 저장했습니다." 알림이 뜹니다.
   • 끝내지 못한 경우 — 에이전트가 실패로 끝내거나, 오류가 나거나, 에이전트 중지를 눌렀거나, 작업 대신 인사·대화로 끝났거나, 기록한 프레임이 워크스페이스의 에피소드 길이에 닿으면 에피소드를 저장하지 않고 "에이전트가 작업을 끝내지 못해 이 에피소드는 저장하지 않았습니다." 알림과 그 까닭이 표시됩니다.

   성공으로 끝난 경우 패널의 결과 아래에 전략으로 저장 버튼이 나타납니다. 누르면 AI가 이번 실행의 진행 기록으로 전략 초안을 쓰고, 이 워크스페이스 태그가 붙은 전략 창이 열립니다. 확인하고 고쳐서 저장하면 다음 실행부터 에이전트 설정의 전략 고르기에서 고를 수 있습니다.

   📸스크린샷 누락/docs/data-collection/agent-05-result.png

   에이전트 녹화 결과 — 에피소드 저장 알림과 패널 결과 아래 전략으로 저장 버튼

녹화 중 버튼 #

녹화 중 화면 하단의 버튼과 단축키(1 / 2 / 3 / 4)는 에이전트 녹화에서 다음과 같이 동작합니다.