에이전트 설정

로봇 에이전트는 카메라 영상을 보고 로봇을 직접 움직여 작업 지시를 수행합니다. 에이전트는 워크스페이스에 딸려 있어서, 워크스페이스 설정 탭 맨 아래의 에이전트 설정에 적은 값으로 다음 세 곳에서 움직입니다.

• 녹화 — 데이터 탭 녹화 바의 텔레오퍼레이션 타입 에이전트. 에이전트로 녹화를 참고하세요.
• 플래너 — 에이전트 액션 · 에이전트 판단 블록. 블록 추가 / 플랜 실행을 참고하세요.
• 자가학습 — 체크포인트 블록의 교정 방식(텔레오퍼레이션 타입) 에이전트. 교정을 참고하세요.

사전 조건 #

• 모듈 관리에서 Claude (Anthropic) · GPT (ChatGPT 구독) · Gemini (Google) 모듈 중 하나를 설치해야 합니다. 셋 다 없으면 에이전트 설정 칸이 나타나지 않습니다. 설치한 모듈은 설정 → 에이전트에서 연동합니다.
• 워크스페이스에 어셈블리와 로봇, 그리고 에이전트가 볼 카메라가 있어야 합니다. 에이전트는 카메라로만 장면을 봅니다.

에이전트 연동하기 #

에이전트 모듈을 설치한 뒤에는 상단 바의 설정(톱니 아이콘)을 누르고 왼쪽 목록에서 에이전트를 고릅니다. 내 에이전트 (Claude · GPT · Gemini) 아래에 설치한 모듈마다 칸이 따로 있고, 셋 중 하나만 연동해도 됩니다. 여기서 연동한 에이전트는 로봇 에이전트, AI 상담, AI로 플래너 짜기, VLM-DAgger, 자율연구가 함께 씁니다.

• Claude — 구독 토큰 또는 API 키를 토큰 또는 API 키에 붙여 넣고 연동을 누릅니다.
• GPT (ChatGPT 구독) — API 키 없이 ChatGPT 로그인으로 ChatGPT Plus/Pro 계정에 연결합니다. 사용량은 그 구독의 한도에서 빠집니다.
• Gemini (Google) — Google AI Studio 에서 만든 Gemini API 키를 넣습니다. 아래 순서를 따릅니다.

에이전트 모듈이 하나도 없으면 이 화면에 안내와 모듈 관리 열기 버튼이 표시됩니다.

Gemini (Google) 연동 #

Gemini (Google) 모듈을 쓰면 에이전트 기능에서 Google Gemini 모델(기본 Gemini 4 Argon, 더 빠르고 저렴한 Gemini 3.8 Flash 등 — 키를 넣으면 그 키로 쓸 수 있는 Gemini 모델이 모두 보입니다)을 고를 수 있습니다. Google AI Studio(aistudio.google.com)에서 Gemini API 키(AIza… 또는 AQ.… 로 시작)를 먼저 만들어 둡니다.

1. 모듈 관리에서 Gemini (Google) 모듈을 설치합니다.

   상단 바의 퍼즐 조각 아이콘 → 모듈 관리의 확장 기능 칸에서 Gemini (Google) 를 설치하고, 서비스를 재시작합니다. 설치 절차는 모듈 관리와 같습니다.

   📸스크린샷 누락/docs/workspace/agent-08-gemini-module.png

   모듈 관리 다이얼로그 — 확장 기능 칸의 Gemini (Google) 모듈과 설치 버튼

2. 설정 → 에이전트를 열어 Gemini (Google) 칸을 찾습니다.

   상단 바의 톱니 아이콘을 누르고 왼쪽 목록에서 에이전트를 고릅니다. 내 에이전트 (Claude · GPT · Gemini) 아래, 설치한 Claude · GPT 칸 다음에 Gemini (Google) 칸이 있습니다. 아직 키를 넣지 않았으면 회색 연동 안 됨이 표시됩니다.

   📸스크린샷 누락/docs/workspace/agent-09-settings-gemini.png

   설정 창 에이전트 탭 — 내 에이전트 (Claude · GPT · Gemini) 제목, Claude · GPT 칸 아래 Gemini (Google) 칸(연동 안 됨 칩, 연결 다시 확인, Gemini API 키 입력 칸, 연동 버튼)

3. Gemini API 키를 붙여 넣고 연동을 누릅니다.

   Google AI Studio 에서 만든 키를 Gemini API 키 칸(AIza… / AQ.…)에 붙여 넣고 연동을 누르거나 Enter를 누릅니다. 앱이 그 키로 Gemini 를 실제로 한 번 불러 보고 결과를 표시합니다.

   • 연동됨 (초록) — "에이전트가 연동되었습니다." 알림이 뜨고, 칩 옆에 API 키 · 가려진 키가 표시됩니다.
   • 연동 안 됨 (회색) — 칩 아래와 알림에 연동하지 못한 까닭이 표시됩니다. AIza… 나 AQ.… 로 시작하지 않는 키를 넣으면 "Gemini API 키 모양이 아닙니다 — Google AI Studio 에서 만든 키(AIza… 또는 AQ. 로 시작)를 넣으세요."가 표시되고 저장되지 않습니다.

   나중에 연결 상태를 다시 보려면 칸 오른쪽의 연결 다시 확인을 누릅니다.

   📸스크린샷 누락/docs/workspace/agent-10-gemini-connected.png

   Gemini (Google) 칸 — 초록 연동됨 칩, API 키 · 가려진 키 표시, 연결 다시 확인 버튼, 아래 연동 해제 버튼

4. 아래 모델에서 Gemini 모델을 고릅니다 (선택).

   같은 화면 아래쪽 모델에서 고른 모델을 AI 상담, AI로 플래너 짜기, VLM-DAgger, 전략 만들기가 씁니다. 목록에 Gemini 4 Argon · Gemini 3.8 Flash 가 함께 나오고, 고르면 "모델을 저장했습니다." 알림이 뜹니다. 고른 모델의 제공자가 연동되어 있어야 합니다.

   로봇 에이전트의 모델은 여기가 아니라 아래 설정하기의 고급 설정에서 따로 고릅니다.

   📸스크린샷 누락/docs/workspace/agent-11-settings-model.png

   설정 창 에이전트 탭 아래쪽 모델 선택 — 목록에 Claude · GPT 모델과 Gemini 4 Argon · Gemini 3.8 Flash

설정하기 #

설정 칸에서 값을 바꾸면 바로 워크스페이스에 저장됩니다. 따로 누를 저장 버튼은 없고, 칸 맨 아래에 저장 중… 다음 저장됨이 표시됩니다. 저장에 실패하면 그 자리에 빨간 오류 문구가 표시됩니다.

1. 워크스페이스를 고르고 설정 탭 맨 아래의 에이전트 설정을 펼칩니다.

   센서 설정 · 로봇 설정 · 태스크 설정 아래에 에이전트 설정 펼침 칸이 있습니다. 펼치면 맨 위에 이 설정이 어디에 쓰이는지 안내가 보입니다.

   📸스크린샷 누락/docs/workspace/agent-01-section.png

   워크스페이스 설정 탭 맨 아래 에이전트 설정 펼침 칸 — 안내 문구 + 작업 지시 + 시작할 때 홈포즈로 이동 토글

2. 작업 지시를 적고, 홈포즈 이동 여부를 정합니다.

   • 작업 지시 — 에이전트가 할 일입니다. 예: 빨간 큐브를 집어서 흰 접시 위에 올려 줘. 녹화에서 텔레오퍼레이션 타입을 에이전트로 고르면 이 지시대로 움직이고, 플래너에서 에이전트 액션 블록을 새로 만들면 이 설정이 기본으로 들어갑니다. 녹화 바의 자연어 지시를 비워 두면 이 글이 에피소드의 자연어 지시로 저장됩니다.
   • 시작할 때 홈포즈로 이동 — 켜면 플래너의 에이전트 액션 블록이 시작할 때 먼저 홈포즈로 갑니다. 녹화는 이 토글이 아니라 녹화 버튼의 홈포즈 배지를 따릅니다.

   📸스크린샷 누락/docs/workspace/agent-02-instruction.png

   에이전트 설정 — 작업 지시 입력 칸과 안내 문구, 시작할 때 홈포즈로 이동 토글

3. 전략 고르기로 에이전트에게 줄 작업 요령을 고릅니다 (선택).

   전략은 에이전트에게 주는 작업 요령(글)입니다. 전략 고르기를 누르면 실행에 줄 전략 고르기 창이 열립니다.

   • 전략은 모든 워크스페이스가 함께 씁니다. 이 워크스페이스의 워크스페이스 태그가 붙은 전략이 먼저 나오고, 이 워크스페이스 태그만을 켜면 그것만 보입니다. 위쪽 검색 칸으로 제목·내용·워크스페이스 태그를 찾습니다.
   • 전략을 눌러 고르고 고르기 완료를 누릅니다. 최대 8개까지 고를 수 있으며, 고른 전략만 작업 지시와 함께 에이전트에게 갑니다. 고른 전략은 칩으로 표시되고, 칩의 × 로 뺍니다.
   • 전략 만들기에서 제목 · 워크스페이스 태그 · 내용을 적습니다. 내용을 대충 적고 AI로 구체화를 누르면 에이전트가 알아듣기 쉽게 정리합니다. 데이터셋에서 생성을 고르면 시연 데이터셋의 대표 장면을 AI가 보고 전략을 씁니다(AI로 생성, 1분 안팎 걸립니다).
   • 목록의 연필로 고치기, 휴지통으로 전략 지우기를 합니다.

   에이전트가 성공으로 끝낸 실행은 로봇 에이전트 패널의 전략으로 저장으로 전략 초안을 만들 수 있습니다. 이 워크스페이스 태그가 붙은 초안이 열리면 확인하고 고쳐서 저장합니다.

   📸스크린샷 누락/docs/workspace/agent-03-strategy.png

   실행에 줄 전략 고르기 창 — 검색 칸, 이 워크스페이스 태그만 토글, 전략 목록(연필·휴지통), 전략 만들기, 고르기 완료

4. 에이전트가 볼 카메라를 체크하고 캘리브레이션 상태를 확인합니다.

   • 체크한 카메라만 에이전트가 봅니다. 카메라는 위의 센서 설정에서 켜고, 에이전트는 그 카메라 기본 뷰의 크롭 · 회전 · 필터가 적용된 화면을 봅니다.
   • 깊이 카메라에는 Depth 배지가 붙습니다. 깊이 카메라는 화면의 한 점을 로봇 좌표로 바꿀 수 있어 하나는 체크해 두는 것이 좋습니다.
   • 깊이 카메라 줄 아래에는 캘리브레이션 상태가 표시됩니다. "로봇 캘리브 완료 · 오차 N mm"는 초록색, 검증 안 됨 · 오차가 큼 · 캘리브 없음은 주황색입니다. 줄 오른쪽 자 모양 버튼을 누르면 센서 설정과 같은 카메라 캘리브레이션 창이 열립니다.

   📸스크린샷 누락/docs/workspace/agent-04-cameras.png

   에이전트가 볼 카메라 — 카메라 체크박스, Depth 배지, 캘리브 상태 문구(초록/주황), 자 모양 캘리브레이션 버튼

5. 참고 시연을 고릅니다 (선택).

   이 워크스페이스 데이터셋에서 에피소드를 최대 3개까지 고르면, 에이전트가 실행을 시작할 때 그 에피소드의 동작 기록과 장면을 참고합니다. 데이터셋을 고른 뒤 에피소드를 고르면 바로 목록에 칩으로 추가되고, 칩의 × 로 뺍니다. 데이터셋이 지워진 칩은 빨갛게 "데이터셋이 없습니다"로 표시됩니다.

   📸스크린샷 누락/docs/workspace/agent-05-demos.png

   참고 시연 — 데이터셋 / 에피소드 선택 칸과 추가된 에피소드 칩

6. 고급 설정과 안전 기능을 확인합니다.

   고급 설정을 펼치면 다음 항목이 있습니다.

   • EE 오프셋 (cm, 플랜지 → 손끝) — 늘리면 덜 깊게, 줄이면 더 깊게 잡습니다. 에이전트에만 적용되고 로봇 설정과 카메라 캘리브레이션은 바뀌지 않습니다. 바꾼 뒤에는 입력 칸의 되돌리기 버튼으로 로봇 설정값으로 돌아갈 수 있습니다.
   • 모델 · 추론 강도 — 에이전트가 쓸 모델과 생각의 깊이입니다. GPT 모듈이 있으면 GPT 모델이, Gemini 모듈이 있으면 Gemini 4 Argon · Gemini 3.8 Flash 가, Qwen 모듈이 있으면 로컬 모델이 목록에 함께 나옵니다.
     • Gemini 모델을 고르면 모델 칸 아래에 연결 상태가 표시됩니다. 연동되어 있으면 초록색 "Gemini 연결됨 (키 …)", 아니면 주황색 "Gemini 에 연결되지 않았습니다. 설정 → 에이전트에서 Gemini API 키를 넣으세요."입니다. 연동이 안 된 상태에서는 에이전트 설정 칸 맨 위에도 "Gemini 가 연동되지 않아 이 모델을 쓸 수 없습니다. 설정 → 에이전트에서 Gemini API 키를 넣으세요." 안내와 설정에서 연동 버튼이 나타납니다 — 에이전트 연동하기를 참고하세요.
     • Gemini 모델에서 추론 강도는 low · medium · high 세 단계로 쓰입니다. xhigh 와 max 를 고르면 high 와 같게 동작합니다.
   • 호출 예산(회) (기본 30) · 이동 속도(cm/s) (기본 10)
   • 깊이(Depth) 사용 — 화면의 한 점을 로봇 좌표로 바꿔 정확히 찾아갑니다.
   • 한 번에 하는 동작 사용 (집기·놓기·경로 이동) — 켜면 집기 · 놓기 · 경로 이동을 한 번의 판단으로 합니다. 끄면 한 단계씩 판단합니다.
   • 추가 시스템 프롬프트 — 이 워크스페이스에서 에이전트가 늘 지킬 규칙을 적습니다. 예: 물체는 항상 왼쪽 상자에 놓아.

   안전 기능은 기본으로 모두 켜져 있고, 접힌 머리에 모두 켜짐 또는 N개 꺼짐이 표시됩니다.

   • 작업 영역 상자 — 목표가 상자 밖이면 상자 안으로 잘라서 움직입니다. 자동 (시작 위치 기준 ±45cm) 또는 x · y · z 최소/최대를 직접 지정합니다. 실제 로봇에서는 책상 높이에 맞춰 직접 지정하는 것이 좋습니다.
   • 한 번 이동 상한 — 한 번에 움직이는 거리와 회전을 자릅니다(기본 15 cm · 45°).
   • 접촉 멈춤 — 움직이다 닿으면 막힌 방향의 이동만 멈추고 3 mm 물러납니다.
   • 엄격 모드 (약한 모델용 안전장치) — 지금 물체를 쥐고 있는지 보고 잘못된 그리퍼 동작을 막습니다.

   안전 기능을 끄려고 하면 확인 창이 뜨고, 끄기를 눌러야 꺼집니다. 꺼 둔 항목이 있으면 칸 아래에 "안전 기능이 꺼져 있습니다: …" 경고가 빨갛게 표시됩니다.

   📸스크린샷 누락/docs/workspace/agent-06-advanced-safety.png

   고급 설정 펼침(EE 오프셋 · 모델 · 추론 강도 · 호출 예산 · 이동 속도 · 깊이 사용 · 한 번에 하는 동작 · 추가 시스템 프롬프트)과 안전 기능 펼침(작업 영역 상자 · 한 번 이동 상한 · 접촉 멈춤 · 엄격 모드)

7. 음성 안내 설정을 정합니다 (선택).

   칸 아래쪽 요약 줄(예: 화면 언어 따라가기 · 기본) 옆의 음성 안내 설정을 누르면 창이 열립니다.

   • 언어 — 화면 언어 따라가기 · 한국어 · English · 日本語 · 中文
   • 에이전트 이름 · 나를 부르는 호칭 — 비워 두어도 됩니다.
   • 말투 — 기본 · 정중하게 · 친근한 존댓말 · 반말 · 간결한 보고체 · 직접 입력(직접 입력이면 원하는 말투를 적습니다)
   • 미리 듣기 — 고른 설정으로 한 문장을 읽어 봅니다.

   저장을 누르면 다음 실행부터 적용됩니다. 실제로 소리로 읽을지는 실행 중 로봇 에이전트 패널의 음성 스위치로 정합니다.

   📸스크린샷 누락/docs/workspace/agent-07-voice.png

   음성 안내 설정 창 — 언어 · 에이전트 이름 · 나를 부르는 호칭 · 말투 · 미리 듣기 · 저장, 칸 아래 저장됨 표시