training

Policy 선택·생성 (Step 2)

ACT, Diffusion, PI0, 직접 만든 모델(Custom) 중에서 고르거나 기존 체크포인트를 fine-tune.

최근 확인 버전: v5.0.0

Step 2에서는 어떤 **정책 (policy)**을 학습할지 결정합니다.

새 정책 만들기

    1. Select Policy 셀렉트를 펼칩니다.

      기존 정책 목록 + Create New Policy + 옵션이 보입니다.

      스크린샷 누락/docs/training/policy-01-select.png

      Policy 셀렉트 펼침

    2. Create New Policy +를 누릅니다.

      하단에 정책 폼이 나타납니다.

      Create New Policy 폼

    3. Policy Type을 선택하면 타입별 파라미터 폼이 표시됩니다.

      • ACT — 가장 빠르고 안정적. 처음 학습하기 좋음
      • Diffusion — 다양한 동작 분포 학습에 강함. 학습/추론 둘 다 느림
      • PI0 — 멀티모달 입력 처리에 강함. 큰 데이터셋이 필요
      • Custom — 직접 구현한 모델을 씁니다. 아래 직접 만든 모델 사용 참고

      ACT/Diffusion 등에서는 pretrained_backbone_weights 항목으로 ImageNet pretrained 가중치를 시작점으로 쓸지 결정할 수 있습니다.

      ACT의 vision_backbone 셀렉트에서 다음 옵션을 고를 수 있습니다.

      • resnet18 / resnet34 / resnet50 — 기존 CNN 백본. 가볍고 빠릅니다.
      • dinov2-small / dinov2 / dinov3 — Meta의 자기지도 학습 비전 트랜스포머. 적은 데이터에서도 좋은 표현을 학습하지만 메모리·연산 비용이 더 큽니다.

      DINOv2 / DINOv3 백본을 선택했을 때만 의미 있는 옵션도 있습니다 (예: partial unfreeze — 백본 마지막 몇 블록만 풀어 미세조정). ResNet 경로에서는 무시됩니다.

      정책 파라미터 폼 — 타입별 하이퍼파라미터 + pretrained_backbone_weights

    4. 이름을 입력하고 Save 또는 Save As로 저장합니다.

      스크린샷 누락/docs/training/policy-04-save-as.png

      Save Policy As 다이얼로그

직접 만든 모델 사용 (Custom)

모델 구조에서 Custom 을 고르면 직접 구현한 모델로 학습·추론합니다. 파이썬 파일 하나면 되고, 여러 파일로 나눠도 됩니다.

    1. 모델 구조에서 Custom 을 고르고 모델 파일을 지정합니다.

      경로 칸의 파일 선택 버튼(빈 칸을 눌러도 열립니다)으로 내 PC 의 .py 를 고르면 파일이 /opt/easytrainer/custom_models/ 에 올라가고 경로가 자동으로 채워집니다. 이미 서버에 있는 파일이라면 경로를 직접 입력해도 됩니다.

      Custom 에는 고급 설정이 없습니다. 정하는 값은 다섯 개뿐입니다 — 모델 파일 경로 · 행동 청크 길이 · 관측 스텝 수 · 관측 상태 · 행동 종류. 행동 청크 길이는 모델이 한 번에 내놓는 미래 행동 스텝 수로, 모델 설정의 값과 같아야 합니다.

    2. 경로 옆 ? 버튼으로 파일이 지켜야 할 형식을 확인합니다.

      다이얼로그에 계약(상속해야 하는 클래스, 구현해야 하는 함수, 배치에 들어오는 값)과 복사해서 고쳐 쓸 수 있는 예제 코드가 들어 있습니다.

    3. 검증 버튼으로 파일이 실제로 도는지 확인합니다.

      가짜 관측 한 배치로 학습 forward 와 추론 predict_action_chunk / select_action 을 한 번씩 실제로 돌려보고, 단계별 결과를 그 자리에 보여줍니다. 형식이 어긋나면 학습을 시작하기 전에 여기서 드러납니다.

    4. 평소처럼 학습을 시작합니다.

      데이터셋 선택·학습 파라미터·학습 큐·추론은 다른 모델 구조와 완전히 같습니다.

하이퍼파라미터 도움말

정책 폼의 각 하이퍼파라미터(learning_rate, chunk_size, lora_rank 등) 라벨 옆에는 노란 ? 아이콘이 붙어 있습니다. 누르면 정책 타입에 맞춰 쉬운 설명 / 자세한 설명으로 나뉜 도움말 다이얼로그가 뜹니다. 자세한 사용법은 학습 파라미터를 참고하세요.

기존 체크포인트 이어 학습 (Fine-tune)

상단의 Load Model from Checkpoint 셀렉트에서 이전 체크포인트를 고르면 그 가중치로 시작해 추가 학습합니다. 정책 타입과 이름은 자동으로 잠깁니다.