비전 모델 (커스텀 검출 모델)

학습 페이지 위쪽의 액터 탭 옆에 있는 비전 탭에서는 직접 라벨링한 바운딩박스로 이 현장의 물체만 아는 가볍고 빠른 검출 모델(커스텀 YOLO) 을 만듭니다.

YOLOE · SAM 3 는 이름만 적으면 무엇이든 찾지만 무겁습니다(YOLOE 는 프레임당 수십 ms, SAM 3 는 수백 ms). 현장에서 프레임마다 돌릴 검출기라면 그 현장 물체만 아는 작은 전용 모델이 더 잘 맞습니다. 커스텀 YOLO 는 프레임당 수 ms 로 검출합니다.

학습한 모델은 다음 두 곳에서 씁니다.

• 워크스페이스 → 카메라의 뷰 설정 → 객체 인식 — 그 뷰로 모으는 데이터와 추론 입력에 검출 박스를 입힙니다. 센서 설정 — 객체 인식을 참고하세요.
• 플래너 검출 블록의 검출 엔진 — 물체 감지 · 물체 위치로 이동 · 물체 파지 · 비주얼 서보잉 · 물체 감지 조건 블록과 학습 모델 추론 블록 종료 조건의 오브젝트 감지에서 커스텀 YOLO (비전 모델) 로 고릅니다. 커스텀 YOLO (비전 모델) 로 감지하기를 참고하세요.

모델 하나를 열면 1. 데이터 → 2. 라벨링 → 3. 학습 → 4. 시험 네 개의 탭을 차례로 진행합니다.

모델 만들기 #

1. 학습 페이지에서 워크스페이스를 고르고 비전 탭을 엽니다.

   탭은 액터 · 비전 · 모델 후처리(Enterprise 전용) 순서입니다. 비전 탭에는 고른 워크스페이스의 비전 모델이 카드로 표시됩니다. 카드에는 모델 크기와 찾을 물체, 라벨 진행(라벨 N / M 프레임), 상태(라벨링 중 / 학습 중 / 사용 가능 / 학습 실패 / 중지됨)가 보이고, 학습을 마친 모델은 mAP50 도 함께 표시됩니다. 카드를 우클릭하면 이름 바꾸기 / 삭제 메뉴가 나옵니다.

   📸스크린샷 누락/docs/training/vision-01-tab.png

   학습 페이지 — 액터 옆 비전 탭, 안내 문구, 비전 모델 카드(모델 크기 · 찾을 물체 · 라벨 진행 막대 · 상태 · mAP50)와 + 카드

2. + 카드를 눌러 새 비전 모델을 만듭니다.

   새 비전 모델 창에서 다음을 정하고 추가를 누르면 모델이 만들어지고 바로 열립니다.

   • 모델 이름
   • 모델 구조 — 지금은 YOLO 하나입니다.
   • 모델 크기 — yolo26n(기본, 가장 빠름) · yolo26s(빠름) · yolo26m(정확도 우선) · yolo11n · yolo11s. 크기는 학습할 때 다시 바꿀 수 있습니다.
   • 찾을 물체 (쉼표로 구분) — 예: cup, box. 이름은 나중에 바꿀 수 있습니다.

   📸스크린샷 누락/docs/training/vision-02-create.png

   새 비전 모델 창 — 모델 이름 · 모델 구조(YOLO) · 모델 크기(yolo26n · 2.4M · 가장 빠름 등) · 찾을 물체(쉼표로 구분) + 추가 버튼

1. 데이터 — 물체 목록과 프레임 가져오기 #

1. 찾을 물체 (클래스) 목록을 다듬습니다.

   물체마다 이름과 찾을 말 (영어) 을 적습니다. 이름은 라벨과 모델에 그대로 쓰이고, 찾을 말은 자동 라벨링이 YOLOE · SAM 3 에게 줄 영어 설명입니다(비우면 이름을 씁니다). 물체 추가로 늘리고 × 로 뺀 뒤 저장을 누릅니다. 이름을 바꾸면 이미 친 박스도 따라 바뀝니다.

   📸스크린샷 누락/docs/training/vision-03-classes.png

   1. 데이터 탭 왼쪽 — 찾을 물체 (클래스) 카드: 물체마다 이름 · 찾을 말 (영어) 입력 + × 버튼, 물체 추가 · 저장 버튼

2. 데이터셋과 카메라를 고르고 프레임 가져오기를 누릅니다.

   데이터셋에서 프레임 가져오기 목록에는 이 워크스페이스의 데이터셋이 에피소드 N · 카메라 N · 가져온 프레임 N 과 함께 표시됩니다. 데이터셋을 체크하고, 아래 카메라 칩에서 쓸 카메라를 고른 뒤, 에피소드당 프레임 수(기본 5)를 정하고 프레임 가져오기를 누릅니다. 프레임은 에피소드 길이에 고르게 나눠 뽑으며, 버튼 옆에 가져올 장수(약 N장)가 미리 표시됩니다. 깊이 뷰는 고를 수 없습니다.

   데이터셋에 에피소드를 더 모은 뒤 다시 누르면 새 에피소드만 더해집니다. 가져온 프레임을 지우려면 데이터셋 줄 오른쪽의 가져온 프레임 지우기 버튼을 누릅니다. 그 프레임에 친 라벨도 함께 지워집니다.

   프레임 가져오기 · 자동 라벨링 · 에이전트 라벨링이 도는 동안에는 화면 위쪽에 진행 막대와 멈추기 버튼이 표시됩니다.

   📸스크린샷 누락/docs/training/vision-04-extract.png

   1. 데이터 탭 오른쪽 — 데이터셋에서 프레임 가져오기 목록(체크박스 · 에피소드/카메라/가져온 프레임 수 · 가져온 프레임 지우기), 카메라 칩(깊이 뷰 비활성), 에피소드당 프레임 수, 약 N장, 프레임 가져오기 버튼

2. 라벨링 #

라벨링 탭은 프레임을 가져온 뒤에 열립니다. 화면은 왼쪽 프레임 목록, 가운데 그림, 오른쪽 직접 / 자동 / 에이전트 탭으로 나뉩니다. 프레임 목록 위 보기에서 전체 / 라벨 없음 / 확인 필요 (자동·에이전트) / 라벨 있음 / 물체 없음 으로 걸러 볼 수 있습니다.

1. 직접 — 물체를 고르고 그림에서 클릭하거나 드래그해 박스를 칩니다.

   오른쪽 직접 탭에서 그릴 물체를 고른 뒤 그림에서 물체를 클릭하면 고른 물체의 박스가, 우클릭하면 다른 물체의 박스가 그 물체에 맞춰 쳐집니다. 물체가 둘이면 우클릭은 고르지 않은 쪽 물체입니다. 이미 친 박스를 우클릭하면 그 박스가 다른 물체로 바뀝니다. 클릭 · 우클릭이 각각 어떤 물체의 박스를 치는지는 그림 아래 안내(예: 클릭 = hole 박스 · 우클릭 = bolt 박스 · 박스 우클릭 = 물체 바꾸기)에 표시됩니다.

   클릭한 곳의 박스는 다음 순서로 찾으며, 찾는 동안 그림 위쪽에 작은 로딩 표시가 나타납니다.

   • 이 모델을 학습해 둔 가중치가 있으면 그 모델이 클릭한 자리에서 찾은 박스를 씁니다. 박스의 물체는 모델이 아니라 누른 마우스 버튼으로 정해집니다.
   • 학습 전이거나 모델이 그 자리에서 아무것도 찾지 못하면, 클릭한 곳 둘레에서 주변보다 어둡거나 밝은 작은 덩어리를 찾아 감쌉니다.
   • 그래도 못 찾으면 클릭한 곳을 가운데로 한 정사각형을 칩니다. 크기는 이 모델에 지금까지 저장된 박스의 보통 크기(같은 물체 박스 우선, 없으면 작은 기본 크기)를 따르므로, 모서리를 끌어 물체에 맞춥니다.

   클릭으로 잘 맞지 않는 물체는 빈 곳에서 드래그해 박스를 직접 그립니다. 박스를 드래그하면 옮기고, 모서리를 끌면 크기가 바뀝니다. 박스를 고른 채로 오른쪽 물체 목록에서 물체를 누르거나 1~9 를 누르면 그 박스의 물체가 바뀝니다. 방금 친 박스도 골라진 상태이므로, 다음 박스를 다른 물체로 칠 때는 Esc 로 박스 고르기를 푼 뒤 물체를 고릅니다.

   한 프레임을 다 쳤으면 그림 위쪽의 저장하고 다음(Enter)을 누릅니다. 박스를 찾는 도중에 눌러도 그 박스까지 넣어 저장합니다.

   • 물체 없음으로 저장 — 물체가 안 보이는 프레임도 학습에 쓰입니다(헛것을 잡지 않게).
   • 앞 프레임 박스 복사 — 같은 카메라의 앞 프레임 박스를 그대로 가져옵니다.
   • 고친 것 되돌리기 — 저장하지 않은 편집을 버립니다.
   • 라벨 지우기 — 이 프레임의 라벨을 지웁니다.

   그림 아래에 마우스 조작과 단축키가 안내됩니다.

   조작	동작
   클릭	고른 물체 박스 (물체에 맞춰 쳐짐)
   우클릭	다른 물체 박스
   박스 우클릭	물체 바꾸기
   드래그	박스 직접 그리기
   박스 드래그 / 모서리 드래그	옮기기 / 크기 바꾸기
   1~9	물체 고르기
   Delete	고른 박스 지우기
   Enter	저장하고 다음 (라벨 없는 프레임에서 박스가 없으면 건너뜀)
   E	물체 없음으로 저장
   C	앞 프레임 박스 복사
   ← / →	이전 / 다음 프레임

   📸스크린샷 누락/docs/training/vision-05-label-manual.png

   2. 라벨링 — 왼쪽 프레임 목록(보기 필터), 가운데 그림 위 클릭으로 물체에 맞춰 쳐진 박스와 저장하고 다음 버튼, 그림 아래 클릭 안내(클릭 = … 박스 · 우클릭 = … 박스 · 박스 우클릭 = 물체 바꾸기)와 단축키 안내, 오른쪽 직접 탭(물체 목록 1~9 · 이 프레임의 박스 · 물체 없음으로 저장 · 앞 프레임 박스 복사 · 고친 것 되돌리기 · 라벨 지우기)

2. 자동 — YOLOE 또는 SAM 3 에게 박스를 맡깁니다.

   오른쪽 자동 탭에서 검출 엔진을 고릅니다.

   • YOLOE — 빠릅니다. 직접 그린 박스를 레퍼런스로 쓰면 이름으로 설명하기 어려운 물체도 잘 찾습니다.
   • SAM 3 — 느리지만 텍스트로 더 정확하게 찾는 편입니다. 물체 종류를 정확히 적습니다. SAM 3 모듈이 없으면 SAM 3 (모듈 설치 필요) 로 비활성 표시됩니다.

   물체마다 체크하고 찾을 말 (영어, 쉼표로 여러 개) 과 민감도를 정합니다. YOLOE 에서는 물체마다 직접 그린 박스를 레퍼런스로를 켤 수 있습니다. 켜면 직접 라벨링한 프레임에서 그 물체 박스를 몇 장 골라 YOLOE 에게 "이렇게 생긴 것"을 보여 줍니다 — 몇 장만 손으로 치고 나머지를 맡길 때 씁니다. 직접 그린 박스가 없으면 텍스트로 찾습니다.

   대상 프레임은 라벨 없는 프레임만(기본) / 직접 친 프레임 빼고 전부 / 전부 다시 (직접 친 것도) 중에서 고릅니다.

   먼저 이 프레임에 시험을 누르면 지금 프레임의 결과가 그림에 초안으로 올라옵니다(Enter 로 저장). 괜찮으면 전체 실행을 누릅니다. 끝나면 N장 라벨링 · 박스 N개 · 물체 없음 N장 요약이 표시됩니다.

   📸스크린샷 누락/docs/training/vision-06-label-auto.png

   2. 라벨링 — 오른쪽 자동 탭: 안내 문구, 검출 엔진(YOLOE / SAM 3), 물체별 체크 · 찾을 말 · 민감도 슬라이더 · 직접 그린 박스를 레퍼런스로 토글, 대상 프레임, 이 프레임에 시험 · 전체 실행 버튼, 결과 요약

3. 에이전트 — 설정 → 에이전트의 모델에게 맡깁니다.

   오른쪽 에이전트 탭에서는 에이전트가 YOLOE · SAM 3 를 도구로 써서 찾을 말을 시험하고, 전체에 적용한 뒤, 이상한 프레임을 직접 보고 고칩니다. 모델은 설정 → 에이전트에서 고른 모델을 씁니다.

   • 에이전트에게 (선택) — 라벨 기준을 글로 적습니다. 예: 컵은 손잡이까지 포함해서, 로봇 그리퍼에 가려진 것도 보이는 만큼 쳐 줘
   • 대상 프레임 — 자동 탭과 같습니다.
   • 최대 호출 수 (기본 40) — 에이전트 호출 횟수의 상한으로, 비용을 제한합니다.

   에이전트에게 맡기기를 누르면 시작하고, 진행 중에는 같은 자리의 에이전트 멈추기로 멈춥니다. 호출 수(호출 n / max)와 진행이 표시되고, 아래 진행 기록에 에이전트가 한 일이 글과 그림으로 쌓이며 끝에 요약이 나옵니다. 기록의 그림을 누르면 크게 볼 수 있습니다.

   에이전트가 연동되어 있지 않으면 탭 위쪽에 안내와 설정에서 연동 버튼이 표시되고, 에이전트에게 맡기기는 눌리지 않습니다.

   📸스크린샷 누락/docs/training/vision-07-label-agent.png

   2. 라벨링 — 오른쪽 에이전트 탭: 안내 문구, 에이전트에게 (선택) 입력, 대상 프레임, 최대 호출 수, 에이전트에게 맡기기 버튼, 호출 n / max, 글과 그림이 쌓인 진행 기록

4. 자동 · 에이전트가 친 프레임을 확인합니다.

   자동이나 에이전트가 친 프레임은 목록에 주황색 확인 필요로 남습니다. 보기에서 확인 필요 (자동·에이전트) 를 골라 훑어보고, 맞으면 그대로 Enter(저장하고 다음)로 확인합니다. 틀렸으면 박스를 고친 뒤 저장합니다. 그림 위쪽의 출처 칩(YOLOE 자동 / SAM 3 자동 / 에이전트)은 확인하면 YOLOE 자동 · 확인함 처럼 바뀌고, 박스를 고쳐 저장하면 직접으로 바뀝니다.

   📸스크린샷 누락/docs/training/vision-08-review.png

   2. 라벨링 — 보기를 확인 필요 (자동·에이전트)로 거른 프레임 목록(주황 아이콘)과 그림 위쪽의 YOLOE 자동 출처 칩

3. 학습 #

1. 학습 설정을 확인하고 학습 시작을 누릅니다.

   이 PC 의 GPU 로 학습하며, 보통 몇 분이면 끝납니다.

   • 모델 크기 — 모델을 만들 때 고른 크기를 여기서 바꿀 수 있습니다.
   • 반복 횟수 (epoch) (기본 100) — 전체 프레임을 몇 번 볼지 정합니다. 개선이 멈추면 일찍 끝납니다.
   • 입력 크기 (px) (기본 640) — 작은 물체가 많으면 키웁니다. 32의 배수로 맞춥니다.
   • 배치 크기 (기본 16) — GPU 메모리가 부족하면 줄입니다.
   • 조기 종료 기다림 (기본 30) — 검증 점수가 이만큼 반복하는 동안 오르지 않으면 멈춥니다(0 = 끝까지).
   • 검증 비율 (기본 0.2) — 에피소드 단위로 이만큼을 검증용으로 뺍니다. 같은 에피소드의 프레임은 서로 비슷해서 학습과 검증에 섞지 않습니다.
   • 밝기 변화 폭 (기본 0.4, 최대 0.95) — 학습할 때 그림 밝기를 ±이 비율만큼 무작위로 바꿉니다(0.4 = ±40%). 조명이 자주 바뀌거나 반사가 심한 현장이면 키웁니다.
   • 지금 모델에서 이어 학습 — 이미 학습한 모델에서만 보입니다. 라벨을 조금 더한 뒤 짧게 다시 학습할 때 씁니다. 물체 목록이 같아야 합니다.

   버튼 위에 라벨된 프레임 N장 · 박스 N개로 학습합니다 가 표시됩니다. 박스가 하나도 없으면 학습 시작을 누를 수 없습니다.

   📸스크린샷 누락/docs/training/vision-09-train-settings.png

   3. 학습 탭 왼쪽 — 학습 설정 카드: 모델 크기, 반복 횟수 · 입력 크기 · 배치 크기 · 조기 종료 기다림 · 검증 비율 · 밝기 변화 폭, 지금 모델에서 이어 학습 토글, 라벨된 프레임 수 안내, 학습 시작 버튼

2. 진행과 결과를 확인합니다.

   진행 카드에 진행 막대와 n / N epoch, loss, mAP50, 남은 시간이 표시되고, 아래 학습 기록에 로그가 쌓입니다. 학습이 끝나면 마지막 학습 결과 (검증 프레임) 에 mAP50 · mAP50-95 · 정밀도 · 재현율이 나옵니다. mAP50 이 높을수록 물체를 빠짐없이 정확히 잡습니다.

   학습 중에는 학습 시작 자리에 학습 멈추기가 나옵니다. 멈추면 그때까지 가장 좋았던 가중치를 씁니다. 학습이 실패하면 이전에 학습해 둔 가중치가 그대로 남습니다.

   📸스크린샷 누락/docs/training/vision-10-train-progress.png

   3. 학습 탭 오른쪽 — 진행 카드(상태 칩 · 진행 막대 · n / N epoch · loss · mAP50 · 남은 시간), 마지막 학습 결과(mAP50 · mAP50-95 · 정밀도 · 재현율), 학습 기록 로그

4. 시험 #

1. 라벨 프레임이나 지금 카메라 한 장으로 검출해 봅니다.

   라벨 프레임 / 지금 카메라 중 하나를 고르고 프레임 또는 카메라를 고른 뒤, 민감도를 정하고 검출을 누릅니다. 지금 카메라는 켜져 있는 카메라의 지금 화면(크롭 전 전체)을 씁니다. 결과 그림 아래에 N ms · N개 검출 과 물체별 점수가 표시됩니다.

   왼쪽 아래 어디서 쓰나요? 카드에 이 모델을 쓰는 곳이 안내됩니다.

   📸스크린샷 누락/docs/training/vision-11-test.png

   4. 시험 탭 — 시험해 보기 카드(라벨 프레임 / 지금 카메라 토글 · 프레임 또는 카메라 선택 · 민감도 · 검출 버튼), 어디서 쓰나요? 안내, 오른쪽 결과 그림과 N ms · N개 검출 · 물체별 점수 칩