SAM3 비디오 추적기

SAM3의 스트리밍 개념 추적기를 사용해 텍스트 프롬프트로 비디오 프레임 간 객체를 분할하고 추적합니다.

실시간 비디오 스트림에서 Segment Anything 3를 프레임 단위로 실행하여, 비디오별 시간적 메모리를 유지함으로써 객체 식별자가 프레임 간에 보존되도록 합니다.

추적할 개념을 텍스트로 입력하세요 class_names (예: ["사람", "지게차"]) - 상위 탐지기는 필요 없습니다. SAM3는 모든 프레임에서 탐지와 추적을 결합해 실행하므로, 스트리밍 도중 장면에 들어오는 개념과 일치하는 객체는 자동으로 포착되어 새로운 tracker_ids. 각 출력 마스크에는 일치한 프롬프트가 클래스 이름으로, 모델의 탐지 점수가 신뢰도로 함께 포함됩니다.

이 블록은 상태를 기준으로 키를 지정해 단일 SAM3 스트리밍 모델을 여러 비디오 스트림에 걸쳐 다중화합니다. video_metadata.video_identifier; 세션은 소스 스트림이 다시 시작되거나 class_names 변경될 때만 다시 시드됩니다. 탐지기 기반(박스 프롬프트) 비디오 추적에는 대신 SAM2 Video Tracker 블록을 사용하세요.

프레임을 한 번에 하나씩 전달하고 각 프레임에 비디오 메타데이터를 태그하는 지속적인 WebRTC 세션에서 사용하도록 설계되었습니다.

유형 식별자

단계에서 다음 식별자를 사용하세요 "type" 필드: roboflow_core/sam3_video@v1 워크플로우에 이 블록을 단계로 추가하려면.

속성

이름	유형	설명	참조
name	str	이 단계에 대한 고유 식별자를 입력하세요..	❌
class_names	Union[List[str], str]	분할 및 추적할 개념을 문구 목록(또는 쉼표로 구분된 단일 문자열)으로 입력하세요. 각 출력 마스크에는 일치한 개념이 클래스 이름으로 포함됩니다..	✅
model_id	str	다음에 의해 해석되는 스트리밍 SAM3 모델 ID inference_models..	✅
임계값	float	출력 마스크의 최소 탐지 점수입니다. 점수는 SAM3의 객체별 개념 탐지 헤드에서 나옵니다..	✅

이 참조 열은 워크플로우 런타임에서 사용 가능한 동적 값으로 속성을 매개변수화할 수 있는 가능성을 나타냅니다 워크플로우 런타임입니다. 자세한 내용은 바인딩 을 참조하세요.

런타임 호환성

소프트 - 런타임 호스팅 서버리스, 전용 배포; 실행 원격; 입력 비디오 : 이 블록은 프로세스 메모리에서 비디오별 상태를 유지합니다(video_metadata.video_identifier로 키 지정). 상태 비저장 또는 다중 복제 HTTP 런타임에서 원격 단계 실행을 사용하면 연속 요청이 서로 다른 작업자 프로세스에서 처리될 수 있으므로, 상태가 호출 사이에 초기화되어 추적 / 카운팅 / 집계를 위한 출력은 의미가 없어집니다. 안정적인 프레임 간 결과를 위해 지속적인 WebRTC 세션에서 로컬 단계 실행을 사용하세요.

하드 - 런타임 self_hosted_cpu; 실행 로컬 : GPU가 필요합니다. 스트리밍 SAM3 비디오 모델에는 CUDA가 필요합니다.

소프트 - 입력 이미지 : 이 블록은 비디오나 반복 프레임 워크플로의 시간적 문맥에 의존합니다. 정지 이미지/사진에는 추적, 비교, 집계 또는 시각화할 의미 있는 히스토리가 없으므로 이 블록은 거의 또는 전혀 이점을 제공하지 않습니다.

입력 및 출력 바인딩

사용 가능한 연결은 바인딩 유형에 따라 달라집니다. 어떤 바인딩 유형인지 확인하세요 SAM3 비디오 추적기 버전 v1 을 가지고 있는지.

입력 및 출력 바인딩

• 입력

  • 이미지 (이미지): 추론할 이미지입니다..

  • class_names (Union[list_of_values, string]): 분할 및 추적할 개념을 문구 목록(또는 쉼표로 구분된 단일 문자열)으로 입력하세요. 각 출력 마스크에는 일치한 개념이 클래스 이름으로 포함됩니다..

  • model_id (roboflow_model_id): 다음에 의해 해석되는 스트리밍 SAM3 모델 ID inference_models..

  • 임계값 (float): 출력 마스크의 최소 탐지 점수입니다. 점수는 SAM3의 객체별 개념 탐지 헤드에서 나옵니다..

• 출력

  • 예측 (instance_segmentation_prediction): 감지된 바운딩 박스와 sv.Detections(...) 객체 형식의 세분화 마스크가 포함된 예측.

예시 JSON 정의

{
	    "name": "<your_step_name_here>",
	    "type": "roboflow_core/sam3_video@v1",
	    "images": "$inputs.image",
	    "class_names": [
	        "사람",
	        "지게차"
	    ],
	    "model_id": "sam3video",
	    "threshold": 0.5
	}