SAM2 비디오 추적기

SAM2의 스트리밍 카메라 예측기를 사용해 비디오 프레임 간 객체를 분할하고 추적합니다.

라이브 비디오 스트림에서 Segment Anything 2를 프레임 단위로 실행하여, 비디오별 시간적 메모리를 유지함으로써 프레임 간에도 객체 식별자가 보존되도록 합니다.

상위 검출기(예: YOLO 블록)의 박스 검출 결과를 프롬프트로 입력합니다. 이 블록은 상태를 기준으로 키를 지정하여 단일 SAM2 카메라 예측기를 여러 비디오 스트림에 다중화합니다. video_metadata.video_identifier;에 따라 prompt_mode, 주기적으로 프롬프트를 다시 주입하거나 기존 트랙을 그대로 전파합니다.

프레임을 한 번에 하나씩 전달하고 각 프레임에 비디오 메타데이터를 태그하는 지속적인 WebRTC 세션에서 사용하도록 설계되었습니다.

유형 식별자

단계에서 다음 식별자를 사용하세요 "type" 필드: roboflow_core/segment_anything_2_video@v1 워크플로우에 이 블록을 단계로 추가하려면.

속성

이름	유형	설명	참조
name	str	이 단계에 대한 고유 식별자를 입력하세요..	❌
model_id	str	스트리밍 비디오 트래커 모델 ID는 다음에 의해 해석됩니다 inference_models. 그 sam2video 패밀리는 네 가지 Hiera 백본 크기를 제공합니다; 소형 은 속도와 품질 사이의 기본 절충안입니다. sam3trackervideo 은 SAM3의 시각적 프롬프트 기반 트래커입니다. 더 큰 백본을 사용하며 동일한 프롬프트 계약을 따르고, 장시간 비디오와 혼잡한 장면에서 식별 유지 성능이 현저히 더 좋지만 계산 비용이 더 높습니다..	✅
prompt_mode	str	소비 시점 박스 SAM2 프롬프트로. first_frame 세션당 한 번만 프롬프트를 주고 이후 추적합니다; every_n_frames 매번 다시 시드합니다 prompt_interval 프레임; every_frame 매 프레임마다 다시 시드합니다. 다시 시드가 일어나지 않는 프레임에서는 박스 은 무시되며 블록은 단순히 전파만 합니다..	❌
prompt_interval	정수	다음의 경우 prompt_mode=every_n_frames: N프레임마다 다시 프롬프트를 제공합니다..	✅
임계값	float	출력되는 마스크의 최소 신뢰도..	✅

이 참조 열은 워크플로우 런타임에서 사용 가능한 동적 값으로 속성을 매개변수화할 수 있는 가능성을 나타냅니다 워크플로우 런타임입니다. 자세한 내용은 바인딩 을 참조하세요.

런타임 호환성

소프트 - 런타임 호스팅 서버리스, 전용 배포; 실행 원격; 입력 비디오 : 이 블록은 프로세스 메모리에서 비디오별 상태를 유지합니다(video_metadata.video_identifier로 키 지정). 상태 비저장 또는 다중 복제 HTTP 런타임에서 원격 단계 실행을 사용하면 연속 요청이 서로 다른 작업자 프로세스에서 처리될 수 있으므로, 상태가 호출 사이에 초기화되어 추적 / 카운팅 / 집계를 위한 출력은 의미가 없어집니다. 안정적인 프레임 간 결과를 위해 지속적인 WebRTC 세션에서 로컬 단계 실행을 사용하세요.

하드 - 런타임 self_hosted_cpu; 실행 로컬 : GPU가 필요합니다. 스트리밍 SAM2 비디오 모델은 CUDA가 필요합니다.

소프트 - 입력 이미지 : 이 블록은 비디오나 반복 프레임 워크플로의 시간적 문맥에 의존합니다. 정지 이미지/사진에는 추적, 비교, 집계 또는 시각화할 의미 있는 히스토리가 없으므로 이 블록은 거의 또는 전혀 이점을 제공하지 않습니다.

입력 및 출력 바인딩

사용 가능한 연결은 바인딩 유형에 따라 달라집니다. 어떤 바인딩 유형인지 확인하세요 SAM2 비디오 추적기 버전 v1 을 가지고 있는지.

입력 및 출력 바인딩

• 입력

  • 이미지 (이미지): 추론할 이미지입니다..

  • 박스 (Union[object_detection_prediction, instance_segmentation_prediction, keypoint_detection_prediction]): SAM2 프롬프트로 사용할 바운딩 박스. 블록이 다시 프롬프트를 제공하는 프레임에서만 읽습니다(참조 prompt_mode)..

  • model_id (roboflow_model_id): 스트리밍 비디오 트래커 모델 ID는 다음에 의해 해석됩니다 inference_models. 그 sam2video 패밀리는 네 가지 Hiera 백본 크기를 제공합니다; 소형 은 속도와 품질 사이의 기본 절충안입니다. sam3trackervideo 은 SAM3의 시각적 프롬프트 기반 트래커입니다. 더 큰 백본을 사용하며 동일한 프롬프트 계약을 따르고, 장시간 비디오와 혼잡한 장면에서 식별 유지 성능이 현저히 더 좋지만 계산 비용이 더 높습니다..

  • prompt_interval (정수): 다음의 경우 prompt_mode=every_n_frames: N프레임마다 다시 프롬프트를 제공합니다..

  • 임계값 (float): 출력되는 마스크의 최소 신뢰도..

• 출력

  • 예측 (instance_segmentation_prediction): 감지된 바운딩 박스와 sv.Detections(...) 객체 형식의 세분화 마스크가 포함된 예측.

예시 JSON 정의

{
	    "name": "<your_step_name_here>",
	    "type": "roboflow_core/segment_anything_2_video@v1",
	    "images": "$inputs.image",
	    "boxes": "$steps.object_detection_model.predictions",
	    "model_id": "sam2video/tiny",
	    "prompt_mode": "<block_does_not_provide_example>",
	    "prompt_interval": 30,
	    "threshold": 0.0
	}