SAM2動画トラッカー

SAM2のストリーミングカメラ予測器を使って、動画フレーム間でオブジェクトをセグメント化し追跡します。

ライブ動画ストリーム上で Segment Anything 2 をフレームごとに実行し、動画ごとの時系列メモリを保持して、フレーム間でオブジェクトの同一性が維持されるようにします。

上流の検出器（例: YOLO ブロック）からのバウンディングボックス検出をプロンプトとして入力します。このブロックは、状態をキーとして 1 つの SAM2 カメラ予測器を多数の動画ストリームに多重化します。 video_metadata.video_identifier；以下に応じて prompt_mode、プロンプトを定期的に再シードするか、既存のトラックをそのまま伝播するかのいずれかです。

1 フレームずつ配信し、各フレームに動画メタデータを付与する永続的な WebRTC セッションでの使用を想定しています。

型識別子

ステップで次の識別子を使用してください "type" フィールド： roboflow_core/segment_anything_2_video@v1 ワークフローにこのブロックをステップとして追加するには。

プロパティ

名前	型	説明	参照
name	str	このステップの一意の識別子を入力してください。	❌
model_id	str	ストリーミング動画トラッカーモデル ID は次によって解決されます inference_models。 sam2video ファミリーには 4 つの Hiera バックボーンサイズが用意されています。 small は、速度と品質のバランスにおけるデフォルトの選択です。 sam3trackervideo は SAM3 の視覚プロンプト付きトラッカーです。より大きなバックボーンを使い、同じプロンプト契約を持ち、長い動画や混雑したシーンでの同一性保持が大幅に向上しますが、その分計算コストは高くなります。。	✅
prompt_mode	str	消費のタイミング ボックス SAM2 のプロンプトとして。 first_frame セッションごとに 1 回プロンプトを与え、その後トラッキングします； every_n_frames ごとに再シードします prompt_interval フレーム； every_frame 毎フレーム再シードします。再シードが行われないフレームでは、 ボックス は無視され、ブロックは単純に伝播します。。	❌
prompt_interval	整数	次の場合は prompt_mode=every_n_frames：N フレームごとに再プロンプトします。。	✅
のしきい値と比較します	float	出力されるマスクの最小信頼度。。	✅

この 参照 列は、で利用可能な動的値を使ってプロパティをパラメータ化できる可能性を示します ワークフロー 実行時。参照 バインディング 詳細は。

ランタイム互換性

soft - ランタイム hosted_serverless, dedicated_deployment；実行 リモート; 入力 動画 このブロックは、プロセスメモリ内に動画ごとの状態を保持します（video_metadata.video_identifier をキーとする）。ステートレスまたは複数レプリカのHTTPランタイムでリモートステップ実行を行うと、連続するリクエストが別々のワーカープロセスによって処理される可能性があるため、呼び出し間で状態がリセットされ、追跡／カウント／集計には意味のない出力になります。安定したフレーム間結果を得るには、永続的な WebRTC セッションでローカルステップ実行を使用してください。

ハード - ランタイム self_hosted_cpu；実行 ローカル ：GPU が必要です。ストリーミング SAM2 動画モデルには CUDA が必要です。

soft - 入力 image このブロックは、動画または繰り返しフレームのワークフローからの時間的コンテキストに依存します。静止画像／写真では、追跡、比較、集計、可視化に使える意味のある履歴がないため、このブロックの利点はほとんど、またはまったくありません。

入力と出力のバインディング

利用可能な接続は、そのバインディング種別によって異なります。どのバインディング種別が SAM2動画トラッカー のバージョン v1 あるか確認してください。

入力と出力のバインディング

• 入力

  • images (image): 推論対象の画像です..

  • ボックス (Union[object_detection_prediction, instance_segmentation_prediction, keypoint_detection_prediction]）：SAM2 のプロンプトとして使用するバウンディングボックス。ブロックが再プロンプトするフレームでのみ読み取られます（参照 prompt_mode)..

  • model_id (roboflow_model_id）：次によって解決されるストリーミング動画トラッカーモデル ID inference_models。 sam2video ファミリーには 4 つの Hiera バックボーンサイズが用意されています。 small は、速度と品質のバランスにおけるデフォルトの選択です。 sam3trackervideo は SAM3 の視覚プロンプト付きトラッカーです。より大きなバックボーンを使い、同じプロンプト契約を持ち、長い動画や混雑したシーンでの同一性保持が大幅に向上しますが、その分計算コストは高くなります。。

  • prompt_interval (整数）：用 prompt_mode=every_n_frames：N フレームごとに再プロンプトします。。

  • のしきい値と比較します (float）：出力されるマスクの最小信頼度。。

• 出力

  • predictions (instance_segmentation_prediction): 検出されたバウンディングボックスとセグメンテーションマスクを sv.Detections(...) オブジェクトの形式で持つ予測。

JSON 定義の例

{
	    "name": "<your_step_name_here>",
	    "type": "roboflow_core/segment_anything_2_video@v1",
	    "images": "$inputs.image",
	    "boxes": "$steps.object_detection_model.predictions",
	    "model_id": "sam2video/tiny",
	    "prompt_mode": "<block_does_not_provide_example>",
	    "prompt_interval": 30,
	    "threshold": 0.0
	}