For the complete documentation index, see llms.txt. This page is also available as Markdown.

SAM3 वीडियो ट्रैकर

वीडियो फ़्रेमों में अवधारणाओं या दृश्य रूप से संकेतित वस्तुओं को ट्रैक करें।

लाइव वीडियो स्ट्रीम पर Segment Anything 3 को फ्रेम दर फ्रेम चलाएँ, प्रत्येक वीडियो के लिए अस्थायी मेमोरी बनाए रखें ताकि ऑब्जेक्ट की पहचानें फ्रेमों के बीच बनी रहें।

उपयोग करें कॉन्सेप्ट मोड टेक्स्ट कॉन्सेप्ट्स को ट्रैक करने के लिए। SAM3 हर फ्रेम में मेल खाते ऑब्जेक्ट्स का पता लगाता है और दृश्य में प्रवेश करने वाले ऑब्जेक्ट्स को ट्रैकर ID असाइन करता है।

उपयोग करें विज़ुअल बिंदुओं या बॉक्सों से ऑब्जेक्ट्स को ट्रैक करने के लिए मोड। ब्लॉक विज़ुअल प्रॉम्प्ट्स को के अनुसार पढ़ता है prompt_mode, फिर प्रॉम्प्ट्स के बीच अस्थायी स्थिति बनाए रखता है। हर बार पुनः-प्रॉम्प्ट करने पर एक नया सत्र शुरू होता है और ट्रैकर ID रीसेट हो जाती हैं।

ब्लॉक एक ही SAM3 स्ट्रीमिंग मॉडल को कई वीडियो स्ट्रीम्स में मल्टीप्लेक्स करता है, स्थिति को इस पर कुंजीबद्ध करके video_metadata.video_identifier. ब्लॉक उपयोग करता है sam3video कॉन्सेप्ट मोड के लिए और sam3trackervideo विज़ुअल मोड के लिए।

के साथ उपयोग के लिए अभिप्रेत InferencePipeline, जो एक बार में एक फ़्रेम देता है और प्रत्येक फ़्रेम को वीडियो मेटाडेटा से टैग करता है।

प्रकार पहचानकर्ता

चरण में निम्नलिखित पहचानकर्ता का उपयोग करें "type" फ़ील्ड: roboflow_core/sam3_video@v1 ताकि ब्लॉक को अपने वर्कफ़्लो में एक चरण के रूप में जोड़ा जा सके।

गुण

नाम

प्रकार

विवरण

संदर्भ

नाम

str

इस चरण के लिए एक अद्वितीय पहचानकर्ता दर्ज करें..

❌

tracking_mode

str

उपयोग करें कॉन्सेप्ट टेक्स्ट प्रॉम्प्ट्स के लिए। उपयोग करें विज़ुअल बिंदु या बॉक्स प्रॉम्प्ट्स के लिए..

❌

class_names

Optional[List[str], str]

सेगमेंट और ट्रैक करने के लिए कॉन्सेप्ट्स, वाक्यांशों की सूची के रूप में (या एकल कॉमा-सेपरेटेड स्ट्रिंग के रूप में)। प्रत्येक उत्सर्जित मास्क अपने मेल खाते कॉन्सेप्ट को अपने class name के रूप में ले जाता है..

✅

बिंदु

List[Any]

एक ऑब्जेक्ट के लिए लेबल किए गए बिंदु। पॉज़िटिव बिंदु क्षेत्रों को शामिल करते हैं। नेगेटिव बिंदु क्षेत्रों को बाहर करते हैं..

✅

model_id

str

कॉन्सेप्ट ट्रैकिंग के लिए स्ट्रीमिंग SAM3 मॉडल ID..

✅

visual_model_id

str

विज़ुअल ट्रैकिंग के लिए स्ट्रीमिंग SAM3 मॉडल ID..

✅

prompt_mode

str

जब विज़ुअल मोड अपने प्रॉम्प्ट्स पढ़ता है। first_frame प्रॉम्प्ट्स को एक बार पढ़ता है। every_n_frames उन्हें चुने गए अंतराल पर पढ़ता है। every_frame उन्हें हर फ्रेम पर पढ़ता है। हर पुनः-प्रॉम्प्ट एक नया सत्र शुरू करता है और ट्रैकर ID रीसेट कर देता है..

❌

prompt_interval

int

के लिए विज़ुअल प्रॉम्प्ट अंतराल every_n_frames मोड। निर्धारित पुनः-प्रॉम्प्ट एक नया सत्र शुरू करता है..

✅

सीमा

float

उत्सर्जित मास्कों के लिए न्यूनतम विश्वास स्तर। कॉन्सेप्ट मोड SAM3 डिटेक्शन स्कोर का उपयोग करता है। विज़ुअल मोड प्रॉम्प्ट विश्वास का उपयोग करता है..

✅

यह संदर्भ कॉलम उस संभावना को चिह्नित करता है कि प्रॉपर्टी को गतिशील मानों के साथ पैरामीटराइज़ किया जा सकता है, जो उपलब्ध हैं वर्कफ़्लो रनटाइम में। देखें बाइंडिंग्स अधिक जानकारी के लिए।

रनटाइम संगतता

सॉफ्ट - रनटाइम hosted_serverless, dedicated_deployment; निष्पादन रिमोट; इनपुट वीडियो : ब्लॉक प्रति-वीडियो स्थिति को प्रक्रिया मेमोरी में बनाए रखता है (video_metadata.video_identifier द्वारा key किया गया)। Stateless या multi-replica HTTP runtimes पर remote step execution के साथ, क्रमिक अनुरोध अलग-अलग worker processes द्वारा सर्व किए जा सकते हैं, इसलिए calls के बीच state reset हो जाता है और tracking / counting / aggregation के लिए output अर्थहीन हो जाता है। स्थिर cross-frame results के लिए InferencePipeline में local step execution का उपयोग करें।

कठिन - रनटाइम self_hosted_cpu; निष्पादन स्थानीय : इसके लिए GPU आवश्यक है; स्ट्रीमिंग SAM3 वीडियो मॉडल को CUDA की आवश्यकता होती है।

सॉफ्ट - इनपुट छवि : ब्लॉक वीडियो या repeated-frame workflows से प्राप्त temporal context पर निर्भर करता है। एक स्थिर image/photo के साथ, ट्रैक करने, तुलना करने, एकत्रित करने या दृश्यीकृत करने के लिए कोई अर्थपूर्ण history नहीं होती, इसलिए यह ब्लॉक बहुत कम या कोई लाभ नहीं देता।

कठिन - निष्पादन रिमोट : REMOTE step execution के तहत, हर runtime और हर input के लिए run() NotImplementedError फेंकता है: यह ब्लॉक प्रति-वीडियो state को अपनी instance में रखता है और केवल LOCAL step execution का समर्थन करता है।

इनपुट और आउटपुट बाइंडिंग्स

उपलब्ध कनेक्शन इसके बाइंडिंग प्रकारों पर निर्भर करते हैं। जाँचें कि कौन-से बाइंडिंग प्रकार SAM3 वीडियो ट्रैकर संस्करण में v1 हैं।

इनपुट और आउटपुट बाइंडिंग्स
  • इनपुट

    • छवियाँ (छवि): जिस छवि पर अनुमान लगाना है..

    • class_names (Union[list_of_values, string]): सेगमेंट और ट्रैक करने के लिए कॉन्सेप्ट्स, वाक्यांशों की सूची के रूप में (या एकल कॉमा-सेपरेटेड स्ट्रिंग के रूप में)। प्रत्येक उत्सर्जित मास्क अपने मेल खाते कॉन्सेप्ट को अपने class name के रूप में ले जाता है..

    • बिंदु (labeled_points): एक ऑब्जेक्ट के लिए लेबल किए गए बिंदु। पॉज़िटिव बिंदु क्षेत्रों को शामिल करते हैं। नेगेटिव बिंदु क्षेत्रों को बाहर करते हैं..

    • बॉक्स (Union[instance_segmentation_prediction, keypoint_detection_prediction, object_detection_prediction]): विज़ुअल ट्रैकिंग के लिए बाउंडिंग बॉक्स। ब्लॉक प्रत्येक बॉक्स के लिए एक ऑब्जेक्ट को ट्रैक करता है..

    • model_id (roboflow_model_id): कॉन्सेप्ट ट्रैकिंग के लिए स्ट्रीमिंग SAM3 मॉडल ID..

    • visual_model_id (roboflow_model_id): विज़ुअल ट्रैकिंग के लिए स्ट्रीमिंग SAM3 मॉडल ID..

    • prompt_interval (integer): के लिए विज़ुअल प्रॉम्प्ट अंतराल every_n_frames मोड। निर्धारित पुनः-प्रॉम्प्ट एक नया सत्र शुरू करता है..

    • सीमा (float): उत्सर्जित मास्कों के लिए न्यूनतम विश्वास स्तर। कॉन्सेप्ट मोड SAM3 डिटेक्शन स्कोर का उपयोग करता है। विज़ुअल मोड प्रॉम्प्ट विश्वास का उपयोग करता है..

  • आउटपुट

    • भविष्यवाणियाँ (instance_segmentation_prediction): पहचाने गए bounding boxes और segmentation masks के साथ sv.Detections(...) ऑब्जेक्ट के रूप में prediction.

उदाहरण JSON परिभाषा

अंतिम अपडेट

क्या यह उपयोगी था?