CLIP का उपयोग करें

वीडियो के फ्रेम्स पर CLIP चलाएँ।

CLIP एक ज़ीरो-शॉट वर्गीकरण मॉडल है जिसका उपयोग आप निम्नलिखित के लिए कर सकते हैं:

1. छवियों को वर्गीकृत करें;

2. छवियों को क्लस्टर करें;

3. किसी टेक्स्ट प्रॉम्प्ट और एक छवि के बीच समानता की तुलना करें;

4. दो छवियों के बीच समानता की तुलना करें, और भी बहुत कुछ।

Roboflow Video Inference API आपके वीडियो के फ्रेम्स के लिए कच्चे CLIP एम्बेडिंग्स (आपके द्वारा चुने गए मॉडल के अनुसार 512 या 768 डाइमेंशन्स में) वापस कर सकता है या टेक्स्ट या इमेज वेक्टर की तुलना कर सकता है और प्रत्येक फ्रेम के लिए एक कोसाइन समानता स्कोर वापस कर सकता है।

Video Inference API के साथ CLIP का उपयोग करें

सबसे पहले, Roboflow Python पैकेज इंस्टॉल करें:

pip install roboflow

इसके बाद, एक नया Python फ़ाइल बनाएं और निम्न कोड जोड़ें:

from roboflow import Roboflow, CLIPModel

rf = Roboflow(api_key="API_KEY")
model = CLIPModel()

job_id, signed_url, expire_time = model.predict_video(
    "football-video.mp4",
    fps=5,
    prediction_type="batch-video",
)

results = model.poll_until_video_results(job_id)

print(results)

ऊपर दिए गए में, बदलें:

• API_KEY: अपने Roboflow API key के साथ

• PROJECT_NAME: अपने Roboflow project ID के साथ।

• MODEL_ID: अपने Roboflow model ID के साथ।

जानें कि अपना API key कैसे प्राप्त करें.

जानें कि model ID कैसे प्राप्त करें.