CLIP का उपयोग करें

वीडियो के फ्रेम्स पर CLIP चलाएँ।

CLIP एक शून्य-शॉट वर्गीकरण मॉडल है जिसे आप उपयोग कर सकते हैं:

1. छवियों को वर्गीकृत करने के लिए;

2. छवियों को क्लस्टर करने के लिए;

3. एक टेक्स्ट प्रॉम्प्ट और एक छवि के बीच समानता की तुलना करने के लिए;

4. दो छवियों के बीच समानता की तुलना करने के लिए, और अधिक।

Roboflow Video Inference API आपके वीडियो के फ़्रेम्स के लिए कच्चे CLIP एम्बेड़िंग्स लौटा सकता है (आपके द्वारा चुने गए मॉडल के आधार पर 512 या 768 डायमेंशन्स में) या टेक्स्ट या इमेज वेक्टरों की तुलना कर सकता है और प्रत्येक फ़्रेम के लिए कॉसाइन समानता स्कोर लौटाता है।

Video Inference API के साथ CLIP का उपयोग करें

सबसे पहले, Roboflow Python पैकेज इंस्टॉल करें:

pip install roboflow

अगला, एक नया Python फ़ाइल बनाएं और निम्नलिखित कोड जोड़ें:

from roboflow import Roboflow, CLIPModel

rf = Roboflow(api_key="API_KEY")
model = CLIPModel()

job_id, signed_url, expire_time = model.predict_video(
    "football-video.mp4",
    fps=5,
    prediction_type="batch-video",
)

results = model.poll_until_video_results(job_id)

print(results)

ऊपर, बदलें:

• API_KEY: अपने Roboflow API key के साथ

• PROJECT_NAME: अपने Roboflow project ID के साथ।

• MODEL_ID: अपने Roboflow model ID के साथ।

जानें कि अपना API key कैसे प्राप्त करें.

जानें कि model ID कैसे प्राप्त करें.