CLIPを使用
動画内のフレームでCLIPを実行します。
CLIPはゼロショット分類モデルで、以下の用途に使用できます:
画像を分類する;
画像をクラスタリングする;
テキストプロンプトと画像の類似度を比較する;
2つの画像の類似度を比較する、など。
Roboflow Video Inference APIは、動画内のフレームに対して生のCLIP埋め込み(選択したモデルに応じて512または768次元)を返すことができ、またはテキストや画像ベクトルを比較して各フレームのコサイン類似度スコアを返すことができます。
Video Inference APIでCLIPを使う
まず、RoboflowのPythonパッケージをインストールします:
pip install roboflow
次に、新しいPythonファイルを作成し、以下のコードを追加します:
from roboflow import Roboflow, CLIPModel
rf = Roboflow(api_key="API_KEY")
model = CLIPModel()
job_id, signed_url, expire_time = model.predict_video(
"football-video.mp4",
fps=5,
prediction_type="batch-video",
)
results = model.poll_until_video_results(job_id)
print(results)
上記の内容を次のように置き換えてください:
API_KEY
:あなたのRoboflow APIキーに置き換えてくださいPROJECT_NAME
:あなたのRoboflowプロジェクトIDに置き換えてください。MODEL_ID
:あなたのRoboflowモデルIDに置き換えてください。
Last updated
Was this helpful?