CLIPを使用

動画内のフレームでCLIPを実行します。

CLIPはゼロショット分類モデルで、以下の用途に使用できます:

  1. 画像を分類する;

  2. 画像をクラスタリングする;

  3. テキストプロンプトと画像の類似度を比較する;

  4. 2つの画像の類似度を比較する、など。

Roboflow Video Inference APIは、動画内のフレームに対して生のCLIP埋め込み(選択したモデルに応じて512または768次元)を返すことができ、またはテキストや画像ベクトルを比較して各フレームのコサイン類似度スコアを返すことができます。

Video Inference APIでCLIPを使う

まず、RoboflowのPythonパッケージをインストールします:

pip install roboflow

次に、新しいPythonファイルを作成し、以下のコードを追加します:

from roboflow import Roboflow, CLIPModel

rf = Roboflow(api_key="API_KEY")
model = CLIPModel()

job_id, signed_url, expire_time = model.predict_video(
    "football-video.mp4",
    fps=5,
    prediction_type="batch-video",
)

results = model.poll_until_video_results(job_id)

print(results)

上記の内容を次のように置き換えてください:

  • API_KEY:あなたのRoboflow APIキーに置き換えてください

  • PROJECT_NAME:あなたのRoboflowプロジェクトIDに置き換えてください。

  • MODEL_ID:あなたのRoboflowモデルIDに置き換えてください。

APIキーの取得方法を学ぶ.

モデルIDの取得方法を学ぶ.

Last updated

Was this helpful?