CLIP

Serverless Hosted API を通じて OpenAI の CLIP model を使用します

私たちはOpenAIの CLIP 画像とテキストの埋め込みを生成し、それらのゼロショット類似度比較を行うためのモデルを、私たちの Serverless Hosted APIを通じてサポートしています。以下の3つのエンドポイントを公開しています:

• /clip/embed_image、画像の埋め込みベクトルを返します

• /clip/embed_text、文字列または文字列のリストの埋め込みベクトルを返します

• /clip/compare、対象とプロンプトのリスト間の類似度スコアを返します

埋め込みはキャッシュして、分類、検索、クラスタリング、セマンティック検索などのタスクに再利用できます。より広い利用方法の詳細については、 推論ドキュメント.

コードサンプル

以下は、画像をテキストラベルのリストと比較するコードサンプルです。HTTPエンドポイントを直接呼び出すには curl、または inference-sdk ラッパー。

HTTP (curl)

1

API Key を取得する

Roboflow アカウントを作成し、キーを次の場所で見つけます Roboflow API 設定ページ そしてシェルで利用できるようにします:

export ROBOFLOW_API_KEY="your-key-here"

2

モデルを実行する

次を呼び出します /clip/compare エンドポイントを使って curl:

curl --location 'https://serverless.roboflow.com/clip/compare' \
  --header 'Content-Type: application/json' \\
  --data '{
    "api_key": "'"$ROBOFLOW_API_KEY"'",
    "subject": {"type": "url", "value": "https://media.roboflow.com/notebooks/examples/dog.jpeg"},
    "subject_type": "image",
    "prompt": ["a photo of a dog", "a photo of a cat", "a photo of a car"],
    "prompt_type": "text"
  }'

SDK (Python)

推論速度

〜で測定されたレイテンシ Roboflow Inference 1x NVIDIA L4、バッチサイズ 1、ウォームアップ後の平均で測定。

モデル	レイテンシ (ms)
clip	3.9

で測定 embed_image 上の ViT-B-16 チェックポイント（画像埋め込みのみ）。

設定する api_url をデプロイ先に合わせてください:

• https://serverless.roboflow.com Serverless Hosted API 用。

• http://localhost:9001 ローカルの Inference サーバー用。

• あなたの Dedicated Deployment プライベートエンドポイントの URL。