CLIP

Serverless Hosted API를 통해 OpenAI의 CLIP model을 사용합니다.

OpenAI의 CLIP 이미지 및 텍스트 임베딩을 생성하고, 이를 간의 zero-shot 유사도 비교를 수행하는 모델로, 우리의 Serverless Hosted API. 우리는 세 개의 엔드포인트를 제공합니다:

• /clip/embed_image, 이미지에 대한 임베딩 벡터를 반환합니다

• /clip/embed_text, 문자열 또는 문자열 목록에 대한 임베딩 벡터를 반환합니다

• /clip/compare, subject와 prompt 목록 간의 유사도 점수를 반환합니다

임베딩은 캐시하여 분류, 검색, 클러스터링, 시맨틱 검색 같은 작업에 재사용할 수 있습니다. 더 자세한 사용 방법은 다음을 참조하세요. Inference 문서.

코드 샘플

아래는 이미지와 텍스트 레이블 목록을 비교하는 코드 샘플입니다. HTTP 엔드포인트를 직접 호출하려면 curl, 또는 다음을 사용하세요: inference-sdk 래퍼를 사용하세요.

HTTP (curl)

1

API Key를 받으세요

Roboflow 계정을 만들고, 다음에서 키를 찾으세요: Roboflow API 설정 페이지 그리고 이를 셸에서 사용할 수 있도록 설정하세요:

export ROBOFLOW_API_KEY="your-key-here"

2

모델을 실행하세요

다음에 호출하세요. /clip/compare 엔드포인트를 curl:

curl --location 'https://serverless.roboflow.com/clip/compare' \
  --header 'Content-Type: application/json' \
  --data '{
    "api_key": "'"$ROBOFLOW_API_KEY"'",
    "subject": {"type": "url", "value": "https://media.roboflow.com/notebooks/examples/dog.jpeg"},
    "subject_type": "image",
    "prompt": ["a photo of a dog", "a photo of a cat", "a photo of a car"],
    "prompt_type": "text"
  }'

SDK (Python)

추론 속도

다음 기준으로 측정한 지연 시간 Roboflow Inference 1x NVIDIA L4에서, 배치 크기 1로, 워밍업 이후 평균값입니다.

모델	지연 시간(ms)
clip	3.9

다음을 사용해 측정됨 embed_image 에서 ViT-B-16 체크포인트(이미지 임베딩 전용).

설정 api_url 을 배포 대상에 맞게 설정하세요:

• https://serverless.roboflow.com Serverless Hosted API용입니다.

• http://localhost:9001 로컬 Inference 서버용입니다.

• 귀하의 Dedicated Deployment 비공개 엔드포인트용 URL입니다.