CLIP 사용

비디오의 프레임에서 CLIP을 실행합니다.

CLIP은 다음에 사용할 수 있는 zero-shot 분류 모델입니다:

1. 이미지 분류;

2. 이미지 클러스터링;

3. 텍스트 프롬프트와 이미지 간의 유사도 비교;

4. 두 이미지 간의 유사도 비교 등.

Roboflow Video Inference API는 비디오의 프레임에 대한 raw CLIP embeddings를 반환할 수 있으며(선택한 모델에 따라 512 또는 768 차원), 또는 텍스트나 이미지 벡터를 비교하여 각 프레임에 대한 cosine similarity score를 반환할 수 있습니다.

Video Inference API에서 CLIP 사용하기

먼저 Roboflow Python 패키지를 설치하세요:

pip install roboflow

다음으로 새 Python 파일을 만들고 다음 코드를 추가하세요:

from roboflow import Roboflow, CLIPModel

rf = Roboflow(api_key="API_KEY")
model = CLIPModel()

job_id, signed_url, expire_time = model.predict_video(
    "football-video.mp4",
    fps=5,
    prediction_type="batch-video",
)

results = model.poll_until_video_results(job_id)

print(results)

위에서 다음을 바꾸세요:

• API_KEY: Roboflow API 키로

• PROJECT_NAME: Roboflow 프로젝트 ID로.

• MODEL_ID: Roboflow 모델 ID로.

API 키를 가져오는 방법 알아보기.

모델 ID를 가져오는 방법 알아보기.