CLIP 사용

비디오 프레임에서 CLIP을 실행하세요.

CLIP은 다음과 같은 용도로 사용할 수 있는 zero-shot 분류 모델입니다:

1. 이미지 분류;

2. 이미지 클러스터링;

3. 텍스트 프롬프트와 이미지 간의 유사성 비교;

4. 두 이미지 간의 유사성 비교 등.

Roboflow Video Inference API는 비디오의 프레임에 대해 원시 CLIP 임베딩(선택한 모델에 따라 512 또는 768 차원)을 반환하거나, 텍스트 또는 이미지 벡터를 비교하여 각 프레임에 대한 코사인 유사도 점수를 반환할 수 있습니다.

Video Inference API에서 CLIP 사용하기

먼저, Roboflow Python 패키지를 설치하세요:

pip install roboflow

다음으로, 새 Python 파일을 만들고 아래 코드를 추가하세요:

from roboflow import Roboflow, CLIPModel

rf = Roboflow(api_key="API_KEY")
model = CLIPModel()

job_id, signed_url, expire_time = model.predict_video(
    "football-video.mp4",
    fps=5,
    prediction_type="batch-video",
)

results = model.poll_until_video_results(job_id)

print(results)

위에서 다음을 교체하세요:

• API_KEY : 본인의 Roboflow API 키로

• PROJECT_NAME : 본인의 Roboflow 프로젝트 ID로.

• MODEL_ID : 본인의 Roboflow 모델 ID로.

API 키를 확인하는 방법 알아보기.

모델 ID를 확인하는 방법 알아보기.