CLIP 사용

비디오 프레임에서 CLIP을 실행하세요.

CLIP은 다음을 수행할 수 있는 제로샷 분류 모델입니다:

1. 이미지 분류;

2. 이미지 클러스터링;

3. 텍스트 프롬프트와 이미지 간의 유사성 비교;

4. 두 이미지 간의 유사성 비교 등.

Roboflow Video Inference API는 비디오의 프레임에 대해 원시 CLIP 임베딩을 반환할 수 있으며(선택한 모델에 따라 512 또는 768 차원 중 하나) 텍스트 또는 이미지 벡터를 비교하여 각 프레임에 대한 코사인 유사도 점수를 반환할 수 있습니다.

Video Inference API에서 CLIP 사용하기

먼저 Roboflow Python 패키지를 설치하세요:

pip install roboflow

다음으로, 새 Python 파일을 만들고 다음 코드를 추가하세요:

from roboflow import Roboflow, CLIPModel

rf = Roboflow(api_key="API_KEY")
model = CLIPModel()

job_id, signed_url, expire_time = model.predict_video(
    "football-video.mp4",
    fps=5,
    prediction_type="batch-video",
)

results = model.poll_until_video_results(job_id)

print(results)

위에서, 다음을 교체하세요:

• API_KEY: Roboflow API 키로 교체

• PROJECT_NAME: Roboflow 프로젝트 ID로 교체하세요.

• MODEL_ID: Roboflow 모델 ID로 교체하세요.

API 키를 조회하는 방법 알아보기.

모델 ID를 조회하는 방법 알아보기.