CLIP 비교

CLIP 이미지와 텍스트 임베딩을 비교합니다.

v2

OpenAI CLIP 제로샷 분류 모델을 사용하여 이미지를 분류합니다.

이 블록은 이미지와 텍스트 프롬프트 목록을 받습니다. 그런 다음 이 블록은 제공된 이미지와 각 텍스트 레이블의 유사도를 반환합니다.

이 블록은 미세 조정된 분류 모델을 학습하지 않고도 이미지를 분류하는 데 유용합니다. 예를 들어 CLIP을 사용하여 이미지 속 차량의 종류를 분류하거나, 이미지에 NSFW 자료가 포함되어 있는지 분류할 수 있습니다.

유형 식별자

단계에서 다음 식별자를 사용하세요 "type" 필드: roboflow_core/clip_comparison@v2 워크플로우에 이 블록을 단계로 추가하려면.

속성

이름	유형	설명	참조
name	str	워크플로우에서 단계의 고유 이름.	❌
클래스	List[str]	각 입력 이미지와의 유사도를 계산할 클래스 목록.	✅
version	str	CLIP 모델의 변형.	✅

이 참조 열은 워크플로우 런타임에서 사용 가능한 동적 값으로 속성을 매개변수화할 수 있는 가능성을 나타냅니다 워크플로우 런타임입니다. 자세한 내용은 바인딩 을 참조하세요.

입력 및 출력 바인딩

사용 가능한 연결은 바인딩 유형에 따라 달라집니다. 어떤 바인딩 유형인지 확인하세요 CLIP 비교 버전 v2 을 가지고 있는지.

입력 및 출력 바인딩

• 입력

  • 이미지 (이미지): 추론할 이미지입니다..

  • 클래스 (list_of_values): 각 입력 이미지와의 유사도를 계산할 클래스 목록.

  • version (string): CLIP 모델의 변형.

• 출력

  • 유사도 (list_of_values): 모든 유형의 값 목록.

  • 최대_유사도 (0에서 1 사이의 실수): float 범위 내 값 [0.0, 1.0].

  • 가장_유사한_클래스 (string): 문자열 값.

  • 최소_유사도 (0에서 1 사이의 실수): float 범위 내 값 [0.0, 1.0].

  • 가장_덜_유사한_클래스 (string): 문자열 값.

  • 분류_예측 (classification_prediction): 분류기의 예측 결과.

  • parent_id (parent_id): 단계 출력의 상위 ID 식별자.

  • root_parent_id (parent_id): 단계 출력의 상위 ID 식별자.

예시 JSON 정의

{
	    "name": "<your_step_name_here>",
	    "type": "roboflow_core/clip_comparison@v2",
	    "images": "$inputs.image",
	    "classes": [
	        "a",
	        "b",
	        "c"
	    ],
	    "version": "ViT-B-16"
	}

v1

OpenAI CLIP 제로샷 분류 모델을 사용하여 이미지를 분류합니다.

이 블록은 이미지와 텍스트 프롬프트 목록을 받습니다. 그런 다음 이 블록은 제공된 이미지와 각 텍스트 레이블의 유사도를 반환합니다.

이 블록은 미세 조정된 분류 모델을 학습하지 않고도 이미지를 분류하는 데 유용합니다. 예를 들어 CLIP을 사용하여 이미지 속 차량의 종류를 분류하거나, 이미지에 NSFW 자료가 포함되어 있는지 분류할 수 있습니다.

유형 식별자

단계에서 다음 식별자를 사용하세요 "type" 필드: roboflow_core/clip_comparison@v1 워크플로우에 이 블록을 단계로 추가하려면.

속성

이름	유형	설명	참조
name	str	워크플로우에서 단계의 고유 이름.	❌
텍스트	List[str]	각 입력 이미지와의 유사도를 계산할 텍스트 목록.	✅

이 참조 열은 워크플로우 런타임에서 사용 가능한 동적 값으로 속성을 매개변수화할 수 있는 가능성을 나타냅니다 워크플로우 런타임입니다. 자세한 내용은 바인딩 을 참조하세요.

입력 및 출력 바인딩

사용 가능한 연결은 바인딩 유형에 따라 달라집니다. 어떤 바인딩 유형인지 확인하세요 CLIP 비교 버전 v1 을 가지고 있는지.

입력 및 출력 바인딩

• 입력

  • 이미지 (이미지): 추론할 이미지입니다..

  • 텍스트 (list_of_values): 각 입력 이미지와의 유사도를 계산할 텍스트 목록.

• 출력

  • 유사도 (list_of_values): 모든 유형의 값 목록.

  • parent_id (parent_id): 단계 출력의 상위 ID 식별자.

  • root_parent_id (parent_id): 단계 출력의 상위 ID 식별자.

  • 예측 유형 (예측 유형): 예측 유형을 나타내는 문자열 값.

예시 JSON 정의

{
	    "name": "<your_step_name_here>",
	    "type": "roboflow_core/clip_comparison@v1",
	    "images": "$inputs.image",
	    "texts": [
	        "a",
	        "b",
	        "c"
	    ]
	}