CogVLM

사용 중단됨! 자체 호스팅 비전 언어 모델을 실행합니다.

CogVLM은 지원 종료 시점에 도달했습니다

새로운 모델들과의 의존성 충돌과 발견된 보안 취약점으로 인해 transformers 라이브러리는 CogVLM 지원에 대해 지원 종료를 공지한 모델과 호환되지 않는 라이브러리 버전들에서 패치되었습니다 inference, 릴리스부터 적용됨 0.38.0.

이 블록은 릴리스 전까지 생태계에 그대로 둘 예정입니다 0.42.0 클라이언트가 도입된 변경 사항을 알 수 있도록.

지금부터 이 블록을 사용하는 모든 워크플로는 작동하지 않게 됩니다(런타임 오류가 발생함). 추론 릴리스 이후 0.42.0 - 이 블록은 제거되며, Execution Engine은 워크플로 정의에서 이 블록을 발견하면 컴파일 오류를 발생시킵니다.

오픈 소스 비전-언어 모델인 CogVLM에 질문하세요.

이 모델은 GPU가 필요하며 자체 호스팅 장치에서만 실행할 수 있고, Roboflow Hosted API에서는 사용할 수 없습니다.

이 모델은 이전에 LMM 블록의 일부였습니다.

유형 식별자

단계에서 다음 식별자를 사용하세요 "type" 필드: roboflow_core/cog_vlm@v1 워크플로우에 이 블록을 단계로 추가하려면.

속성

이름	유형	설명	참조
name	str	이 단계에 대한 고유 식별자를 입력하세요..	❌
prompt	str	CogVLM 모델에 대한 텍스트 프롬프트.	✅
json_output_format	Dict[str, str]	요청된 출력 필드 이름을 해당 설명에 매핑하는 딕셔너리를 보관합니다.	❌

이 참조 열은 워크플로우 런타임에서 사용 가능한 동적 값으로 속성을 매개변수화할 수 있는 가능성을 나타냅니다 워크플로우 런타임입니다. 자세한 내용은 바인딩 을 참조하세요.

런타임 호환성

인터넷 필요 - 에어갭 / 오프라인 배포 : 이 블록은 완전히 오프라인 / 에어갭된 배포에서는 접근할 수 없는 서비스에 의존합니다.

하드 - 런타임 self_hosted_cpu; 실행 로컬 : GPU가 필요합니다; run_locally()는 CUDA가 필요한 모델을 로드합니다.

하드 - 런타임 호스팅 서버리스; 실행 원격 : Roboflow Hosted Serverless에서 LMM_ENABLED=False: /llm_v1 및 /infer/cog_vlm 엔드포인트가 등록되지 않으므로 run_remotely()가 404를 반환합니다.

입력 및 출력 바인딩

사용 가능한 연결은 바인딩 유형에 따라 달라집니다. 어떤 바인딩 유형인지 확인하세요 CogVLM 버전 v1 을 가지고 있는지.

입력 및 출력 바인딩

• 입력

  • 이미지 (이미지): 추론할 이미지입니다..

  • prompt (string): CogVLM 모델에 대한 텍스트 프롬프트.

• 출력

  • parent_id (parent_id): 단계 출력의 상위 ID 식별자.

  • root_parent_id (parent_id): 단계 출력의 상위 ID 식별자.

  • 이미지 (image_metadata): supervision에 필요한 이미지 메타데이터가 담긴 딕셔너리.

  • 구조화된 출력 (딕셔너리): 딕셔너리.

  • 원시 출력 (string): 문자열 값.

  • * (*): 어떤 요소와도 동일한 값.

예시 JSON 정의

{
	    "name": "<your_step_name_here>",
	    "type": "roboflow_core/cog_vlm@v1",
	    "images": "$inputs.image",
	    "prompt": "내 프롬프트",
	    "json_output_format": {
	        "count": "사진 속 고양이의 수"
	    }
	}