For the complete documentation index, see llms.txt. This page is also available as Markdown.

Florence 2

Microsoft의 Florence 2 멀티모달 모델을 서버리스 클라우드 API를 통해 사용

우리는 Microsoft의 Florence 2를, 멀티모달 비전-언어 모델을, 우리의 서버리스 클라우드 API. Florence 2는 태스크 프롬프트(예: <CAPTION>, <OD>, <OCR>, <REFERRING_EXPRESSION_SEGMENTATION>).

Florence 2 사전학습 별칭

별칭을 다음으로 사용하세요 model_id 를 요청에 넣으면 런타임이 이를 해당 사전학습 가중치로 확인합니다.

별칭

florence-2-base

florence-2-large

Florence 2 정확도

공식 모델 카드의 주요 제로샷 지표(베이스, 라지):

벤치마크

florence-2-base

florence-2-large

COCO 캡션 (CIDEr)

133.0

135.6

COCO 탐지 (mAP)

34.7

37.5

RefCOCO (정확도)

53.9

56.3

Florence 2 추론 속도

다음으로 측정한 지연 시간 Roboflow Inference 1x NVIDIA L4에서, 배치 크기 1로, <CAPTION> 프롬프트로부터 그리디 디코딩을 사용해 정확히 128개의 토큰을 생성할 때의 수치입니다. 지연 시간은 출력 길이에 따라 달라지므로, 다른 길이를 추정할 때는 토큰/초를 사용하세요.

별칭
지연 시간, 128 토큰(ms)
토큰/초

florence-2-base

652

198

florence-2-large

1120

115

Florence 2 API

Florence 2는 공통 /infer/lmm 엔드포인트를 통해 실행됩니다. HTTP 엔드포인트를 통해 curl로 직접 호출하거나, inference-sdk 래퍼를 사용할 수 있습니다.

1

API 키를 받으세요

Roboflow 계정을 만들고, 다음에서 키를 찾으세요 Roboflow API 설정 페이지 그리고 이를 셸에서 사용할 수 있게 하세요:

2

모델을 실행합니다

다음으로 /infer/lmm 엔드포인트를 태스크 프롬프트와 함께 호출하세요: curl:

1

API 키를 받으세요

Roboflow 계정을 만들고, 다음에서 키를 찾으세요 Roboflow API 설정 페이지 그리고 이를 셸에서 사용할 수 있게 하세요:

2

의존성을 설치합니다

이 패키지는 모델을 호출합니다:

3

모델을 실행합니다

태스크 프롬프트와 함께 LMM 추론 엔드포인트를 호출하세요:

설정 api_url 을 배포 대상에 맞게 설정하세요:

  • https://serverless.roboflow.com Serverless Cloud API용

  • http://localhost:9001 로컬 Inference 서버.

  • 사용자의 전용 배포 비공개 엔드포인트용 URL입니다.

다음으로 바꾸세요 <CAPTION> 지원되는 임의의 태스크 프롬프트로 (예: <DETAILED_CAPTION>, <OD>, <OCR>, <OPEN_VOCABULARY_DETECTION>, <REFERRING_EXPRESSION_SEGMENTATION>) 캡션, 탐지, OCR, 분할 작업 간에 전환할 수 있습니다.

자체 호스팅 배포와 전체 태스크 프롬프트 목록은 다음을 참조하세요. 추론 문서.

Florence 2 태스크 프롬프트

Florence 2는 프롬프트 토큰으로 작업을 전환합니다. 다음 중 하나를 프롬프트:

작업
프롬프트

객체 탐지

<OD>

밀집 영역 캡셔닝

<DENSE_REGION_CAPTION>

이미지 캡셔닝

<CAPTION>, <DETAILED_CAPTION>, <MORE_DETAILED_CAPTION>

영역 제안

<REGION_PROPOSAL>

구문 그라운딩

<CAPTION_TO_PHRASE_GROUNDING>

지시 표현 분할

<REFERRING_EXPRESSION_SEGMENTATION>

영역을 분할로 변환

<REGION_TO_SEGMENTATION>

오픈 보캐뷸러리 탐지

<OPEN_VOCABULARY_DETECTION>

영역을 설명으로 변환

<REGION_TO_DESCRIPTION>

OCR

<OCR>

영역 포함 OCR

<OCR_WITH_REGION>

자체 호스팅 Inference로 Florence 2 실행하기

Florence 2는 다음과 함께 직접 로드할 수도 있습니다. inference 패키지.

1

패키지를 설치하세요

다음을 사용하세요 inference-gpu[transformers] GPU 머신에서 사용하세요.

2

모델을 실행합니다

다음으로 바꾸세요 <CAPTION> 위 표의 임의의 태스크 프롬프트에 대해.

Workflows의 실행 모드

다음에서 사용될 때 Workflow, Florence 2는 두 가지 모드 중 하나로 실행됩니다:

  • 로컬 실행: 모델이 여러분의 Inference 서버에서 실행됩니다( GPU 권장).

  • 원격 실행: 모델이 원격 Inference 서버에서 HTTP를 통해 호출됩니다.

커스텀 가중치 업로드

Roboflow 외부에서 학습한 Florence 2 모델을 실행하려면, 다음을 사용하여 가중치를 Project에 업로드하세요. Roboflow CLI:

설정 -t 부터 florence-2-large 라지 모델용입니다. 다음을 참조하세요. 커스텀 가중치 업로드 Python SDK와 학습 버전 요구 사항은 다음을 참조하세요.

마지막 업데이트

도움이 되었나요?