PaliGemma 2

Google의 PaliGemma 2 비전-언어 모델을 Serverless Cloud API를 통해 사용하세요.

PaliGemma 2는 Google의 비전-언어 모델입니다. 이미지와 텍스트 프롬프트를 받아 텍스트 응답을 반환합니다. 우리는 PaliGemma 2를 우리의 서버리스 클라우드 API, 전용 배포 및 자가 호스팅 추론.

코드 예시

1

API 키를 받으세요

Roboflow 계정을 만들고, 다음에서 키를 찾으세요. Roboflow API 설정 페이지 그리고 셸에서 사용할 수 있도록 하세요:

export ROBOFLOW_API_KEY="your-key-here"

2

종속성을 설치하세요

다음을 설치하세요 Inference SDK:

pip install -U inference-sdk supervision

3

모델을 실행하세요

이 예제는 사전 학습된 paligemma2-3b-pt-224 체크포인트를 캡션 프롬프트와 함께 호출합니다.

import os
import supervision as sv
from inference_sdk import InferenceHTTPClient

image = sv.load_image_from_url("https://media.roboflow.com/quickstart/dog.jpeg")

client = InferenceHTTPClient(
    api_url="https://serverless.roboflow.com",
    api_key=os.environ["ROBOFLOW_API_KEY"],
)
result = client.infer_lmm(
    image,
    model_id="paligemma2-3b-pt-224",
    prompt="캡션 en",
    max_new_tokens=64,
)
print(result["response"])

위 코드는 모델 응답을 터미널에 출력합니다:

여기에서는 개 한 마리가 남자의 어깨 위에 보입니다

추론 속도

다음 조건에서 측정한 지연 시간 Roboflow Inference 1x NVIDIA L4, 배치 크기 1, 고정된 프롬프트에서 greedy 디코딩으로 정확히 128개의 토큰을 생성하여 측정했습니다. 지연 시간은 출력 길이에 따라 달라지므로, 다른 길이를 추정하려면 토큰/초를 사용하세요.

별칭	지연 시간, 128 토큰(ms)	토큰/초
paligemma2-3b-pt-224	3986	32

설정하세요 api_url 를 배포 대상에 맞게:

• https://serverless.roboflow.com 서버리스 클라우드 API용.

• http://localhost:9001 로컬 Inference 서버용.

• 당신의 전용 배포 비공개 엔드포인트용 URL.

Roboflow에서 자신만의 PaliGemma 2 체크포인트를 학습하고, 모델별 {workspace}/{model-slug} ID를 사용하세요(참조: 버전, 학습, 및 모델). 다음을 참조하세요 추론 문서 에서 추가 프롬프트 형식과 지원되는 체크포인트를 확인하세요.

PaliGemma 1(레거시)

원래 PaliGemma 릴리스는 여전히 다음을 통해 로드할 수 있습니다. inference 패키지를 사용하여 자체 하드웨어에서 실행할 수 있습니다. 새 프로젝트는 위의 PaliGemma 2를 사용해야 하며, 이 섹션은 기존 통합을 위해 유지됩니다.

패키지를 설치하세요:

pip install "inference[transformers]"

다음을 사용하세요 inference-gpu[transformers] GPU 머신에서.

시각적 질문 답변

from PIL import Image

from inference.models.paligemma.paligemma import PaliGemma

model = PaliGemma("paligemma-3b-mix-224", api_key="YOUR_API_KEY")

image = Image.open("image.jpeg")
result = model.predict(image, "이 이미지에 개가 몇 마리 있나요?")

print(result)

객체 탐지

PaliGemma는 탐지를 <loc####> JSON 대신 토큰으로 출력하므로, 시각화하기 전에 응답을 파싱해야 합니다. 다음과 같이 프롬프트를 입력하세요 detect <class>; <class> 그리고 토큰을 박스로 디코딩하세요:

import re
from typing import List, Optional, Tuple

import numpy as np
import supervision as sv

_DETECT_RE = re.compile(r"(.*?)" + r"<loc(\\d{4})>" * 4 + r"\\s*([^;<>]+)? ?(?:; )?")


def from_pali_gemma(
    response: str,
    resolution_wh: Tuple[int, int],
    class_list: Optional[List[str]] = None,
) -> sv.Detections:
    width, height = resolution_wh
    xyxy_list, class_name_list = [], []

    while response:
        match = _DETECT_RE.match(response)
        if not match:
            break

        groups = list(match.groups())
        before = groups.pop(0)
        name = groups.pop()
        y1, x1, y2, x2 = [int(value) / 1024 for value in groups[:4]]
        y1, x1, y2, x2 = map(round, (y1 * height, x1 * width, y2 * height, x2 * width))

        content = match.group()
        if before:
            response = response[len(before):]
            content = content[len(before):]

        xyxy_list.append([x1, y1, x2, y2])
        class_name_list.append(name.strip())
        response = response[len(content):]

    class_name = np.array(class_name_list)
    class_id = (
        np.array([class_list.index(name) for name in class_name])
        if class_list is not None
        else None
    )
    return sv.Detections(
        xyxy=np.array(xyxy_list),
        class_id=class_id,
        data={"class_name": class_name},
    )


classes = ["person", "car", "backpack"]
response = model.predict(image, "사람; 자동차; 백팩을 탐지해 주세요")[0]
detections = from_pali_gemma(response, resolution_wh=image.size, class_list=classes)

결과로 생성된 sv.Detections 에 supervision 박스를 그리기 위한 어노테이터