> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/roboflow/roboflow-ko/deploy/supported-models/perception-encoder.md).

# Perception Encoder

Perception Encoder는 Meta의 비전-언어 임베딩 모델입니다. 이미지를 텍스트와 함께 공유 임베딩 공간에 매핑하여 유사도 검색, zero-shot 분류, retrieval에 사용합니다.

{% hint style="info" %}
Perception Encoder는 Serverless Hosted API에서 사용할 수 없습니다. 다음에서 실행하세요: [Dedicated Deployment](/roboflow/roboflow-ko/deploy/dedicated-deployments.md) 또는 [자체 호스팅 Inference](https://inference.roboflow.com/).
{% endhint %}

다음 세 가지 Perception Encoder endpoint를 지원합니다:

* `/perception_encoder/embed_image` — 이미지를 임베드
* `/perception_encoder/embed_text` — 문자열을 임베드
* `/perception_encoder/compare` — 이미지와 텍스트 프롬프트 목록 간의 유사도를 계산

## 코드 샘플

{% stepper %}
{% step %}

### API Key를 받으세요

Roboflow 계정을 만들고, 다음에서 키를 찾으세요: [Roboflow API 설정 페이지](https://app.roboflow.com/settings/api) 그리고 이를 셸에서 사용할 수 있도록 설정하세요:

```bash
export ROBOFLOW_API_KEY="your-key-here"
```

{% endstep %}

{% step %}

### 종속성을 설치하세요

다음 패키지는 이미지를 가져와 API를 호출합니다:

```bash
pip install requests opencv-python
```

{% endstep %}

{% step %}

### 모델을 실행하세요

아래 샘플은 이미지를 다음으로 전송합니다: `/perception_encoder/embed_image` 그리고 embedding shape를 출력합니다. 다음을 설정하세요: `URL` 를 Dedicated Deployment URL 또는 로컬 Inference server에.

```python
import base64
import os
import cv2
import numpy as np
import requests

URL = "https://your-deployment.roboflow.cloud"

content = requests.get("https://media.roboflow.com/notebooks/examples/dog.jpeg").content
image = cv2.imdecode(np.frombuffer(content, np.uint8), cv2.IMREAD_COLOR)

_, buffer = cv2.imencode(".jpg", image)
image_base64 = base64.b64encode(buffer).decode("utf-8")

response = requests.post(
    f"{URL}/perception_encoder/embed_image",
    json={
        "api_key": os.environ["ROBOFLOW_API_KEY"],
        "image": {"type": "base64", "value": image_base64},
    },
)
result = response.json()
embedding = result["embeddings"][0]
print(f"Embedding length: {len(embedding)}")
print(f"First values: {embedding[:5]}")
```

{% endstep %}
{% endstepper %}

위 코드는 터미널에 embedding shape를 출력합니다:

```
Embedding length: 1024
First values: [0.0545, -0.0338, -0.0355, -0.0062, 0.0154]
```

## 추론 속도

다음 기준으로 측정한 지연 시간 [Roboflow Inference](https://inference.roboflow.com/) 1x NVIDIA L4에서, 배치 크기 1로, 워밍업 이후 평균값입니다.

<table data-search="false"><thead><tr><th>모델</th><th>지연 시간(ms)</th></tr></thead><tbody><tr><td><code>perception-encoder</code></td><td>25.2</td></tr></tbody></table>

다음을 사용해 측정됨 `embed_image` 에서 `PE-Core-L14-336` 체크포인트(이미지 임베딩 전용).

{% hint style="info" %}
설정 `URL` 을 배포 대상에 맞게 설정하세요:

* `http://localhost:9001` 로컬 [Inference](https://inference.roboflow.com/) 서버용입니다.
* 귀하의 [Dedicated Deployment](/roboflow/roboflow-ko/deploy/dedicated-deployments.md) 비공개 엔드포인트용 URL입니다.
  {% endhint %}