> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/deployment/ko/self-hosted/inference-library.md).

# Inference 라이브러리

서버와 HTTP 홉 없이 inference 패키지를 사용하여 자신의 Python 프로세스에서 직접 모델을 실행합니다.

이 `inference` Python 패키지는 모델을 불러와 자체 프로세스 내에서 실행합니다. 시작해야 할 컨테이너도, 코드와 모델 사이의 HTTP 요청도 없으므로, 직접 호스팅하는 방법 중 지연 시간이 가장 짧고 기존 Python 애플리케이션에 가장 간단하게 통합할 수 있습니다.

애플리케이션이 Python으로 작성되어 있고 모델과 같은 머신에서 실행될 때 사용하세요. 여러 클라이언트, 언어 또는 비디오 스트림에서 예측을 수행해야 하거나 애플리케이션의 종속성으로부터 모델을 격리하려면 대신 [Inference Server](https://docs.roboflow.com/deployment/ko/self-hosted/inference-server.md) 를 실행하세요. 두 방식 모두 동일한 `model_id` 값을 사용하므로 나중에 전환해도 변경 사항이 많지 않습니다.

## 설치

```bash
pip install inference
```

NVIDIA GPU가 있다면 대신 `inference-gpu` 를 설치하세요:

```bash
pip install --extra-index-url https://download.pytorch.org/whl/cu124 inference-gpu
```

\--extra-index-url을 `--extra-index-url` 운영체제에 설치된 CUDA 버전에 맞추세요: `https://download.pytorch.org/whl/cu<major><minor>`, 예를 들면 `https://download.pytorch.org/whl/cu130` CUDA 13.0용입니다. GPU를 설치하려면 OS에 CUDA가 설치되어 있어야 합니다. 환경에 필요한 종속성이 없는 경우 [Linux](https://docs.nvidia.com/cuda/cuda-installation-guide-linux/) 또는 [Windows](https://docs.nvidia.com/cuda/cuda-installation-guide-microsoft-windows/) CUDA 설치 가이드를 참조하세요.

다음 버전부터 `inference` 1.2.0부터 새로운 추론 엔진(`inference-models`)이 기본 엔진으로 사용됩니다. 이 엔진은 TensorRT를 비롯한 여러 모델 백엔드를 지원하며, 하드웨어에서 사용할 수 있는 백엔드 중 가장 빠른 것을 선택합니다. `inference` 필요한 항목을 설치합니다 `torch` 및 `onnx` 모델에 필요한 항목이며, 다른 백엔드는 패키지 추가 기능으로 제공됩니다:

```bash
pip install inference-models[trt10]
```

Windows에서는 CUDA 설정에 추가 단계가 필요합니다. 자세한 내용은 다음을 참조하세요. [Windows에서 베어 메탈 추론 GPU 설치](https://docs.roboflow.com/deployment/ko/self-hosted/inference-library/bare-metal-gpu-windows.md).

## 모델 실행

```python
from inference import get_model

image = "https://media.roboflow.com/inference/people-walking.jpg"
model = get_model(model_id="rfdetr-small")
results = model.infer(image)
```

`get_model()` 처음 사용할 때 모델 가중치를 다운로드해 캐시한 다음, 로컬에서 추론을 실행합니다.  `model_id` 에는 사전 학습된 별칭, 직접 미세 조정한 모델 또는 Universe 모델을 지정할 수 있습니다. 자세한 내용은  [모델 ID](https://docs.roboflow.com/deployment/ko/self-hosted/self-hosted.md#model-ids)를 참조하세요. 미세 조정한 모델과 Universe 모델을 사용하려면  [API 키](https://docs.roboflow.com/reference/authentication/authentication/find-your-roboflow-api-key).

## 결과 시각화

설치 [Supervision](https://supervision.roboflow.com) 예측 결과에 주석을 추가하려면:

```bash
pip install -U supervision
```

```python
import supervision as sv
from inference import get_model

image = sv.load_image_from_url("https://media.roboflow.com/inference/people-walking.jpg")

model = get_model(model_id="rfdetr-medium")
results = model.infer(image)[0]

detections = sv.Detections.from_inference(results)

annotated_image = sv.BoxAnnotator().annotate(scene=image, detections=detections)
annotated_image = sv.LabelAnnotator().annotate(scene=annotated_image, detections=detections)

sv.plot_image(annotated_image)
```

## 비디오 및 Workflows

대부분의 비디오 애플리케이션에서는 [Inference Server](https://docs.roboflow.com/deployment/ko/self-hosted/inference-server.md) 를 실행하고, [Inference SDK WebRTC 클라이언트](https://docs.roboflow.com/reference/inference/inference-sdk/webrtc).

Python 프로세스 내에서 Inference Library를 직접 실행하려는 경우, `InferencePipeline` 을 사용하면 서버 없이 웹캠, RTSP 카메라 또는 비디오 파일을 처리할 수 있습니다. 이 직접 라이브러리 API를 사용하면 프로세스에서 프레임, 사용자 지정 추론 로직, 싱크에 접근할 수 있습니다. 자세한 내용은 [Inference Pipeline](https://docs.roboflow.com/reference/inference/inference-python/inference-pipeline).

## 더 알아보기

* [Inference Python 패키지 참조](https://docs.roboflow.com/reference/inference/inference-python)  - 전체 API.
* [네이티브 Python API](https://docs.roboflow.com/reference/inference/inference-python/native-python-api)  - 서버 없이 모델을 로드하고 Workflows를 실행합니다.
* [모델 가중치 다운로드](https://docs.roboflow.com/reference/inference/inference-python/offline-weights)  - 오프라인 및 에어 갭 호스트에서 사용할 가중치를 캐시합니다.
* [Inference 벤치마크](https://docs.roboflow.com/reference/inference/inference-python/benchmarks)  - 모델 및 하드웨어별 측정 처리량.
