> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/deployment/ko/self-hosted/inference-server/install/linux.md).

# Linux에 설치

CPU, GPU 또는 TensorRT에서 Inference CLI, Docker 또는 Docker Compose를 사용하여 Linux에 Roboflow Inference Server를 설치하고 실행합니다.

이 페이지의 Docker 예제는 localhost의 포트 9001을 게시합니다. 다른 컴퓨터의 클라이언트가 접속하려면 매핑을 접속 가능한 호스트 주소로 명시적으로 변경하고 다음을 구성하세요. [서버 액세스](https://docs.roboflow.com/deployment/ko/self-hosted/inference-server/configuration/security.md#restrict-network-access).

컴퓨터에 맞는 컨테이너를 적절한 기본 설정(캐시 볼륨 및 안전한 비특권 실행 모드)으로 시작하는 가장 쉬운 방법은 CLI가 컨테이너를 선택하고 시작하도록 하는 것입니다. 다음 명령을 사용하세요. `inference server start`. [먼저 Docker를](https://docs.docker.com/engine/install/) 설치하세요:

```bash
pip install inference-cli
inference server start
```

## 컨테이너 수동 시작

컨테이너 설정을 더 세밀하게 제어하려면 직접 시작하세요.

{% tabs %}
{% tab title="CPU" %}
코어 CPU Docker 이미지는 onnxruntime을 통해 x64 CPU에서 OpenVINO 가속을 지원합니다. SAM2와 같은 대형 모델은 실제로 사용하기에는 너무 느리게 실행될 수 있습니다(이미지당 수십 초). 이러한 모델을 사용해야 한다면 CUDA를 지원하는 GPU를 사용하세요.

CPU 추론의 주요 사용 사례는 정지 이미지 처리(예: 업로드된 이미지의 NSFW 분류 또는 문서 확인)나 동영상에서 프레임을 드물게 샘플링하는 작업(예: 주차장 점유 현황 추적)입니다.

CPU 추론을 시작하려면 다음을 사용하세요. `roboflow/roboflow-inference-server-cpu:latest` 컨테이너를 사용하세요.

```bash
sudo docker run -d \
    --name inference-server \
    --read-only \
    -p 127.0.0.1:9001:9001 \
    --volume ~/.inference/cache:/tmp:rw \
    --security-opt="no-new-privileges" \
    --cap-drop="ALL" \
    --cap-add="NET_BIND_SERVICE" \
    roboflow/roboflow-inference-server-cpu:latest
```

{% endtab %}

{% tab title="GPU" %}
GPU 컨테이너는 NVIDIA-Docker를 통해 CUDA를 지원하는 카드에서 하드웨어 가속을 제공합니다. 다음을 따르세요: [NVIDIA Container Toolkit 설치 가이드](https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html), 그런 다음 `--gpus all` 을 `docker run` 명령에 추가하세요:

```bash
sudo docker run -d \
    --name inference-server \
    --gpus all \
    --read-only \
    -p 127.0.0.1:9001:9001 \
    --volume ~/.inference/cache:/tmp:rw \
    --security-opt="no-new-privileges" \
    --cap-drop="ALL" \
    --cap-add="NET_BIND_SERVICE" \
    roboflow/roboflow-inference-server-gpu:latest
```

{% endtab %}

{% tab title="TensorRT" %}
GPU 컨테이너에서는 선택적으로 [TensorRT](https://developer.nvidia.com/tensorrt), NVIDIA의 모델 최적화 런타임을 활성화할 수 있습니다. 모델을 처음 로드할 때마다 무거운 컴파일 및 최적화 단계(때로는 15분 이상)가 필요하지만, 모델 속도가 크게 향상됩니다.

다음 항목을 추가해 TensorRT를 활성화하세요. `TensorrtExecutionProvider` 환경 변수 `ONNXRUNTIME_EXECUTION_PROVIDERS` 에 추가합니다.

```bash
sudo docker run -d \
    --name inference-server \
    --gpus all \
    --read-only \
    -p 127.0.0.1:9001:9001 \
    --volume ~/.inference/cache:/tmp:rw \
    --security-opt="no-new-privileges" \
    --cap-drop="ALL" \
    --cap-add="NET_BIND_SERVICE" \
    -e ONNXRUNTIME_EXECUTION_PROVIDERS="[TensorrtExecutionProvider,CUDAExecutionProvider,OpenVINOExecutionProvider,CPUExecutionProvider]" \
    roboflow/roboflow-inference-server-gpu:latest
```

{% endtab %}
{% endtabs %}

## Docker Compose

애플리케이션에 Docker Compose를 사용하는 경우 동일한 설정의 YAML은 다음과 같습니다:

{% tabs %}
{% tab title="CPU" %}

```yaml
version: "3.9"

services:
  inference-server:
    container_name: inference-server
    image: roboflow/roboflow-inference-server-cpu:latest

    read_only: true
    ports:
      - "127.0.0.1:9001:9001"

    volumes:
      - "${HOME}/.inference/cache:/tmp:rw"

    security_opt:
      - no-new-privileges
    cap_drop:
      - ALL
    cap_add:
      - NET_BIND_SERVICE
```

{% endtab %}

{% tab title="GPU" %}

```yaml
version: "3.9"

services:
  inference-server:
    container_name: inference-server
    image: roboflow/roboflow-inference-server-gpu:latest

    read_only: true
    ports:
      - "127.0.0.1:9001:9001"

    volumes:
      - "${HOME}/.inference/cache:/tmp:rw"

    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

    security_opt:
      - no-new-privileges
    cap_drop:
      - ALL
    cap_add:
      - NET_BIND_SERVICE
```

{% endtab %}

{% tab title="TensorRT" %}

```yaml
version: "3.9"

services:
  inference-server:
    container_name: inference-server
    image: roboflow/roboflow-inference-server-gpu:latest

    read_only: true
    ports:
      - "127.0.0.1:9001:9001"

    volumes:
      - "${HOME}/.inference/cache:/tmp:rw"

    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

    환경 변수:
      ONNXRUNTIME_EXECUTION_PROVIDERS: "[TensorrtExecutionProvider,CUDAExecutionProvider,OpenVINOExecutionProvider,CPUExecutionProvider]"

    security_opt:
      - no-new-privileges
    cap_drop:
      - ALL
    cap_add:
      - NET_BIND_SERVICE
```

{% endtab %}
{% endtabs %}

{% hint style="info" %}
Roboflow Enterprise 요금제에는 [Helm 차트](https://github.com/roboflow/inference/tree/main/inference/enterprise/helm-chart) 를 통한 Kubernetes 배포, OT 네트워크용 네트워킹 솔루션, 맞춤형 지원 및 설치 패키지가 추가됩니다. [영업팀에 문의](https://roboflow.com/sales) 하여 자세히 알아보세요.
{% endhint %}

## 다음 단계

* [모델을 실행](https://docs.roboflow.com/deployment/ko/self-hosted/self-hosted.md#run-model-locally) 하여 새 서버에서 테스트하세요.
* [Docker 구성 옵션](https://docs.roboflow.com/deployment/ko/self-hosted/inference-server/configuration/docker-configuration.md) 포트, 캐싱, 모델 제한을 설정합니다.
* [자체 호스팅 서버 보안 설정](https://docs.roboflow.com/deployment/ko/self-hosted/inference-server/configuration/security.md) 을 확인한 후 localhost 외부에 노출하세요.
