> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/deployment/ko/self-hosted/inference-server/architecture.md).

# Inference 아키텍처

Roboflow Inference의 아키텍처 구성 방식 - 요청 라우팅, 병렬화, 마이크로서비스 및 어플라이언스 패턴, 기능, 그리고 Docker가 권장되는 이유.

추론은 서버 모드로 실행하는 것이 가장 좋습니다. 또한 다음을 지원합니다. [네이티브 Python 인터페이스](https://docs.roboflow.com/deployment/ko/self-hosted/inference-library.md). 다만 [Docker를 권장하는 이유](#why-docker)도 참고하세요. REST API를 통해 상호작용하며, 대부분 [Inference SDK](https://docs.roboflow.com/reference/inference/inference-sdk)를 사용하거나 웹 브라우저에서 이용합니다( [Roboflow 앱](https://app.roboflow.com) 을 선택적으로 로컬에서 호스팅하는 Inference 서버의 프런트엔드로 사용할 수 있습니다).

Inference는 하나의 모델 또는 여러 모델로 구성된 일련의 모델에서 예측을 가져오고 결과를 처리하는 과정을 조정합니다. 워크로드를 병렬화하고 사용 가능한 GPU 및 CPU 코어를 효율적으로 사용하도록 자동으로 멀티스레딩하며, 구성된 큐와 캡처 모드를 사용해 비디오 스트림을 처리할 때 처리 속도 변화에 동적으로 적응합니다.

Inference는 모델 가중치와 Workflow 정의를 가져오고, 나중에 평가할 수 있도록 모델 결과를 추적하기 위해 Roboflow 서비스와 통신하며, 캐시된 모델을 로컬에서 실행할 수도 있습니다. 오프라인으로 작동하려면 원격 서비스 없이 실행할 수 있는 Workflow 블록과 싱크도 필요합니다. 자세한 내용은 [오프라인 모드](https://docs.roboflow.com/deployment/ko/self-hosted/enterprise/offline-mode.md).

Inference 서버 하나로 여러 클라이언트와 스트림을 처리할 수 있습니다.

<figure><img src="https://1826078061-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoksNmwps1HmYr8TqHDnX%2Fuploads%2Fgit-blob-9c74d4545aec14d51322649264d3a34526a3cc24%2Fimg-inference-diagram-v1.png?alt=media" alt="Roboflow Inference architecture diagram"><figcaption><p>애플리케이션, 모델, Roboflow 플랫폼 사이에서 작동하는 Inference</p></figcaption></figure>

## 마이크로서비스로서의 Inference

Inference를 사용하는 가장 일반적인 방법은 더 큰 시스템의 작은 구성 요소로 사용해, 후속 코드에서 소비할 응답을 생성하는 것입니다. 이 응답은 때로 모델의 예측(예: 이미지 내 객체의 분류, 위치, 크기를 포함하는 감지 결과 집합)을 나타내지만, 후처리 로직의 결과(예: 검사 통과/실패 상태), 집계 결과(예: 지난 한 시간 동안 확인된 고유 객체 수) 또는 시각화일 수도 있습니다.

이미지 워크로드의 경우 입력을 매개변수로 전달하고 응답을 동기식으로 반환합니다.

<figure><img src="https://1826078061-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoksNmwps1HmYr8TqHDnX%2Fuploads%2Fgit-blob-d3cd83c5b6b0ed049285b9b2c68ebca45ae1982e%2Finference-architecture-microservice.svg?alt=media" alt="Inference as a microservice"><figcaption><p>마이크로서비스로서의 Inference</p></figcaption></figure>

비디오 스트림의 경우 서버가 세션이 끝날 때까지 실행되는 지속형 비디오 작업자를 시작합니다. 클라이언트 애플리케이션은 WebRTC를 통해 처리된 프레임과 예측 데이터를 받습니다.

<figure><img src="https://1826078061-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoksNmwps1HmYr8TqHDnX%2Fuploads%2Fgit-blob-f3064b5007b14cf1e01ef9e9a33807c97e340046%2Finference-architecture-pipeline.svg?alt=media" alt="Inference Server video streaming"><figcaption><p>Inference Server 비디오 스트리밍</p></figcaption></figure>

마이크로서비스 사용 사례 예시:

* 웹사이트에 사용자가 업로드한 이미지에 태그 지정
* 기계가 켜지도록 허용하기 전에 올바르게 설정되었는지 확인
* 비디오에서 얼굴 흐리게 처리
* 완성된 회로 기판의 배선 불일치 감지
* 제조된 제품이 사양과 일치하는지 검사
* 객체에 결함이나 흠집이 없는지 확인
* 이미지에 있는 알약 개수 세기

## 어플라이언스로서의 Inference

Inference는 비디오 스트림을 지속적으로 소비하고 처리하며 데이터베이스 업데이트, 알림 전송, 웹훅 실행, 하드웨어 신호 전송과 같은 후속 작업을 수행하는 자율 에이전트로 취급할 수도 있습니다. 이 패턴에서는 시스템의 전체 로직을 [Workflow](https://docs.roboflow.com/workflows) 에서 정의하고 출력을 외부 시스템으로 전달합니다.

<figure><img src="https://1826078061-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoksNmwps1HmYr8TqHDnX%2Fuploads%2Fgit-blob-e74d5e11c06668e0a659277f76db4b39de50935d%2Finference-architecture-appliance.svg?alt=media" alt="Inference as an appliance"><figcaption><p>어플라이언스로서의 Inference</p></figcaption></figure>

어플라이언스 사용 사례 예시:

* 정체가 발생하면 컨베이어 벨트 중지
* 고속도로 교통 통계 수집
* 보안 카메라 영상에서 의심스러운 활동 표시
* 차량이 야적장에 들어오거나 나갈 때 재고 시스템 업데이트
* 스크랩 더미가 넘치면 경보음 울리기
* 하루 동안 소매점 고객의 대기 시간 기록

## 서버가 대신 처리하는 작업

| 기능                    | 기능                                                                                                                                                                                                                                                                                       |
| --------------------- | ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
| **모델 서빙**             | 객체 감지, 이미지 분류, 인스턴스 분할, 키포인트 감지, 이미지 임베딩, OCR, 시각적 질의응답 등을 실행합니다. 자세한 내용은 [지원 모델](https://docs.roboflow.com/models/supported-models).                                                                                                                                                    |
| **이미지 처리**            | 모델 학습에 사용된 것과 동일한 전처리 및 후처리 방법을 효율적으로 적용해 불필요한 지연 시간 없이 정확도를 유지합니다.                                                                                                                                                                                                                      |
| **비디오 스트림 관리**        | 캡처 및 처리 작업자를 관리합니다. 큐잉, 순서가 보장된 전달, 프레임 삭제 여부는 소스와 캡처 모드에 따라 달라집니다.                                                                                                                                                                                                                      |
| **워크플로**              | 선언된 계산 그래프를 실행해 모델, 로직, 통합 기능, 사용자 지정 코드 사이로 데이터를 전달하고 병렬 처리합니다.                                                                                                                                                                                                                         |
| **HTTP 서버, SDK, CLI** | 마이크로서비스로 사용할 수 있는 HTTP API와 [Python SDK](https://docs.roboflow.com/reference/inference/inference-sdk) 및 [CLI](https://docs.roboflow.com/reference/inference/inference-cli) 을(를) 제어하는 데 사용합니다.                                                                                            |
| **속도**                | 병렬화, 하드웨어 가속, 동적 배칭은 물론, 지원되는 GPU에서 선택적으로 TensorRT 양자화와 장치별 레이어 융합을 제공합니다.                                                                                                                                                                                                               |
| **오프라인 캐시**           | 모델과 Workflow 정의를 다운로드해 로컬에 저장하므로 서버가 다음 환경에서 작동할 수 있습니다. [오프라인 모드](https://docs.roboflow.com/deployment/ko/self-hosted/enterprise/offline-mode.md).                                                                                                                                      |
| **인사이트**              | Roboflow 플랫폼에 연결해 이상 데이터를 업로드하고, 통계와 원격 측정 데이터를 제공하며, 다운스트림 데이터 싱크로 데이터를 전달합니다. 자세한 내용은 [모델 모니터링](https://docs.roboflow.com/deployment/ko/monitoring-and-analytics/model-monitoring.md) 및 [액티브 러닝](https://docs.roboflow.com/deployment/ko/monitoring-and-analytics/active-learning.md). |
| **이식성**               | macOS 개발 머신, 클라우드 서버, 소형 엣지 장치에서 실행됩니다. Docker 태그만 바꾸면 동일한 코드가 다른 플랫폼에서 실행됩니다.                                                                                                                                                                                                           |
| **확장성**               | Apache 2.0 라이선스의 오픈 소스입니다. 사용자 지정 모델, Workflow 블록, 백엔드를 추가하거나 동적 Python 블록을 사용해 블록 간의 간극을 메울 수 있습니다.                                                                                                                                                                                     |

## Docker를 사용하는 이유

Inference를 실행할 때는 Docker 컨테이너를 사용하는 것을 적극 권장합니다. 머신러닝 종속 항목은 환경의 사소한 변화에도 민감합니다. 이를 결정론적인 환경에 격리하지 않으면 운영 체제나 드라이버를 업데이트하거나, 애플리케이션 코드의 종속 항목을 업데이트하거나, 보안 패치를 적용하거나, 새 머신을 설정할 때 시스템이 고장 날 가능성이 큽니다. 이미지를 사용하면 라이브러리 버전 간의 호환성이 보장되고, GPU를 최대한 활용하도록 패키지가 컴파일되며, 보안 패치가 적용됩니다.

Docker는 이식성도 제공합니다. 나중에 애플리케이션 코드를 리팩터링하지 않고도 단일 대형 서버에서 여러 클라이언트에 서비스를 제공하거나 CPU에서 GPU로 업그레이드할 수 있습니다.

예외는 컨테이너에서 가속기에 접근할 수 없는 하드웨어입니다. 예를 들면 [macOS의 MPS](https://docs.roboflow.com/deployment/ko/self-hosted/inference-server/install/mac.md). 이러한 경우 가속을 사용하려면 Docker 외부에서 실행하는 방법뿐입니다.
