추론 서버 원격 측정

Prometheus 메트릭과 Docker 컨테이너 통계를 사용해 자체 호스팅 Roboflow Inference 서버를 모니터링합니다.

서비스 원격 측정은 시스템 상태, 성능, 사용량에 대한 실시간 데이터를 제공합니다. 이를 통해 다음이 가능해집니다:

• 모니터링 및 진단: 문제를 조기에 감지하여 신속히 해결할 수 있습니다.

• 성능 최적화: 병목 현상을 식별하여 효율성을 개선합니다.

• 사용량 인사이트: 사용자 행동을 이해하여 개선 방향을 정합니다.

• 보안: 의심스러운 활동을 감지하고 규정 준수를 보장합니다.

• 확장성: 리소스 수요를 예측하고 관리합니다.

Inference 서버는 두 가지 원격 측정 소스를 제공합니다:

• Prometheus 메트릭

• Docker 데몬이 제공하는 Docker 컨테이너 메트릭

Prometheus 메트릭

메트릭을 활성화하려면 환경 변수를 설정하세요 ENABLE_PROMETHEUS=True 컨테이너에서:

docker run -p 9001:9001 -e ENABLE_PROMETHEUS=True roboflow/roboflow-inference-server-cpu

그다음 GET /metrics 엔드포인트를 사용하여 Python에서 메트릭을 가져옵니다:

import requests

result = requests.get("http://127.0.0.1:9001/metrics")
result.raise_for_status()

print(result.text)

또는 curl을 사용하세요:

curl http://127.0.0.1:9001/metrics

/metrics 다음 중 하나로, API 키 인증 가 활성화되어 있어도 인증 없이 유지되는 엔드포인트이므로, 메트릭이 민감하다면 서버에 대한 네트워크 접근을 제한하세요.

Docker 컨테이너 메트릭

잠재적인 보안 문제입니다. 이 기능은 컨테이너 내부에 Docker 데몬 소켓을 노출하는 데 의존합니다. 이렇게 하면 supervisor 서비스 없이 컨테이너 리소스 사용 메트릭을 노출할 수 있지만, 보안 위반으로 간주될 수 있습니다. 기본적으로 비활성화되어 있습니다. 다음 사항을 인지하세요: 잠재적인 보안 위험 를 활성화하기 전에.

컨테이너 메트릭을 노출하려면 Docker 소켓을 마운트한 상태로 Inference 서버 컨테이너를 실행하세요:

docker run -p 9001:9001 \
  -v /var/run/docker.sock:/var/run/docker.sock \
  -e DOCKER_SOCKET_PATH=/var/run/docker.sock \
  roboflow/roboflow-inference-server-cpu

• 다음 -v 줄 마운트합니다 호스트의 Docker 데몬 소켓을 (일반적으로 /var/run/docker.sock, 하지만 설정을 확인하세요)에서 컨테이너로 마운트합니다. 여기서는 또한 /var/run/docker.sock.

• 다음 -e 줄은 DOCKER_SOCKET_PATH 를 Docker 데몬 소켓의 위치로 설정합니다 컨테이너 내부에서, 위의 마운트와 일치합니다.

그런 다음 다음에 GET /device/stats 엔드포인트에 curl로:

curl http://127.0.0.1:9001/device/stats

또는 Python으로:

import requests

result = requests.get("http://127.0.0.1:9001/device/stats")
result.raise_for_status()

print(result.json())

모델 수준 모니터링

배포 전반의 예측 수준 모니터링(호스트 원격 측정보다)에 대해서는 다음을 참조하세요: 모델 모니터링. METRICS_ENABLED 및 MODEL_MONITORING_CACHE_BACKEND 환경 변수.