Kubernetes

Kubernetes에서 Roboflow Inference 시작하기

업데이트: Roboflow Enterprise 고객이라면 다음을 사용하여 Kubernetes 환경에 Roboflow Inference Service를 배포할 수 있습니다 이 Helm 차트.

대안으로, Kubernetes 클러스터에 pod와 서비스를 배포하기 위한 간단한 Kubernetes 매니페스트가 있습니다.

아래 Kubernetes 매니페스트는 CPU 기반 roboflow infer pod 하나를 생성하고 그에 cluster-IP 서비스를 연결하는 간단한 예시를 보여줍니다.

# 파드
---
apiVersion: v1
kind: Pod
metadata:
  name: roboflow
  labels:
    app.kubernetes.io/name: roboflow
spec:
  containers:
  - name: roboflow
    image: roboflow/roboflow-inference-server-cpu
    ports:
    - containerPort: 9001
      name: rf-pod-port


# 서비스
---
apiVersion: v1
kind: Service
metadata:
  name: rf-service
spec:
  type: ClusterIP
  selector:
    app.kubernetes.io/name: roboflow
  ports:
  - name: rf-svc-port
    protocol: TCP
    port: 9001
    targetPort: rf-pod-port

(위 예시는 Kubernetes 클러스터가 Docker Hub에서 이미지를 다운로드할 수 있다고 가정합니다)

위 YAML 스니펫을 다음 이름으로 저장하세요 roboflow.yaml 그리고 다음을 사용하여 kubectl CLI로 pod와 서비스를 Kubernetes 클러스터의 기본 네임스페이스에 배포하세요.

kubectl apply -f roboflow.yaml

ClusterIP 유형의 서비스가 생성됩니다. Kubernetes 클러스터 내부에서는 다음 URI를 통해 Roboflow inference에 액세스할 수 있습니다: http://rf-service.default.svc:9001

이 예시를 넘어

Kubernetes는 Roboflow inference 서비스에 여러 고급 기능과 확장 기능을 통합할 수 있는 강력한 기능을 제공합니다. 예를 들어, 다음과 같은 더 고급 사용 사례로 위 예시를 확장할 수 있습니다

• nodeSelector를 사용하여 Kubernetes 환경의 GPU 머신 노드 풀에 pod(들)를 호스팅하고 다음을 사용하는 방법 roboflow/inference-server:gpu image

• Kubernetes 배포를 생성하여 Roboflow inference 서비스를 수평으로 자동 확장하고 CPU 사용량과 같은 특정 지표를 기반으로 자동 확장 트리거를 설정하는 방법.

• nodePort 및 LoadBalancer 같은 다른 서비스 유형을 사용하여 Roboflow inference 서비스를 외부에 제공하는 방법

• 인그레스 컨트롤러를 사용하여 TLS(HTTPS) 등을 통해 Roboflow inference를 노출합니다.

• Roboflow inference 서비스에 모니터링 및 알림을 추가합니다

• 라이선스 서버와 오프라인 모드를 통합합니다