Kubernetes

Kubernetes पर Roboflow Inference के साथ शुरुआत करना

अपडेट: यदि आप Roboflow Enterprise ग्राहक हैं, तो आप इस Helm चार्ट का उपयोग करके अपने Kubernetes परिवेशों में Roboflow Inference Service को डिप्लॉय कर सकते हैं यह Helm चार्ट.

वैकल्पिक रूप से, एक Kubernetes क्लस्टर में एक pod और service को डिप्लॉय करने के लिए यहां सरल Kubernetes manifests दिए गए हैं।

नीचे दिया गया Kubernetes manifest एकल CPU-आधारित roboflow infer pod बनाने और उससे एक cluster-IP service जोड़ने का एक सरल उदाहरण दिखाता है।

# Pod
---
apiVersion: v1
kind: Pod
metadata:
  name: roboflow
  labels:
    app.kubernetes.io/name: roboflow
spec:
  containers:
  - name: roboflow
    image: roboflow/roboflow-inference-server-cpu
    पोर्ट्स:
    - containerPort: 9001
      name: rf-pod-port


# Service
---
apiVersion: v1
kind: Service
metadata:
  name: rf-service
spec:
  type: ClusterIP
  selector:
    app.kubernetes.io/name: roboflow
  पोर्ट्स:
  - name: rf-svc-port
    protocol: TCP
    port: 9001
    targetPort: rf-pod-port

(ऊपर दिया गया उदाहरण मानता है कि आपका Kubernetes क्लस्टर Docker hub से इमेज डाउनलोड कर सकता है)

ऊपर दिए गए yaml विवरण को इस रूप में सेव करें roboflow.yaml और उपयोग करें kubectl CLI का उपयोग करके pod और service को अपने Kubernetes क्लस्टर के default namespace में डिप्लॉय करें।

kubectl apply -f roboflow.yaml

एक service (ClusterIP प्रकार की) बनाई जाएगी; आप इस URI पर Kubernetes क्लस्टर के भीतर से Roboflow inference तक पहुंच सकते हैं: http://rf-service.default.svc:9001

इस उदाहरण से आगे

Kubernetes आपको अपने Roboflow inference service में कई उन्नत सुविधाएँ और एक्सटेंशन शामिल करने की शक्ति देता है। उदाहरण के लिए, आप ऊपर दिए गए उदाहरण को इन जैसे अधिक उन्नत उपयोग-मामलों के लिए विस्तारित कर सकते हैं

• Kubernetes परिवेशों के भीतर GPU मशीनों के node pools पर pod(s) को होस्ट करने के लिए nodeSelectors का उपयोग करना और roboflow/inference-server:gpu छवि

• Roboflow inference service को क्षैतिज रूप से autoscale करने के लिए Kubernetes deployments बनाना और CPU उपयोग जैसे विशिष्ट metrics के आधार पर auto-scaling triggers सेट करना।

• Roboflow inference service को बाहरी रूप से सर्व करने के लिए nodePort और LoadBalancer जैसी अलग-अलग service types का उपयोग करना

• TLS (HTTPs) आदि के माध्यम से Roboflow inference को एक्सपोज़ करने के लिए ingress controllers का उपयोग करें।

• अपने Roboflow inference service में monitoring और alerting जोड़ें

• license server और offline modes को एकीकृत करना