कुबेरनेट्स

कुबेरनेट्स पर रोबोफ्लो इनफेरेंस के साथ शुरुआत करें

अपडेट: यदि आप Roboflow Enterprise ग्राहक हैं तो आप अपने Kubernetes वातावरण में Roboflow Inference Service को डिप्लॉय कर सकते हैं इस Helm चार्ट का उपयोग करके.

वैकल्पिक रूप से, यहाँ सरल Kubernetes मैनिफेस्ट दिए गए हैं जिनसे आप एक pod और service को Kubernetes क्लस्टर में डिप्लॉय कर सकते हैं।

नीचे दिया गया Kubernetes मैनिफेस्ट एक साधारण उदाहरण दिखाता है जिसमें एक सिंगल CPU-आधारित roboflow infer pod बनाया गया है और उस पर एक cluster-IP service अटैच की गई है।

# Pod
---
apiVersion: v1
kind: Pod
metadata:
  name: roboflow
  labels:
    app.kubernetes.io/name: roboflow
spec:
  containers:
  - name: roboflow
    image: roboflow/roboflow-inference-server-cpu
    ports:
    - containerPort: 9001
      name: rf-pod-port


# Service
---
apiVersion: v1
kind: Service
metadata:
  name: rf-service
spec:
  type: ClusterIP
  selector:
    app.kubernetes.io/name: roboflow
  ports:
  - name: rf-svc-port
    protocol: TCP
    port: 9001
    targetPort: rf-pod-port

(ऊपर दिया गया उदाहरण मानता है कि आपका Kubernetes क्लस्टर Docker hub से इमेज डाउनलोड कर सकता है)

ऊपर दिए गए yaml ब्लर्ब को इस नाम से सेव करें roboflow.yaml और उपयोग करें kubectl cli के द्वारा pod और service को अपने Kubernetes क्लस्टर के डिफ़ॉल्ट namespace में डिप्लॉय करें।

kubectl apply -f roboflow.yaml

एक service (ClusterIP प्रकार की) बनाई जाएगी; आप Kubernetes क्लस्टर के भीतर इस URI पर Roboflow inference एक्सेस कर सकते हैं: http://rf-service.default.svc:9001

इस उदाहरण से आगे

Kubernetes आपको अपने Roboflow inference service में कई एडवांस्ड फीचर्स और एक्सटेंशन जोड़ने की शक्ति देता है। उदाहरण के लिए, आप ऊपर दिए गए उदाहरण को और अधिक एडवांस्ड उपयोग के मामलों के लिए बढ़ा सकते हैं जैसे कि

• nodeSelectors का उपयोग करके pod(s) को GPU मशीन node pools में अपने Kubernetes वातावरण में होस्ट करना और उपयोग करना roboflow/inference-server:gpu इमेज

• Kubernetes deployments बनाना ताकि Roboflow inference service को हॉरिजॉन्टली ऑटोस्केल किया जा सके और CPU उपयोग जैसे विशिष्ट मेट्रिक्स के आधार पर ऑटो-स्केलिंग ट्रिगर सेट करना।

• nodePort और LoadBalancer जैसे विभिन्न service प्रकारों का उपयोग करके Roboflow inference service को बाहरी रूप से सर्व करना

• ingress controllers का उपयोग करके Roboflow inference को TLS (HTTPs) आदि के माध्यम से एक्सपोज़ करें।

• अपने Roboflow inference service में मॉनिटरिंग और अलर्टिंग जोड़ें

• लाइसेंस सर्वर और ऑफलाइन मोड्स को इंटीग्रेट करना