Cloud पर deploy करें

inference cloud के साथ Roboflow Inference containers को AWS और GCP पर CPU या GPU virtual machines में deploy करें।

आप क्लाउड में वर्चुअल मशीनों पर Roboflow Inference कंटेनर तैनात कर सकते हैं। ये VMs पर्दे के पीछे CPU या GPU-आधारित Inference Servers चलाने के लिए कॉन्फ़िगर की गई हैं, इसलिए आपको OS, GPU ड्राइवरों, या Docker इंस्टॉलेशनों से निपटना नहीं पड़ता। Inference CLI वर्तमान में Roboflow Inference कंटेनर इमेजों को Google Cloud (GCP) या Amazon Cloud (AWS) पर चल रही वर्चुअल मशीन में तैनात करने का समर्थन करता है।

Inference CLI मानता है कि संबंधित cloud CLI उस प्रोजेक्ट के लिए कॉन्फ़िगर है जिसमें आप वर्चुअल मशीन तैनात करना चाहते हैं। सेटअप करने के निर्देश पढ़ें Google gcloud CLI या Amazon AWS CLI.

Roboflow Inference क्लाउड डिप्लॉय को शक्ति प्रदान करता है SkyPilot प्रोजेक्ट.

नीचे दिए गए कमांड चलाने के लिए, आपके पास cloud-deploy एक्स्ट्रा इंस्टॉल होने चाहिए:

pip install "inference-cli[cloud-deploy]"

कमांड के विवरण देखने के लिए, चलाएँ:

inference cloud --help

प्रत्येक उप-कमांड के लिए एक सहायता मार्गदर्शिका भी उपलब्ध है:

inference cloud deploy --help

inference cloud deploy

AWS या GCP पर GPU या CPU inference तैनात करें:

# AWS में GPU-सक्षम VM में Roboflow Inference GPU कंटेनर तैनात करें
inference cloud deploy --provider aws --compute-type gpu

# GCP में केवल-CPU VM में Roboflow Inference CPU कंटेनर तैनात करें
inference cloud deploy --provider gcp --compute-type cpu

डिप्लॉयमेंट पूरा होने के बाद मुद्रित "cluster name" पर ध्यान दें। इस हैंडल का उपयोग बाद के कई कमांडों में किया जाता है। deploy कमांड आपके VM के बारे में उपयोगी डिबग और लागत जानकारी भी प्रिंट करता है।

क्लाउड VM में Inference तैनात करने पर यह निम्न रूप का एक endpoint भी प्रिंट करता है http://1.2.3.4:9001; अब आप इस endpoint के विरुद्ध inference चला सकते हैं।

ध्यान दें कि port 9001 अपने-आप खोला जाता है। यदि यह आपके cloud या project के लिए स्वीकार्य है या नहीं, तो अपने security admin से जाँच करें।

inference cloud status

अपने deployment की स्थिति जांचने के लिए, चलाएँ:

inference cloud status

डिप्लॉयमेंट रोकें और शुरू करें

आप निम्न का उपयोग करके अपने deployment को शुरू और रोक सकते हैं:

inference cloud start <deployment_handle>

और

# VM को रोकें, VM के रुके रहने के दौरान आप केवल डिस्क स्टोरेज के लिए भुगतान करते हैं
inference cloud stop <deployment_handle>

inference cloud undeploy

अपना deployment हटाने (undeploy) के लिए, चलाएँ:

inference cloud undeploy <deployment_handle>

क्लाउड deployment में SSH करें

आप निम्न कमांड के साथ अपने cloud deployment में SSH कर सकते हैं:

ssh <deployment_handle>

आवश्यक SSH key अपने-आप आपकी ~/.ssh/config; आपको इसे मैन्युअल रूप से कॉन्फ़िगर करने की आवश्यकता नहीं है।

क्लाउड डिप्लॉय अनुकूलन

Roboflow Inference cloud deploy आंतरिक रूप से परीक्षण किए गए टेम्पलेटों के आधार पर VMs बनाता है।

उन्नत उपयोग मामलों के लिए, आप अपना स्वयं का sky YAML टेम्पलेट कमांड लाइन पर पास करके टेम्पलेट को अनुकूलित कर सकते हैं:

inference cloud deploy --custom /path/to/sky-template.yaml

आप Roboflow CLI में संग्रहीत मानक टेम्पलेट डाउनलोड कर सकते हैं और फिर अपनी आवश्यकताओं के अनुसार उसे संशोधित कर सकते हैं:

# यह कमांड मानक gcp/cpu sky टेम्पलेट प्रिंट करेगा।
inference cloud deploy --dry-run --provider gcp --compute-type cpu

फिर आप अपने परिवर्तनों के आधार पर एक कस्टम टेम्पलेट तैनात कर सकते हैं।

आप sky CLI का भी उपयोग अपनी तैनातियों को नियंत्रित करने और अधिक उन्नत कार्यक्षमता तक पहुँचने के लिए कर सकते हैं।

Roboflow Inference deploy वर्तमान में AWS और GCP का समर्थन करता है। कृपया Inference GitHub repository पर एक issue खोलें यदि आप अन्य cloud providers का समर्थन देखना चाहते हैं।

यदि आप चाहें कि Roboflow आपके लिए सर्वर चलाए और scale करे, तो देखें डेडिकेटेड डिप्लॉयमेंट्स.