AWS पर deploy करें

Inference CLI और SkyPilot के साथ AWS EC2 instance पर एक Roboflow Inference server deploy करें।

आप Amazon Web Services पर होस्ट की गई मशीनों पर Roboflow Inference चला सकते हैं। यह तब उपयुक्त है जब आप अपना स्वयं का क्लाउड इन्फ्रास्ट्रक्चर प्रबंधित करते हुए Inference की सुविधाओं का उपयोग करना चाहते हैं।

एक AWS EC2 इंस्टेंस सेट करें

शुरू करने के लिए आपको AWS पर चल रहा एक EC2 इंस्टेंस चाहिए। इंस्टेंस प्रावधान करने के लिए हम SkyPilot की अनुशंसा करते हैं, जो AI प्रोजेक्ट्स के लिए क्लाउड इंस्टेंस सेट अप करने में मदद करने के लिए बनाया गया एक टूल है।

अपने मशीन पर निम्नलिखित कमांड चलाएँ:

pip install inference "skypilot[aws]"

इसे फॉलो करें SkyPilot cloud account setup documentation AWS के साथ प्रमाणीकरण करने के लिए, फिर चलाएँ:

inference cloud deploy --provider aws --compute-type gpu

यह AWS में एक GPU-सक्षम इंस्टेंस प्रावधान करता है, जिस पर Roboflow Inference का नवीनतम संस्करण स्वचालित रूप से इंस्टॉल होता है।

जब कमांड समाप्त हो जाए, तो आपको इस तरह का एक संदेश दिखाई देना चाहिए:

aws पर gpu पर Roboflow Inference तैनात किया गया, डिप्लॉयमेंट नाम है ...
अपने deployments की सूची पाने के लिए: inference cloud status
अपने deployment को हटाने के लिए: inference cloud undeploy ...
तैनात सर्वर में ssh करने के लिए: ssh ...
Roboflow Inference Server http://34.66.116.66:9001 पर चल रहा है

फिर आप उस endpoint का उपयोग मॉडल चलाने के लिए कर सकते हैं: object detection, segmentation, classification, और अपने Roboflow workspace के keypoint models, साथ ही CLIP, PaliGemma, और SAM2 जैसे foundation models।

अगले चरण

अपने client को नए server की ओर इंगित करें, इसके लिए सेट करें api_url अपने VM के IP address और उस port पर, जिस पर server चल रहा है (9001 डिफ़ॉल्ट रूप से)। देखें मॉडल चलाएँ पहले अनुरोध के लिए, और Inference CLI cloud commands deployment प्रबंधन के लिए।

सर्वर को private network से बाहर expose करने से पहले, समीक्षा करें स्व-होस्टेड सर्वर को सुरक्षित करना.