Self-Hosted Deployment

Inference, open source computer vision deployment framework, के साथ अपने स्वयं के hardware पर Roboflow models और Workflows चलाएँ।

इन्फ़ेरेंस एक ओपन-सोर्स कंप्यूटर विज़न डिप्लॉयमेंट हब है। यह मॉडल और वर्कफ़्लो सर्व करता है, वीडियो स्ट्रीम्स को प्रबंधित करता है, और CPU तथा GPU के लिए इन्फ़ेरेंस को अनुकूलित करता है। जब आपको स्थानीय प्रोसेसिंग, लेटेंसी और संसाधनों पर नियंत्रण, या ऑफ़लाइन डिप्लॉयमेंट की आवश्यकता हो, तब इसे self-host करें। Apache 2.0 लाइसेंस प्राप्त कोर Roboflow के hosted APIs को भी शक्ति देता है।

Self-hosting का मतलब है कि आप इंफ्रास्ट्रक्चर का प्रबंधन करते हैं। अगर आप चाहें कि Roboflow सर्वर चलाए, तो देखें समर्पित परिनियोजन या Serverless Cloud API, और विकल्पों की पूरी तुलना.

एक मार्ग चुनें

अपने स्वयं के हार्डवेयर पर मॉडल चलाने के तीन तरीके हैं। अधिकांश प्रोजेक्ट Inference Server का उपयोग करते हैं।

Inference Server

एक Docker कंटेनर जो HTTP के माध्यम से मॉडल और वर्कफ़्लो सर्व करता है।

Inference Library

यह inference आपकी प्रक्रिया के भीतर मॉडल चलाने के लिए Python पैकेज।

अन्य SDKs

वेब ब्राउज़र में, iOS पर, या एम्बेडेड डिवाइसों पर मॉडल चलाएँ।

जब एक से अधिक क्लाइंट या भाषा को भविष्यवाणियों की आवश्यकता हो, जब आप चाहते हों कि मॉडल आपके application dependencies से अलग रहें, या जब आप edge devices पर डिप्लॉय कर रहे हों, तब सर्वर का उपयोग करें।

मॉडल को स्थानीय रूप से चलाएँ

अधिकांश प्रोजेक्टों के लिए, Inference Server को Docker में चलाएँ और इसके साथ अनुरोध भेजें inference-sdk। SDK एक Python HTTP client है जो आपके application को Inference Server से जोड़ता है। जब आपको सीधे अपने Python process के भीतर मॉडल लोड और चलाने की आवश्यकता हो, तब Inference Library का उपयोग करें। दोनों पथ समान model_id मान स्वीकार करते हैं, इसलिए आप बाद में उनके बीच स्विच कर सकते हैं।

Model IDs

यह model_id पैरामीटर हो सकता है:

एक pre-trained model alias, उदाहरण के लिए rfdetr-small या rfdetr-large
आपका अपना Roboflow से fine-tuned model, उदाहरण के लिए my-project/1
एक Universe model, उदाहरण के लिए soccer-players-xy9vk/2

Fine-tuned models और Universe models के लिए एक API key.

इंस्टॉल करें

सर्वर को इसके साथ शुरू करें Inference CLI। यह आपके हार्डवेयर का पता लगाता है और सुरक्षित डिफ़ॉल्ट्स के साथ सही Docker image लोड करता है:

pip install inference-cli && inference server start

फिर HTTP client इंस्टॉल करें:

pip install inference-sdk

हार्डवेयर आवश्यकताओं, प्रति-डिवाइस मार्गदर्शिकाओं, और मैनुअल docker run कमांड्स के लिए, देखें Inference Server इंस्टॉल करें। यही client Serverless Cloud API और समर्पित परिनियोजनके साथ भी काम करता है: api_url ही बदलता है।

इन्फ़ेरेंस चलाएँ

from inference_sdk import InferenceHTTPClient

image = "https://media.roboflow.com/inference/people-walking.jpg"
client = InferenceHTTPClient(
    api_url="http://localhost:9001",  # आपका self-hosted सर्वर
    api_key="YOUR_API_KEY",
)
results = client.infer(image, model_id="rfdetr-small")

बदलें api_url को https://serverless.roboflow.com का उपयोग करने के लिए Serverless Cloud API इसके बजाय, बिना किसी अन्य कोड परिवर्तन के। देखें Inference SDK reference विवरण के लिए।

परिणामों को विज़ुअलाइज़ करें

इंस्टॉल करें Supervision:

pip install -U supervision

import supervision as sv
from inference_sdk import InferenceHTTPClient

image = sv.load_image_from_url("https://media.roboflow.com/inference/people-walking.jpg")

client = InferenceHTTPClient(
    api_url="http://localhost:9001",
    api_key="YOUR_API_KEY",
)
results = client.infer(image, model_id="rfdetr-medium")

detections = sv.Detections.from_inference(results)

annotated_image = sv.BoxAnnotator().annotate(scene=image, detections=detections)
annotated_image = sv.LabelAnnotator().annotate(scene=annotated_image, detections=detections)

sv.plot_image(annotated_image)

इंस्टॉल करें

इसे inference अपने Python environment में पैकेज इंस्टॉल करें:

pip install inference

यदि आपके पास NVIDIA GPU है, तो इसके बजाय inference-gpu इंस्टॉल करें, और index URL को आपके OS में इंस्टॉल CUDA version से मिलाएँ:

pip install --extra-index-url https://download.pytorch.org/whl/cu124 inference-gpu

देखें Inference Library backend extras और GPU setup विवरण के लिए।

इन्फ़ेरेंस चलाएँ

from inference import get_model

image = "https://media.roboflow.com/inference/people-walking.jpg"
model = get_model(model_id="rfdetr-small")
results = model.infer(image)

get_model() पहली बार उपयोग पर model weights डाउनलोड और cache करता है, फिर स्थानीय रूप से inference चलाता है। देखें Inference Python Package reference विवरण के लिए।

परिणामों को विज़ुअलाइज़ करें

इंस्टॉल करें Supervision:

pip install -U supervision

import supervision as sv
from inference import get_model

image = sv.load_image_from_url("https://media.roboflow.com/inference/people-walking.jpg")

model = get_model(model_id="rfdetr-medium")
results = model.infer(image)[0]

detections = sv.Detections.from_inference(results)

annotated_image = sv.BoxAnnotator().annotate(scene=image, detections=detections)
annotated_image = sv.LabelAnnotator().annotate(scene=annotated_image, detections=detections)

sv.plot_image(annotated_image)

सावधान रहें कि अपना API key बाहरी उपयोगकर्ताओं के सामने उजागर न करें। इसे किसी सार्वजनिक frontend ऐप में embed न करें; इसके बजाय अनुरोध को अपने backend के माध्यम से proxy करें।

आप एक वर्कफ़्लो को उसी तरह, server पर या अपनी प्रक्रिया में चला सकते हैं: देखें एक वर्कफ़्लो डिप्लॉय करें.

private models के लिए TensorRT-optimized model packages केवल Enterprise plans पर उपलब्ध हैं जब Inference Roboflow platform के बाहर चल रहा हो। Public models में सभी plans पर TensorRT packages शामिल होते हैं।

पिछलाएक Dedicated Deployment को Pause और Resume करें अगलाInference Server

अंतिम अपडेट 9 दिन पहले

क्या यह उपयोगी था?