Self-Hosted Deployment

ओपन सोर्स computer vision deployment framework Inference के साथ अपने स्वयं के hardware पर Roboflow models और Workflows चलाएँ।

इन्फ़रेंस एक ओपन सोर्स कंप्यूटर विज़न डिप्लॉयमेंट हब है। यह मॉडल और वर्कफ़्लोज़ को सर्व करता है, वीडियो स्ट्रीम्स को मैनेज करता है, और CPUs तथा GPUs के लिए इन्फ़रेंस को ऑप्टिमाइज़ करता है। जब आपको लोकल प्रोसेसिंग, लेटेंसी और संसाधनों पर नियंत्रण, या ऑफ़लाइन डिप्लॉयमेंट की आवश्यकता हो, तो इसे स्वयं होस्ट करें। Apache 2.0 लाइसेंस वाला कोर Roboflow के होस्टेड APIs को भी शक्ति देता है।

Self-hosting का मतलब है कि आप इन्फ्रास्ट्रक्चर को मैनेज करते हैं। यदि आप चाहेंगे कि Roboflow सर्वर चलाए, तो देखें समर्पित डिप्लॉयमेंट्स या सर्वरलेस क्लाउड API, और विकल्पों की पूरी तुलना.

एक मार्ग चुनें

अपने खुद के हार्डवेयर पर मॉडल चलाने के तीन तरीके हैं। अधिकांश प्रोजेक्ट्स Inference Server का उपयोग करते हैं।

इन्फ़रेंस सर्वर

एक Docker कंटेनर जो HTTP के माध्यम से मॉडल और वर्कफ़्लोज़ को सर्व करता है।

इन्फ़रेंस लाइब्रेरी

द इन्फ़रेंस अपने प्रोसेस में मॉडल चलाने के लिए Python पैकेज।

अन्य SDKs

वेब ब्राउज़र में, iOS पर, या एम्बेडेड डिवाइसों पर मॉडल चलाएँ।

जब एक से अधिक क्लाइंट या भाषा को प्रेडिक्शन की आवश्यकता हो, जब आप चाहते हों कि मॉडल आपकी ऐप्लिकेशन डिपेंडेंसीज़ से अलग रहें, या जब आप edge डिवाइसों पर डिप्लॉय करें, तब सर्वर का उपयोग करें।

मॉडल को लोकली चलाएँ

अधिकांश प्रोजेक्ट्स के लिए, Docker में Inference Server चलाएँ और inference-sdkके साथ अनुरोध भेजें। SDK एक Python HTTP क्लाइंट है जो आपकी ऐप्लिकेशन को Inference Server से जोड़ता है। जब आपको अपने Python प्रोसेस के अंदर सीधे मॉडल लोड और चलाने हों, तब Inference Library का उपयोग करें। दोनों पथ समान model_id मान स्वीकार करते हैं, इसलिए आप बाद में इनके बीच स्विच कर सकते हैं।

Model IDs

द model_id पैरामीटर हो सकता है:

एक प्रशिक्षित मॉडल उपनाम, उदाहरण के लिए rfdetr-small या rfdetr-large
आपका अपना Roboflow से fine-tuned मॉडल, उदाहरण के लिए my-project/1
एक Universe मॉडल, उदाहरण के लिए soccer-players-xy9vk/2

Fine-tuned मॉडल्स और Universe मॉडल्स के लिए एक API key.

इंस्टॉल करें

सर्वर को शुरू करें Inference CLIके साथ। यह आपके हार्डवेयर का पता लगाता है और सुरक्षित डिफ़ॉल्ट्स के साथ सही Docker इमेज खींचता है:

pip install inference-cli && inference server start

फिर HTTP क्लाइंट इंस्टॉल करें:

pip install inference-sdk

हार्डवेयर आवश्यकताओं, प्रति-डिवाइस गाइड्स, और मैनुअल docker run कमांड्स के लिए, देखें इन्फ़रेंस सर्वर इंस्टॉल करें। वही क्लाइंट सर्वरलेस क्लाउड API और समर्पित डिप्लॉयमेंट्सके साथ भी काम करता है: केवल api_url बदलता है।

इन्फ़रेंस चलाएँ

from inference_sdk import InferenceHTTPClient, InferenceConfiguration

image = "https://media.roboflow.com/inference/people-walking.jpg"
client = InferenceHTTPClient(
    api_url="http://localhost:9001",  # आपका self-hosted सर्वर
    api_key="YOUR_API_KEY",
).configure(InferenceConfiguration(api_key_transport="header"))
results = client.infer(image, model_id="rfdetr-small")

द api_key_transport="header" सेटिंग कुंजी को केवल एक Authorization: Bearer हेडर के रूप में भेजती है, जिससे यह URLs और लॉग्स में नहीं जाती। इसके लिए release 1.5.0 या नए का inference server चाहिए; उपयोग करें api_key_transport="both" जब तक आप पुराने सर्वरों को कॉल करते रहते हैं। देखें API key transport.

बदलें api_url को https://serverless.roboflow.com का उपयोग करने के लिए सर्वरलेस क्लाउड API इसके बजाय, बिना किसी अन्य कोड परिवर्तन के। देखें Inference SDK संदर्भ विवरण के लिए।

परिणामों का विज़ुअलाइज़ करें

इंस्टॉल करें Supervision:

pip install -U supervision

import supervision as sv
from inference_sdk import InferenceHTTPClient, InferenceConfiguration

image = sv.load_image_from_url("https://media.roboflow.com/inference/people-walking.jpg")

client = InferenceHTTPClient(
    api_url="http://localhost:9001",
    api_key="YOUR_API_KEY",
).configure(InferenceConfiguration(api_key_transport="header"))
results = client.infer(image, model_id="rfdetr-medium")

detections = sv.Detections.from_inference(results)

annotated_image = sv.BoxAnnotator().annotate(scene=image, detections=detections)
annotated_image = sv.LabelAnnotator().annotate(scene=annotated_image, detections=detections)

sv.plot_image(annotated_image)

इंस्टॉल करें

इंस्टॉल करें इन्फ़रेंस पैकेज को अपने खुद के Python वातावरण में:

pip install inference

यदि आपके पास NVIDIA GPU है, तो इसके बजाय inference-gpu इंस्टॉल करें, और index URL को आपके OS में इंस्टॉल CUDA संस्करण से मिलाएँ:

pip install --extra-index-url https://download.pytorch.org/whl/cu124 inference-gpu

देखें इन्फ़रेंस लाइब्रेरी backend extras और GPU सेटअप विवरण के लिए।

इन्फ़रेंस चलाएँ

from inference import get_model

image = "https://media.roboflow.com/inference/people-walking.jpg"
model = get_model(model_id="rfdetr-small")
results = model.infer(image)

get_model() पहली बार उपयोग पर model weights डाउनलोड और cache करता है, फिर लोकली inference चलाता है। देखें Inference Python Package संदर्भ विवरण के लिए।

परिणामों का विज़ुअलाइज़ करें

इंस्टॉल करें Supervision:

pip install -U supervision

import supervision as sv
from inference import get_model

image = sv.load_image_from_url("https://media.roboflow.com/inference/people-walking.jpg")

model = get_model(model_id="rfdetr-medium")
results = model.infer(image)[0]

detections = sv.Detections.from_inference(results)

annotated_image = sv.BoxAnnotator().annotate(scene=image, detections=detections)
annotated_image = sv.LabelAnnotator().annotate(scene=annotated_image, detections=detections)

sv.plot_image(annotated_image)

सावधान रहें कि अपनी API key बाहरी उपयोगकर्ताओं को उजागर न करें। इसे सार्वजनिक-उपयोग वाले frontend ऐप में एम्बेड न करें; इसके बजाय अनुरोध को अपने backend के माध्यम से proxy करें।

आप एक वर्कफ़्लो इसी तरह, सर्वर पर या अपने खुद के प्रोसेस में चला सकते हैं: देखें वर्कफ़्लो डिप्लॉय करें.

प्राइवेट मॉडल्स के लिए TensorRT-optimized model packages केवल उपलब्ध हैं Enterprise योजनाओं पर जब Inference को Roboflow प्लेटफ़ॉर्म के बाहर चलाया जा रहा हो। सार्वजनिक मॉडल सभी योजनाओं पर TensorRT packages शामिल करते हैं।

पिछलाएक Dedicated Deployment को रोकें और फिर शुरू करें

अगलाInference Server

अंतिम अपडेट 20 दिन पहले

क्या यह उपयोगी था?