> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server/architecture.md).

# Inference आर्किटेक्चर

Roboflow Inference की संरचना कैसी है - request routing, parallelization, microservice और appliance patterns, capabilities, और Docker की अनुशंसा क्यों की जाती है।

अनुमान (Inference) को सर्वर मोड में चलाना सबसे बेहतर है। यह एक [नेटिव Python इंटरफ़ेस](https://docs.roboflow.com/deployment/hi/self-hosted/inference-library.md)भी सपोर्ट करता है, हालांकि देखें [हम Docker की अनुशंसा क्यों करते हैं](#why-docker)। आप REST API के ज़रिए इसके साथ इंटरैक्ट करते हैं, आमतौर पर [Inference SDK](https://docs.roboflow.com/reference/inference/inference-sdk)के माध्यम से, या वेब ब्राउज़र से ( [Roboflow ऐप](https://app.roboflow.com) वैकल्पिक रूप से स्थानीय रूप से होस्ट किए गए Inference सर्वर के लिए फ्रंटएंड के रूप में काम कर सकता है)।

Inference किसी मॉडल या मॉडलों की शृंखला के ज़रिए पूर्वानुमान प्राप्त करने और परिणामों को संसाधित करने का समन्वय करता है। यह वर्कलोड को समानांतर करने और उपलब्ध GPU तथा CPU कोर का कुशल उपयोग करने के लिए अपने-आप मल्टीथ्रेडिंग करता है। साथ ही, कॉन्फ़िगर की गई कतारों और कैप्चर मोड का उपयोग करके वीडियो स्ट्रीम से डेटा लेते समय, यह बदलती हुई संसाधन-दर के अनुसार गतिशील रूप से अनुकूलित होता है।

Inference, मॉडल वेट और Workflow परिभाषाएँ प्राप्त करने तथा बाद में मूल्यांकन के लिए मॉडल परिणामों का रिकॉर्ड रखने हेतु Roboflow सेवाओं से संपर्क करता है, और कैश किए गए मॉडल स्थानीय रूप से चला सकता है। ऑफ़लाइन संचालन के लिए ऐसे Workflow ब्लॉक और सिंक भी आवश्यक हैं जो रिमोट सेवाओं के बिना चल सकें; देखें [ऑफ़लाइन मोड](https://docs.roboflow.com/deployment/hi/self-hosted/enterprise/offline-mode.md).

एक Inference सर्वर कई क्लाइंट और स्ट्रीम संभाल सकता है।

<figure><img src="https://2297977984-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoksNmwps1HmYr8TqHDnX%2Fuploads%2Fgit-blob-9c74d4545aec14d51322649264d3a34526a3cc24%2Fimg-inference-diagram-v1.png?alt=media" alt="Roboflow Inference architecture diagram"><figcaption><p>आपके एप्लिकेशन, मॉडलों और Roboflow प्लेटफ़ॉर्म के बीच Inference की भूमिका</p></figcaption></figure>

## माइक्रोसर्विस के रूप में Inference

Inference का सबसे आम उपयोग किसी बड़े सिस्टम के छोटे हिस्से के रूप में होता है, जहाँ यह ऐसा प्रतिसाद तैयार करता है जिसका उपयोग आगे का कोड करता है। यह प्रतिसाद कभी-कभी किसी मॉडल के पूर्वानुमान को दर्शाता है (उदाहरण के लिए, किसी छवि में वस्तुओं के वर्गीकरण, स्थान और आकार वाली डिटेक्शन की सूची), लेकिन यह पोस्ट-प्रोसेसिंग लॉजिक के परिणाम (जैसे निरीक्षण की पास/फ़ेल स्थिति), किसी एग्रीगेशन (जैसे पिछले घंटे में देखी गई विशिष्ट वस्तुओं की संख्या), या किसी विज़ुअलाइज़ेशन को भी दर्शा सकता है।

छवियों से जुड़े वर्कलोड में, इनपुट को पैरामीटर के रूप में पास किया जाता है और प्रतिसाद सिंक्रोनस रूप से लौटाया जाता है।

<figure><img src="https://2297977984-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoksNmwps1HmYr8TqHDnX%2Fuploads%2Fgit-blob-d3cd83c5b6b0ed049285b9b2c68ebca45ae1982e%2Finference-architecture-microservice.svg?alt=media" alt="Inference as a microservice"><figcaption><p>माइक्रोसर्विस के रूप में Inference</p></figcaption></figure>

वीडियो स्ट्रीम के लिए, सर्वर एक स्थायी वीडियो वर्कर शुरू करता है, जो सत्र समाप्त होने तक चलता है। क्लाइंट एप्लिकेशन को संसाधित फ़्रेम और पूर्वानुमान डेटा WebRTC के माध्यम से मिलता है।

<figure><img src="https://2297977984-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoksNmwps1HmYr8TqHDnX%2Fuploads%2Fgit-blob-f3064b5007b14cf1e01ef9e9a33807c97e340046%2Finference-architecture-pipeline.svg?alt=media" alt="Inference Server video streaming"><figcaption><p>Inference Server वीडियो स्ट्रीमिंग</p></figcaption></figure>

माइक्रोसर्विस के उपयोग के उदाहरण:

* वेबसाइट पर उपयोगकर्ताओं द्वारा अपलोड की गई छवियों को टैग करना
* मशीन चालू करने की अनुमति देने से पहले यह निर्धारित करना कि उसका सेटअप सही है या नहीं
* वीडियो में चेहरों को धुंधला करना
* तैयार सर्किट बोर्ड में गलत वायरिंग का पता लगाना
* यह सुनिश्चित करने के लिए निर्मित वस्तु का निरीक्षण करना कि वह विनिर्देशों के अनुरूप है
* यह सत्यापित करना कि वस्तु में कोई दोष या दाग-धब्बा नहीं है
* छवि में गोलियों की संख्या गिनना

## एक उपकरण के रूप में Inference

Inference को एक स्वायत्त एजेंट के रूप में भी इस्तेमाल किया जा सकता है, जो लगातार वीडियो स्ट्रीम लेता और संसाधित करता है तथा आगे की कार्रवाइयाँ करता है, जैसे डेटाबेस अपडेट करना, सूचनाएँ भेजना, वेबहुक ट्रिगर करना या हार्डवेयर को संकेत देना। इस पैटर्न में सिस्टम का पूरा लॉजिक एक [Workflow](https://docs.roboflow.com/workflows) में परिभाषित होता है और आउटपुट बाहरी सिस्टम को भेजा जाता है।

<figure><img src="https://2297977984-files.gitbook.io/~/files/v0/b/gitbook-x-prod.appspot.com/o/spaces%2FoksNmwps1HmYr8TqHDnX%2Fuploads%2Fgit-blob-e74d5e11c06668e0a659277f76db4b39de50935d%2Finference-architecture-appliance.svg?alt=media" alt="Inference as an appliance"><figcaption><p>एक उपकरण के रूप में Inference</p></figcaption></figure>

उपकरण के उपयोग के उदाहरण:

* जाम होने पर कन्वेयर बेल्ट रोकना
* हाईवे ट्रैफ़िक के विश्लेषण हेतु डेटा एकत्र करना
* सुरक्षा कैमरे की फ़ीड में संदिग्ध गतिविधि को चिह्नित करना
* वाहनों के परिसर में आने या वहाँ से जाने पर इन्वेंटरी सिस्टम अपडेट करना
* स्क्रैप का ढेर भरकर बहने लगे तो अलार्म बजाना
* दिन भर में खुदरा ग्राहकों के प्रतीक्षा समय का रिकॉर्ड रखना

## सर्वर आपके लिए क्या संभालता है

| क्षमता                     | यह क्या करती है                                                                                                                                                                                                                                                                                                                                                    |
| -------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------ |
| **मॉडल सर्विंग**           | ऑब्जेक्ट डिटेक्शन, इमेज क्लासिफ़िकेशन, इंस्टेंस सेगमेंटेशन, कीपॉइंट डिटेक्शन, इमेज एम्बेडिंग, OCR, विज़ुअल प्रश्न-उत्तर और अन्य कार्य चलाता है। देखें [समर्थित मॉडल](https://docs.roboflow.com/models/supported-models).                                                                                                                                           |
| **इमेज प्रोसेसिंग**        | मॉडल को प्रशिक्षण के दौरान जिन प्री-प्रोसेसिंग और पोस्ट-प्रोसेसिंग विधियों का उपयोग करना सिखाया जाता है, उन्हें कुशलता से लागू करता है, ताकि अनावश्यक विलंब के बिना सटीकता बनी रहे।                                                                                                                                                                                |
| **वीडियो स्ट्रीम प्रबंधन** | कैप्चर और प्रोसेसिंग वर्कर प्रबंधित करता है; कतारबद्ध करना, क्रम में डिलीवरी और फ़्रेम छोड़ना स्रोत तथा कैप्चर मोड पर निर्भर करते हैं।                                                                                                                                                                                                                             |
| **वर्कफ़्लो**              | एक घोषित कंप्यूटेशन ग्राफ़ चलाता है, जो मॉडल, लॉजिक, इंटीग्रेशन और कस्टम कोड के माध्यम से डेटा को प्रवाहित और समानांतर करता है।                                                                                                                                                                                                                                    |
| **HTTP सर्वर, SDK और CLI** | माइक्रोसर्विस के रूप में उपयोग के लिए HTTP API, साथ ही एक [Python SDK](https://docs.roboflow.com/reference/inference/inference-sdk) और [CLI](https://docs.roboflow.com/reference/inference/inference-cli) इसे चलाने के लिए।                                                                                                                                        |
| **गति**                    | समानांतर प्रसंस्करण, हार्डवेयर त्वरण और डायनामिक बैचिंग के साथ-साथ समर्थित GPU पर वैकल्पिक TensorRT क्वांटाइज़ेशन और डिवाइस-विशिष्ट लेयर फ़्यूज़न।                                                                                                                                                                                                                 |
| **ऑफ़लाइन कैश**            | मॉडल और Workflow परिभाषाएँ डाउनलोड करके उन्हें स्थानीय रूप से संग्रहीत करता है, ताकि सर्वर [ऑफ़लाइन मोड](https://docs.roboflow.com/deployment/hi/self-hosted/enterprise/offline-mode.md).                                                                                                                                                                          |
| **इनसाइट्स**               | आउटलायर डेटा अपलोड करने, आँकड़े और टेलीमेट्री उपलब्ध कराने और डाउनस्ट्रीम डेटा सिंक में डेटा भेजने के लिए Roboflow प्लेटफ़ॉर्म से जुड़ता है। देखें [मॉडल मॉनिटरिंग](https://docs.roboflow.com/deployment/hi/monitoring-and-analytics/model-monitoring.md) और [सक्रिय शिक्षण](https://docs.roboflow.com/deployment/hi/monitoring-and-analytics/active-learning.md). |
| **पोर्टेबिलिटी**           | macOS डेवलपमेंट मशीनों, क्लाउड सर्वर और छोटे एज डिवाइसों पर चलता है। Docker टैग बदलें और यही कोड किसी दूसरे प्लेटफ़ॉर्म पर चलने लगेगा।                                                                                                                                                                                                                             |
| **विस्तार-क्षमता**         | Apache 2.0 लाइसेंस के तहत ओपन सोर्स। कस्टम मॉडल, Workflow ब्लॉक और बैकएंड जोड़ें, या ब्लॉकों के बीच की कमियों को पाटने के लिए डायनामिक Python ब्लॉक का उपयोग करें।                                                                                                                                                                                                 |

## Docker क्यों

हम Inference चलाने के लिए Docker कंटेनर का उपयोग करने की पुरज़ोर सलाह देते हैं। मशीन लर्निंग की निर्भरताएँ अपने परिवेश में होने वाले छोटे बदलावों के प्रति संवेदनशील होती हैं। यदि उन्हें किसी नियतात्मक परिवेश में अलग-थलग न रखा जाए, तो ऑपरेटिंग सिस्टम या ड्राइवर अपडेट करने, एप्लिकेशन कोड की निर्भरताएँ अपडेट करने, सुरक्षा पैच लागू करने या नई मशीन सेट अप करने पर आपका सिस्टम खराब हो सकता है। ये इमेज सुनिश्चित करती हैं कि लाइब्रेरी के संस्करण एक-दूसरे के साथ संगत हों, पैकेज GPU का लाभ उठाने के लिए कंपाइल किए गए हों और सुरक्षा पैच लागू किए गए हों।

Docker आपको पोर्टेबिलिटी भी देता है। आप बाद में अपने एप्लिकेशन कोड में बदलाव किए बिना, एक बड़े सर्वर से कई क्लाइंट को सेवाएँ देने या CPU से GPU पर अपग्रेड करने का निर्णय ले सकते हैं।

इसका अपवाद ऐसा हार्डवेयर है जहाँ कंटेनर एक्सेलरेटर तक नहीं पहुँच सकता, जैसे [macOS पर MPS](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server/install/mac.md), जहाँ त्वरण पाने का एकमात्र तरीका Docker के बाहर चलाना है।
