Inference Server

Inference Server क्या है, इसे Docker और Inference CLI के साथ कैसे शुरू करें, और इसके built-in JupyterLab notebook को कैसे खोलें।

Inference Server एक स्वतंत्र माइक्रोसर्विस है जो रैप करती है inference Python पैकेज. यह इमेज के लिए HTTP एंडपॉइंट और वीडियो स्ट्रीम के लिए एक WebRTC एंडपॉइंट उपलब्ध कराता है। एक सर्वर कई क्लाइंट्स को सेवा दे सकता है और वही मॉडल तथा वर्कफ़्लोज़ Roboflow के होस्ट किए गए APIs की तरह। यह self-host करने का अनुशंसित तरीका है: देखें एक मार्ग चुनें कि यह लाइब्रेरी को सीधे चलाने की तुलना में कैसा है।

यह कहाँ चलता है

अपने स्वयं के हार्डवेयर (Raspberry Pi, NVIDIA GPU, NVIDIA Jetson, या एक साधारण सर्वर) पर सर्वर को self-host करें, साथ में Docker, या में अपना AWS, GCP, या Azure खाता. Roboflow आपके लिए वही सर्वर भी चलाता है, रूप में Serverless Cloud API और समर्पित डिप्लॉयमेंट: देखें डिप्लॉयमेंट विकल्प चुनना.

आप जो भी चुनें, आप उससे के माध्यम से संवाद करते हैं Inference SDK, क्योंकि वे एक ही इंटरफ़ेस साझा करते हैं: केवल api_url ही बदलता है।

Docker के साथ चलाना

शुरू करने से पहले, सुनिश्चित करें Docker इंस्टॉल है आपकी मशीन पर। Inference Server शुरू करने का सबसे आसान तरीका है Inference CLI:

pip install inference-cli && inference server start

यह आपकी मशीन के लिए उपयुक्त Docker इमेज को, निर्भरताएँ पहले से इंस्टॉल करके, डाउनलोड करता है और पोर्ट 9001 पर Inference Server शुरू करता है। सर्वर की स्थिति जाँचें:

inference server status

Docker कंटेनर को मैन्युअल रूप से सेट अप करना

inference server start चलाता है docker run पर्दे के पीछे अनुशंसित सुरक्षा सेटिंग्स, कैशिंग, और प्लेटफ़ॉर्म-विशिष्ट विकल्पों के साथ।

यदि आप कंटेनर स्वयं शुरू करना चाहते हैं, तो अपने प्लेटफ़ॉर्म के इंस्टॉल गाइड के "Manually starting the container" अनुभाग को देखें:

• Linux

• Windows

• Mac

• Jetson

• Raspberry Pi

कंटेनर सेटिंग्स environment variables द्वारा नियंत्रित होती हैं: देखें Docker कॉन्फ़िगरेशन विकल्प और पूरा environment variable संदर्भ.

अंतर्निहित JupyterLab नोटबुक

Inference Servers एक अंतर्निहित JupyterLab वातावरण के साथ आते हैं, जो विकास और परीक्षण के दौरान प्रयोग करने का सबसे तेज़ तरीका है। यह डिफ़ॉल्ट रूप से अक्षम है, इसलिए सर्वर को के साथ शुरू करें --dev फ़्लैग इसे सक्षम करने के लिए:

pip install inference-cli
inference server start --dev

फिर खोलें http://localhost:9001 अपने ब्राउज़र में Inference landing page देखने के लिए, जो संसाधनों, उदाहरणों, और अंतर्निहित JupyterLab वातावरण से लिंक करता है। JupyterLab को नए टैब में खोलने के लिए "Jump Into an Inference Enabled Notebook" चुनें। इसमें उदाहरण नोटबुक और Inference चलाने के लिए आवश्यक सभी निर्भरताएँ पहले से लोड होती हैं।

यह --dev नोटबुक वातावरण स्थानीय विकास के लिए है। इसे ऐसे सर्वर पर सक्षम न करें जो किसी अविश्वसनीय नेटवर्क से पहुँच योग्य हो: देखें एक Self-Hosted सर्वर को सुरक्षित करना.

वीडियो स्ट्रीम करें

वेबकैम, कैमरा फ़ीड, और वीडियो फ़ाइलों को किसी मॉडल या Workflow के माध्यम से स्ट्रीम करने के लिए Inference SDK WebRTC क्लाइंट का उपयोग करें:

pip install "inference-sdk[webrtc]"

सेट करें api_url="http://localhost:9001" जब आप बनाते हैं InferenceHTTPClient. देखें WebRTC स्ट्रीमिंग मॉडल और Workflow उदाहरणों के लिए, या अनुसरण करें Workflows के साथ वीडियो प्रोसेसिंग एक कार्य-आधारित गाइड के लिए।

इस अनुभाग में

Inference Server इंस्टॉल करें

आवश्यकताएँ, प्रति-डिवाइस इंस्टॉल गाइड, आपका अपना क्लाउड, और अपडेट करना।

एक मॉडल चलाएँ

HTTP पर आपका पहला अनुरोध, मॉडल IDs, और विज़ुअलाइज़ेशन।

कॉन्फ़िगरेशन

कंटेनर विकल्प, environment variables, सुरक्षा, HTTPS, और टेलीमेट्री।

आर्किटेक्चर

अनुरोध, वीडियो, और Workflows सर्वर के माध्यम से कैसे प्रवाहित होते हैं।