Inference Server नियंत्रित करें

inference server कमांड के साथ एक स्थानीय Roboflow Inference Server शुरू, कॉन्फ़िगर, inspect, और stop करें।

यह इन्फरेंस सर्वर कमांड HTTP सर्वर के चारों ओर एक नियंत्रण परत प्रदान करता है जो Inference को एक्सपोज़ करता है।

कमांड के विवरण देखने के लिए, चलाएँ:

inference server --help

प्रत्येक उप-कमांड के लिए एक सहायता मार्गदर्शिका भी उपलब्ध है:

inference server start --help

inference server start

एक स्थानीय Inference Server शुरू करता है। यह वैकल्पिक रूप से एक पोर्ट नंबर लेता है (डिफ़ॉल्ट 9001 है) और केवल तभी Docker कंटेनर शुरू करता है जब उस पोर्ट पर पहले से कोई कंटेनर चल नहीं रहा हो।

यदि आप अपना सर्वर Google Cloud या Amazon Cloud में किसी वर्चुअल मशीन पर चलाना पसंद करते हैं, तो देखें क्लाउड पर तैनात करें.

शुरू करने से पहले, सुनिश्चित करें कि आपकी मशीन पर Docker इंस्टॉल है। Docker एक कंटेनराइज़्ड वातावरण प्रदान करता है, जिससे Inference Server होस्ट सिस्टम की परवाह किए बिना एकसमान और पृथक तरीके से चल सकता है। यदि आपने अभी तक Docker इंस्टॉल नहीं किया है, तो आप इसे यहाँ से प्राप्त कर सकते हैं Docker की आधिकारिक वेबसाइट.

CLI स्वचालित रूप से उस डिवाइस का पता लगाता है जिस पर आप चल रहे हैं और उपयुक्त Docker image डाउनलोड करता है।

inference server start --port 9001 [-e {env_variables_वाली_फ़ाइल_का_वैकल्पिक_पथ}]

पैरामीटर --env-file (या -e) एक वैकल्पिक पथ है एक .env फ़ाइल, जिसे आपके Inference Server में तब लोड किया जाता है जब आंतरिक पैरामीटरों के मानों को समायोजित करने की आवश्यकता होती है। कमांड पैरामीटर के रूप में स्पष्ट रूप से दिया गया कोई भी मान अधिक महत्वपूर्ण माना जाता है और उसी में परिभाषित मान को अधिलेखित करता है .env उसी लक्षित वेरिएबल नाम वाली फ़ाइल।

वॉल्यूम माउंट्स

इस्तेमाल करें --volume (या -v) कंटेनर में होस्ट डायरेक्टरी माउंट करने के लिए फ़्लैग का उपयोग करें। यह Workflows द्वारा लिखी गई फ़ाइलों को बनाए रखने के लिए उपयोगी है (उदाहरण के लिए के माध्यम से local_file_sink ब्लॉक) को अपनी स्थानीय मशीन पर।

inference server start --volume /host/path:/container/path

आप फ़्लैग को दोहराकर कई वॉल्यूम माउंट कर सकते हैं:

inference server start --volume /host/data:/data --volume /host/models:/models:ro

वैकल्पिक :ro प्रत्यय वॉल्यूम को केवल-पढ़ने योग्य के रूप में माउंट करता है। यदि इसे छोड़ा जाए, तो वॉल्यूम को पढ़ने-लिखने योग्य के रूप में माउंट किया जाता है।

डेवलपमेंट मोड

इस्तेमाल करें --dev फ़्लैग, जो Inference Server को डेवलपमेंट मोड में शुरू करता है। डेवलपमेंट मोड आसान परीक्षण और विकास के लिए Inference Server के अंतर्निर्मित नोटबुक वातावरण को सक्षम करता है।

inference server start --dev

देखें localhost:9001 Inference लैंडिंग पेज देखने के लिए अपने ब्राउज़र में "इन्फरेंस-सक्षम नोटबुक में जाएँ" पर जाएँ, जो संसाधनों और उदाहरणों से लिंक करता है। लैंडिंग पेज से, नया टैब खोलने के लिए "इन्फरेंस-सक्षम नोटबुक में जाएँ" चुनें ताकि अंतर्निर्मित JupyterLab वातावरण खुल सके। यह उदाहरण नोटबुक्स और Inference चलाने के लिए आवश्यक सभी निर्भरताओं के साथ पहले से लोड आता है।

टनल

इस्तेमाल करें --tunnel फ़्लैग, जो Inference Server को एक टनल के साथ शुरू करता है जो TLS-सक्षम endpoint पर बाहरी अनुरोधों के लिए inference उपलब्ध कराता है।

यादृच्छिक रूप से जनरेट किया गया पता सर्वर स्टार्ट आउटपुट में दिखाया जाता है:

https://somethingrandom-ip-192-168-0-1.roboflow.run पर चल रहे स्थानीय inference के लिए टनल

inference server status

स्थानीय Inference Server की स्थिति जाँचता है।

inference server status

inference server stop

Inference Server को रोकता है।

inference server stop