कॉन्फ़िगरेशन
self-hosted Roboflow Inference server को कॉन्फ़िगर, सुरक्षित, और मॉनिटर करें - container options, environment variables, HTTPS, input formats, और metrics।
एक इन्फ़रेंस सर्वर शुरू किया गया जिसके साथ inference server start डिफ़ॉल्ट रूप से होस्ट लूपबैक पर पोर्ट 9001 प्रकाशित करता है, Jetson इमेज और टनल लॉन्च को छोड़कर। कस्टम Python स्थानीय रूप से उपलब्ध रहता है, और प्रमाणीकरण वैकल्पिक है। इसके साथ शुरू करें सर्वर सुरक्षा ताकि आप चुन सकें कि सर्वर तक कौन पहुँच सकता है, फिर अपने अनुप्रयोग को जिन सुविधाओं की आवश्यकता है उन्हें कॉन्फ़िगर करें।
अपना पहला मॉडल चलाने के लिए आपको इनमें से किसी की भी आवश्यकता नहीं है। जब आप सर्वर को अन्य मशीनों के लिए उपलब्ध कराना चाहें, इसे उत्पादन में चलाना चाहें, इसके संसाधन उपयोग को सीमित करना चाहें, या लोड के तहत इसका व्यवहार देखना चाहें, तब यहाँ वापस आएँ।
कंटेनर को समायोजित करें
Docker कॉन्फ़िगरेशन विकल्प - पोर्ट, CORS, वर्कर की संख्या, NMS डिफ़ॉल्ट, मॉडल कैश, और Secure Gateway।
इन्फ़रेंस सर्वर पर्यावरण चर: सामान्य रूप से उपयोग किए जाने वाले चर, क्षेत्र के अनुसार समूहित।
STREAM_MANAGER_MAX_RAM_MB: प्रबंधित पाइपलाइन सीमाएँ, वार्म वर्कर्स, और मीडिया संदर्भ।
सर्वर को अधिक सुरक्षित बनाएं
Accepted Input Formats: स्थानीय डिफ़ॉल्ट, नेटवर्क पहुँच, प्रमाणीकरण, और प्रेक्षणीयता।
सुरक्षा कॉन्फ़िगरेशन माइग्रेशन: रिलीज़ दायरा, बदले गए डिफ़ॉल्ट, और अपग्रेड कार्रवाइयाँ।
ALLOW_INFERENCE_MODELS_UNTRUSTED_PACKAGES: प्रति-मॉडल प्राधिकरण, स्थानीय पैकेज, और पैकेज विश्वसनीयता।
SSL_CERTFILE - अपने प्रमाणपत्र के साथ TLS समाप्त करें, एन्क्रिप्टेड कुंजियों का उपयोग करें, और पारस्परिक TLS की आवश्यकता रखें।
स्वीकृत इनपुट प्रारूप - सर्वर किन पेलोड प्रकारों को स्वीकार करता है, और पिक्ल्ड numpy arrays तथा URL image fetching जैसे अधिक जोखिम वाले प्रकारों को कैसे निष्क्रिय करें।
इसे चलते हुए देखें
इन्फ़रेंस सर्वर टेलीमेट्री - चल रहे सर्वर के लिए Prometheus मीट्रिक्स और Docker कंटेनर आँकड़े।
अंतिम अपडेट
क्या यह उपयोगी था?