इन्फरेंस सर्वर इंस्टॉल करें

Roboflow Inference Server को Docker के साथ या Linux, Windows, macOS, NVIDIA Jetson, Raspberry Pi, या अपने स्वयं के क्लाउड पर एक नेेटिव डेस्कटॉप ऐप के रूप में इंस्टॉल करें।

अपनी प्लेटफ़ॉर्म से मेल खाने वाली स्थापना विधि चुनें। सभी पथ सर्वर को पोर्ट पर शुरू करते हैं 9001.

Docker (अनुशंसित)

Docker, Inference चलाने का पसंदीदा तरीका है (देखें Docker क्यों). यह Linux, macOS, Windows, Jetson, और अन्य Docker-सक्षम डिवाइसों पर काम करता है।

पहले Docker इंस्टॉल करें (साथ में NVIDIA Container Toolkit यदि आपके पास CUDA-सक्षम GPU है), फिर इंस्टॉल करें और चलाएँ Inference CLI:

pip install inference-cli && inference server start

यह स्वचालित रूप से आपकी मशीन के लिए सर्वोत्तम कंटेनर चुनता और कॉन्फ़िगर करता है।

Windows (नेटिव ऐप)

बिना Docker की आवश्यकता के, नेटिव डेस्कटॉप ऐप के साथ Windows पर एक Inference Server चलाएँ।

1. नवीनतम इंस्टॉलर डाउनलोड करें और इसे चलाएँ।

2. जब इंस्टॉल पूरा हो जाता है, तो यह Inference Server को लॉन्च करने का विकल्प देता है।

3. सर्वर को रोकने के लिए, वह टर्मिनल विंडो बंद करें जिसे यह खोलता है।

4. इसे बाद में फिर से शुरू करने के लिए, खोजें Roboflow Inference अपने Start Menu में।

देखें Windows पर इंस्टॉल करें विवरण और Docker विकल्प के लिए।

macOS (नेटिव ऐप)

बिना Docker की आवश्यकता के, नेटिव डेस्कटॉप ऐप के साथ Apple Silicon Mac पर एक Inference Server चलाएँ।

1. DMG डाउनलोड करें और इसे खोलें।

2. Roboflow Inference ऐप को अपने Applications फ़ोल्डर में खींचें।

3. सर्वर शुरू करने के लिए Applications में ऐप पर डबल-क्लिक करें।

देखें Mac पर इंस्टॉल करें विवरण, Docker विकल्प, और MPS एक्सेलरेशन के लिए।

आवश्यकताएँ

Inference आपकी मशीन के अनुसार अनुकूलित होता है और अधिक शक्तिशाली हार्डवेयर पर तेज़ चलता है। न्यूनतम आवश्यकता 64-बिट प्रोसेसर, 4 GB RAM, और 20 GB खाली डिस्क स्थान है। Docker ऊपर बताए गए कंटेनर पथों के लिए आवश्यक है।

लक्ष्य	हार्डवेयर	OS	Docker इमेज
CPU	64-बिट CPU, 4 GB RAM, 20 GB खाली डिस्क. भारी मॉडल (जैसे SAM2) व्यावहारिक रूप से बहुत धीमे हो सकते हैं।	Linux, macOS, या Windows 10/11 with WSL 2	roboflow/roboflow-inference-server-cpu
GPU	एक CUDA-सक्षम NVIDIA GPU जिसके साथ NVIDIA Container Toolkit इंस्टॉल हो। बड़े मॉडल और लाइव वीडियो के लिए अनुशंसित।	Linux (या Windows 10/11 with WSL 2)	roboflow/roboflow-inference-server-gpu
NVIDIA Jetson	Jetson Orin डिवाइस (Orin NX 16 GB या उससे अधिक अनुशंसित), JetPack 4.5, 4.6, 5.x, या 6.x पर चल रहा हो। इमेज के लिए ~10 GB खाली डिस्क स्थान रखें।	JetPack / L4T	roboflow/roboflow-inference-server-jetson-* (JetPack-विशिष्ट, स्वतः चुना गया)

देखें न्यूनतम आवश्यकताएँ समर्थित और सुझाए गए डिवाइसों की पूरी सूची के लिए।

डिवाइस-विशिष्ट गाइड

प्रत्येक डिवाइस के लिए विशेष इंस्टॉलेशन नोट्स और प्रदर्शन सुझाव:

• Linux

• Windows

• Mac

• NVIDIA Jetson

• Raspberry Pi

• अन्य डिवाइस

• अपने स्वयं के क्लाउड में तैनात करें - AWS, Azure, या GCP

यदि आप Docker बिल्कुल नहीं चला सकते, तो Inference Library सर्वर के बजाय आपके अपने Python प्रक्रिया में मॉडल चलाता है।

कंटेनर को स्वयं चलाना

आमतौर पर आप इमेज को हाथ से नहीं चुनते: inference server start आपके हार्डवेयर का पता लगाता है और चलाता है docker run आपके लिए अनुशंसित सुरक्षा सेटिंग्स, कैशिंग, और प्लेटफ़ॉर्म-विशिष्ट विकल्पों के साथ। यदि आप कंटेनर को स्वयं प्रबंधित करना पसंद करते हैं, तो CPU-only होस्ट पर CPU इमेज का उपयोग करें, या CUDA होस्ट पर GPU इमेज का उपयोग करें --gpus all पर

CPU

sudo docker run -d \\
    --name inference-server \\
    --read-only \\
    -p 9001:9001 \\
    --volume ~/.inference/cache:/tmp:rw \\
    --security-opt="no-new-privileges" \\
    --cap-drop="ALL" \\
    --cap-add="NET_BIND_SERVICE" \\
    roboflow/roboflow-inference-server-cpu:latest

GPU

इंस्टॉल करें NVIDIA Container Toolkit पहले, फिर जोड़ें --gpus all:

sudo docker run -d \\
    --name inference-server \\
    --gpus all \
    --read-only \\
    -p 9001:9001 \\
    --volume ~/.inference/cache:/tmp:rw \\
    --security-opt="no-new-privileges" \\
    --cap-drop="ALL" \\
    --cap-add="NET_BIND_SERVICE" \\
    roboflow/roboflow-inference-server-gpu:latest

आपके प्लेटफ़ॉर्म की गाइड में उस डिवाइस के लिए सटीक फ़्लैग्स के साथ "कंटेनर को मैन्युअली शुरू करना" नामक एक अनुभाग है।

अपडेट करना

Docker इमेजों का डिफ़ॉल्ट :latest टैग होता है। सर्वर के नवीनतम संस्करण पर जाने के लिए, नवीनतम इमेज pull करें, या inference server startको फिर से चलाएँ, जो इसे आपके लिए pull कर देगा:

docker pull roboflow/roboflow-inference-server-gpu:latest

दोहराने योग्य तैनाती के लिए, एक विशिष्ट संस्करण टैग pin करें के बजाय :latest ताकि कोई अपडेट व्यवहार को अप्रत्याशित रूप से कभी न बदले, उदाहरण के लिए roboflow/roboflow-inference-server-gpu:<version>. उपलब्ध टैग्स देखें Docker Hub, और pinned टैग को बढ़ाकर जानबूझकर अपडेट करें।

अपने सर्वर को सुरक्षित करना

एक self-hosted सर्वर डिफ़ॉल्ट रूप से authentication, encryption, या network restrictions लागू नहीं करता, इसलिए उसे सुरक्षित करना आपकी ज़िम्मेदारी है। स्थानीय डेवलपमेंट ट्रैफ़िक से आगे इसे एक्सपोज़ करने से पहले, समीक्षा करें स्व-होस्टेड सर्वर को सुरक्षित करना.

अपने नए सर्वर का उपयोग करना

एक बार सर्वर चलने लगे, तो इसे इसके HTTP API या Inference SDK. देखें मॉडल चलाएँ के माध्यम से पहले अनुरोध के लिए, और Docker कॉन्फ़िगरेशन विकल्प कंटेनर को ट्यून करने के लिए।

एंटरप्राइज़ संबंधी विचार

एक Helm chart एंटरप्राइज़ क्लाउड तैनाती के लिए उपलब्ध है, और OT नेटवर्कों में तैनाती का समर्थन करने वाले एंटरप्राइज़ नेटवर्किंग समाधान अनुरोध पर उपलब्ध हैं।

Roboflow भी अनुकूलित समर्थन और इंस्टॉलेशन पैकेज प्रदान करता है और एक पहले से कॉन्फ़िगर किया गया Jetson-आधारित एज डिवाइस जो तेज़ प्रोटोटाइपिंग के लिए उपयुक्त है। बिक्री टीम से संपर्क करें यदि आप किसी बड़े संगठन का हिस्सा हैं और अधिक जानना चाहते हैं। देखें एंटरप्राइज़ तैनाती पूरे फीचर सेट के लिए।