ऑफलाइन मोड

रोबोफ्लो एंटरप्राइज ग्राहक ऑफलाइन मॉडल तैनात कर सकते हैं।

Roboflow एंटरप्राइज ग्राहकों के लिए ऑफ़लाइन मोड का उपयोग करने के लिए आपको हमारा Docker कंटेनर उपयोग करना आवश्यक है।

Roboflow एंटरप्राइज ग्राहक Roboflow Inference, हमारे ऑन-डिवाइस इंफरेंस सर्वर को, 30 दिनों तक वज़न कैश करने के लिए कॉन्फ़िगर कर सकते हैं।

यह आपके मॉडल को पूरी तरह से एयर-गैप्ड या उन स्थानों पर चलाने की अनुमति देता है जहाँ इंटरनेट कनेक्शन आसानी से उपलब्ध नहीं है।

अपने मॉडल को ऑफ़लाइन चलाने के लिए, आपको यह करना होगा:

1. एक Docker वॉल्यूम बनाएँ और इसे संलग्न करें /tmp/cache अपने इंफरेंस सर्वर पर।

2. Docker के साथ एक Roboflow Inference सर्वर प्रारंभ करें।

3. सर्वर के माध्यम से अपने मॉडल पर अनुरोध करें, जिससे मॉडल वज़न डाउनलोड और कैश प्रक्रिया शुरू होगी। इस चरण के लिए आपको इंटरनेट कनेक्शन की आवश्यकता होगी।

एक बार आपके वज़न कैश हो जाने के बाद, आप उन्हें स्थानीय रूप से उपयोग कर सकते हैं।

नीचे, हम विभिन्न डिवाइस प्रकारों (CPU से GPU तक) पर अपने मॉडल को ऑफ़लाइन चलाने के निर्देश प्रदान करते हैं।

CPU

छवि: roboflow / roboflow-inference-server-cpu

sudo docker volume create roboflow
sudo docker run --net=host --env LICENSE_SERVER=10.0.1.1 --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-cpu

GPU

GPU कंटेनर का उपयोग करने के लिए, आपको पहले इंस्टॉल करना होगा nvidia-container-runtime.

छवि: roboflow / roboflow-inference-server-gpu

sudo docker volume create roboflow
docker run -it --rm -p 9001:9001 --gpus all --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-gpu

Jetson 4.5

आपके Jetson Jetpack 4.5 में पहले से ही https://github.com/NVIDIA/nvidia-container-runtime इंस्टॉल होगा।

छवि: roboflow/roboflow-inference-server-jetson-4.5.0

sudo docker volume create roboflow
docker run -it --rm -p 9001:9001 --runtime=nvidia --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-jetson-4.5.0

Jetson 4.6

आपके Jetson Jetpack 4.6 में पहले से ही https://github.com/NVIDIA/nvidia-container-runtime इंस्टॉल होगा।

छवि: roboflow/roboflow-inference-server-jetson-4.6.1

sudo docker volume create roboflow
docker run -it --rm -p 9001:9001 --runtime=nvidia --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-jetson-4.6.1

Jetson 5.1

आपके Jetson Jetpack 5.1 में पहले से ही https://github.com/NVIDIA/nvidia-container-runtime इंस्टॉल होगा।

छवि: roboflow/roboflow-inference-server-jetson-5.1.1

sudo docker volume create roboflow
docker run -it --rm -p 9001:9001 --runtime=nvidia --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-jetson-5.1.1

इंफरेंस चलाना

स्थानीय कैशिंग के साथ अपने इंफरेंस सर्वर को सेटअप करने के बाद, आप अपने मॉडल को इमेज और वीडियो फ्रेम्स पर बिना इंटरनेट कनेक्शन के चला सकते हैं।

" को देखेंHTTP पर इमेज पर प्रेडिक्ट करें" इंफरेंस दस्तावेज़ में अपने मॉडल को चलाने के लिए मार्गदर्शन के लिए।

इंफरेंस परिणाम

वज़न आपके Roboflow खाते से इंटरनेट के माध्यम से (यदि आपने कॉन्फ़िगर किया है तो लाइसेंस सर्वर के माध्यम से) SSL एन्क्रिप्शन के साथ लोड किए जाएंगे और Docker वॉल्यूम में 30 दिनों तक सुरक्षित रूप से संग्रहीत किए जाएंगे।

आपके इंफरेंस परिणामों में एक नया समाप्ति कुंजी होगी, जिसका उपयोग आप यह निर्धारित करने के लिए कर सकते हैं कि इंफरेंस सर्वर इंटरनेट या लाइसेंस सर्वर कनेक्शन के माध्यम से वज़न का पट्टा नवीनीकृत करने से पहले कितने समय तक भविष्यवाणियाँ प्रदान कर सकता है। एक बार वज़न की समाप्ति तिथि 7 दिनों से कम हो जाए, इंफरेंस सर्वर हर घंटे वज़न का पट्टा नवीनीकृत करने का प्रयास करेगा जब तक कि Roboflow API से सफलतापूर्वक कनेक्शन न हो जाए।

एक बार पट्टा नवीनीकृत हो जाने के बाद, काउंटर 30 दिनों के लिए रीसेट हो जाएगा।

{
    "predictions": [
        {
            "x": 340.9,
            "y": 263.6,
            "width": 284,
            "height": 360,
            "class": "example",
            "confidence": 0.867
        }
    ],
    "expiration": {
        "value": 29.91251408564815,
        "unit": "days"
    }
}

यदि आपके पास अपने मॉडल को ऑफ़लाइन डिप्लॉय करने के बारे में प्रश्न हैं, तो मार्गदर्शन के लिए अपने Roboflow प्रतिनिधि से संपर्क करें।