ऑफ़लाइन मोड

Roboflow Enterprise ग्राहक मॉडल को ऑफ़लाइन तैनात कर सकते हैं।

Roboflow Enterprise ग्राहकों के लिए Offline Mode के लिए आवश्यक है कि आप हमारे Docker container का उपयोग करें।

Roboflow Enterprise ग्राहक Roboflow Inference, हमारे on-device inference server, को कॉन्फ़िगर कर सकते हैं ताकि वज़न को 30 दिनों तक कैश किया जा सके।

यह आपके मॉडल को पूरी तरह एयर-गैप्ड तरीके से या उन स्थानों पर चलाने की अनुमति देता है जहाँ इंटरनेट कनेक्शन आसानी से उपलब्ध नहीं है।

अपने मॉडल को ऑफ़लाइन चलाने के लिए, आपको नीचे दिया गया करना होगा:

1. एक Docker वॉल्यूम बनाएं और उसे संलग्न (attach) करें /tmp/cache आपके Inference Server पर।

2. Docker के साथ एक Roboflow Inference server शुरू करें।

3. सर्वर के माध्यम से अपने मॉडल को एक अनुरोध करें, जो मॉडल वेट्स डाउनलोड और कैश प्रक्रिया को शुरू करेगा। इस चरण के लिए आपको इंटरनेट कनेक्शन की आवश्यकता होगी।

एक बार आपके वेट्स कैश हो जाने पर, आप उन्हें लोकल तौर पर उपयोग कर सकते हैं।

नीचे, हम विभिन्न डिवाइस प्रकारों (CPU से लेकर GPU तक) पर अपने मॉडल को ऑफ़लाइन कैसे चलाएँ इसके निर्देश प्रदान करते हैं।

CPU

छवि: roboflow / roboflow-inference-server-cpu

sudo docker volume create roboflow
sudo docker run --net=host --env LICENSE_SERVER=10.0.1.1 --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-cpu

GPU

GPU container का उपयोग करने के लिए, आपको पहले इंस्टॉल करना होगा nvidia-container-runtime.

छवि: roboflow / roboflow-inference-server-gpu

sudo docker volume create roboflow
docker run -it --rm -p 9001:9001 --gpus all --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-gpu

Jetson 4.5

आपके Jetson Jetpack 4.5 में पहले से ही होगा https://github.com/NVIDIA/nvidia-container-runtime इंस्टॉल।

छवि: roboflow/roboflow-inference-server-jetson-4.5.0

sudo docker volume create roboflow
docker run -it --rm -p 9001:9001 --runtime=nvidia --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-jetson-4.5.0

Jetson 4.6

आपके Jetson Jetpack 4.6 में पहले से ही होगा https://github.com/NVIDIA/nvidia-container-runtime इंस्टॉल।

छवि: roboflow/roboflow-inference-server-jetson-4.6.1

sudo docker volume create roboflow
docker run -it --rm -p 9001:9001 --runtime=nvidia --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-jetson-4.6.1

Jetson 5.1

आपके Jetson Jetpack 5.1 में पहले से ही होगा https://github.com/NVIDIA/nvidia-container-runtime इंस्टॉल।

छवि: roboflow/roboflow-inference-server-jetson-5.1.1

sudo docker volume create roboflow
docker run -it --rm -p 9001:9001 --runtime=nvidia --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-jetson-5.1.1

Inference चलाना

अपने Inference server को लोकल कैशिंग के साथ सेटअप करने के बाद, आप इंटरनेट कनेक्शन के बिना छवियों और वीडियो फ्रेम पर अपने मॉडल को चला सकते हैं।

रुजू करें "Predict on an Image Over HTTP" Inference दस्तावेज़िका में यह मार्गदर्शन कि अपने मॉडल को कैसे चलाएँ।

Inference परिणाम

वज़न आपके Roboflow खाते से इंटरनेट पर लोड किए जाएंगे (यदि आपने कॉन्फ़िगर किया है तो License Server के माध्यम से) SSL एन्क्रिप्शन के साथ और Docker वॉल्यूम में सुरक्षित रूप से 30 दिनों तक संग्रहीत किए जाएंगे।

आपके inference परिणामों में एक नया शामिल होगा expiration कुंजी जिसका आप उपयोग कर सकते हैं यह निर्धारित करने के लिए कि Inference Server कितनी देर तक predictions प्रदान कर सकता है इससे पहले कि वेट्स पर उसकी लीज़ नवीनीकृत करने के लिए इंटरनेट या License Server कनेक्शन की आवश्यकता हो। जब वेट expiration तिथि 7 दिनों से कम हो जाती है, तो Inference Server वेट्स की लीज़ को हर घंटे एक बार नवीनीकृत करने की कोशिश शुरू कर देगा जब तक कि Roboflow API से सफलतापूर्वक कनेक्शन न बन जाए।

एक बार लीज़ नवीनीकृत हो जाने पर, काउंटर 30 दिनों पर रिसेट हो जाएगा।

{
    "predictions": [
        {
            "x": 340.9,
            "y": 263.6,
            "width": 284,
            "height": 360,
            "class": "example",
            "confidence": 0.867
        }
    ],
    "expiration": {
        "value": 29.91251408564815,
        "unit": "days"
    }
}

यदि आपके पास अपने मॉडल को ऑफ़लाइन डिप्लॉय करने के बारे में प्रश्न हैं, तो मार्गदर्शन के लिए अपने Roboflow प्रतिनिधि से संपर्क करें।