ऑफलाइन मोड

रोबोफ्लो एंटरप्राइज ग्राहक ऑफलाइन मॉडल तैनात कर सकते हैं।

Roboflow Enterprise ग्राहकों के लिए ऑफ़लाइन मोड के लिए आवश्यक है कि आप हमारे Docker कंटेनर का उपयोग करें।

Roboflow Enterprise ग्राहक Roboflow Inference, हमारे ऑन-डिवाइस इनफेरेंस सर्वर, को 30 दिनों तक वज़न कैश करने के लिए कॉन्फ़िगर कर सकते हैं।

यह आपके मॉडल को पूरी तरह से एयर-गैप्ड या उन स्थानों पर चलाने की अनुमति देता है जहाँ इंटरनेट कनेक्शन आसानी से उपलब्ध नहीं है।

अपने मॉडल को ऑफ़लाइन चलाने के लिए, आपको यह करना होगा:

1. एक Docker वॉल्यूम बनाएं और इसे संलग्न करें /tmp/cache अपने Inference Server पर।

2. Docker के साथ एक Roboflow Inference सर्वर शुरू करें।

3. सर्वर के माध्यम से अपने मॉडल पर अनुरोध करें, जिससे मॉडल वज़न डाउनलोड और कैश प्रक्रिया शुरू होगी। इस चरण के लिए आपको इंटरनेट कनेक्शन की आवश्यकता होगी।

एक बार आपके वज़न कैश हो जाने के बाद, आप उन्हें लोकली उपयोग कर सकते हैं।

नीचे, हम विभिन्न डिवाइस प्रकारों (CPU से GPU तक) पर अपने मॉडल को ऑफ़लाइन चलाने के निर्देश प्रदान करते हैं।

CPU

इमेज: roboflow / roboflow-inference-server-cpu

sudo docker volume create roboflow
sudo docker run --net=host --env LICENSE_SERVER=10.0.1.1 --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-cpu

GPU

GPU कंटेनर का उपयोग करने के लिए, आपको पहले इंस्टॉल करना होगा nvidia-container-runtime.

इमेज: roboflow / roboflow-inference-server-gpu

sudo docker volume create roboflow
docker run -it --rm -p 9001:9001 --gpus all --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-gpu

Jetson 4.5

आपके Jetson Jetpack 4.5 में पहले से ही https://github.com/NVIDIA/nvidia-container-runtime इंस्टॉल होगा।

इमेज: roboflow/roboflow-inference-server-jetson-4.5.0

sudo docker volume create roboflow
docker run -it --rm -p 9001:9001 --runtime=nvidia --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-jetson-4.5.0

Jetson 4.6

आपके Jetson Jetpack 4.6 में पहले से ही https://github.com/NVIDIA/nvidia-container-runtime इंस्टॉल होगा।

इमेज: roboflow/roboflow-inference-server-jetson-4.6.1

sudo docker volume create roboflow
docker run -it --rm -p 9001:9001 --runtime=nvidia --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-jetson-4.6.1

Jetson 5.1

आपके Jetson Jetpack 5.1 में पहले से ही https://github.com/NVIDIA/nvidia-container-runtime इंस्टॉल होगा।

इमेज: roboflow/roboflow-inference-server-jetson-5.1.1

sudo docker volume create roboflow
docker run -it --rm -p 9001:9001 --runtime=nvidia --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-jetson-5.1.1

इनफेरेंस चलाना

अपने Inference server को लोकल कैशिंग के साथ सेटअप करने के बाद, आप अपने मॉडल को इमेज और वीडियो फ्रेम्स पर बिना इंटरनेट कनेक्शन के चला सकते हैं।

" देखेंHTTP के माध्यम से इमेज पर प्रेडिक्ट करें" Inference दस्तावेज़ में अपने मॉडल को चलाने के लिए मार्गदर्शन के लिए।

Inference परिणाम

वज़न आपके Roboflow खाते से इंटरनेट के माध्यम से (यदि आपने कॉन्फ़िगर किया है तो License Server के माध्यम से) SSL एन्क्रिप्शन के साथ लोड किए जाएंगे और Docker वॉल्यूम में सुरक्षित रूप से 30 दिनों तक संग्रहीत किए जाएंगे।

आपके इनफेरेंस परिणामों में एक नया expiration कुंजी होगी जिसका उपयोग आप यह निर्धारित करने के लिए कर सकते हैं कि Inference Server इंटरनेट या License Server कनेक्शन के माध्यम से वज़न का पट्टा नवीनीकृत करने से पहले कितने समय तक भविष्यवाणियाँ प्रदान कर सकता है। एक बार जब वज़न की समाप्ति तिथि 7 दिनों से कम हो जाती है, तो Inference Server हर घंटे वज़न के पट्टे को नवीनीकृत करने का प्रयास करेगा जब तक कि Roboflow API से सफलतापूर्वक कनेक्शन नहीं हो जाता।

एक बार पट्टा नवीनीकृत हो जाने के बाद, काउंटर फिर से 30 दिनों के लिए रीसेट हो जाएगा।

{
    "predictions": [
        {
            "x": 340.9,
            "y": 263.6,
            "width": 284,
            "height": 360,
            "class": "example",
            "confidence": 0.867
        }
    ],
    "expiration": {
        "value": 29.91251408564815,
        "unit": "days"
    }
}

यदि आपके पास अपने मॉडल को ऑफ़लाइन डिप्लॉय करने के बारे में प्रश्न हैं, तो मार्गदर्शन के लिए अपने Roboflow प्रतिनिधि से संपर्क करें।