Offline Mode

Roboflow Enterprise customers models को offline deploy कर सकते हैं।

Roboflow Enterprise ग्राहकों के लिए Offline Mode का उपयोग करने हेतु आवश्यक है कि आप हमारा Docker container उपयोग करें।

Roboflow Enterprise ग्राहक Roboflow Inference, हमारे on-device inference server, को इस तरह configure कर सकते हैं कि वह weights को 30 दिनों तक cache करे।

यह आपके model को पूरी तरह air-gapped वातावरण में या उन स्थानों पर चलाने की अनुमति देता है जहाँ Internet connection आसानी से उपलब्ध नहीं होता।

अपने model को offline चलाने के लिए, आपको यह करना होगा:

1. एक Docker volume बनाएं और इसे attach करें /tmp/cache अपने Inference Server पर।

2. Docker के साथ एक Roboflow Inference server शुरू करें।

3. अपने model के लिए server के माध्यम से एक request करें, जिससे model weight download और cache प्रक्रिया शुरू हो जाएगी। इस चरण के लिए आपको internet connection की आवश्यकता होगी।

एक बार जब आपके weights cache हो जाएँ, आप उन्हें स्थानीय रूप से उपयोग कर सकते हैं।

नीचे, हम CPU से लेकर GPU तक, विभिन्न device types पर अपने model को offline चलाने के निर्देश प्रदान करते हैं।

CPU

Image: roboflow / roboflow-inference-server-cpu

sudo docker volume create roboflow
sudo docker run --net=host --env LICENSE_SERVER=10.0.1.1 --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-cpu

GPU

GPU container का उपयोग करने के लिए, आपको पहले यह install करना होगा nvidia-container-runtime.

Image: roboflow / roboflow-inference-server-gpu

sudo docker volume create roboflow
docker run -it --rm -p 9001:9001 --gpus all --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-gpu

Jetson 4.5

आपके Jetson Jetpack 4.5 में पहले से ही होगा https://github.com/NVIDIA/nvidia-container-runtime installed हैं।

Image: roboflow/roboflow-inference-server-jetson-4.5.0

sudo docker volume create roboflow
docker run -it --rm -p 9001:9001 --runtime=nvidia --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-jetson-4.5.0

Jetson 4.6

आपके Jetson Jetpack 4.6 में पहले से ही होगा https://github.com/NVIDIA/nvidia-container-runtime installed हैं।

Image: roboflow/roboflow-inference-server-jetson-4.6.1

sudo docker volume create roboflow
docker run -it --rm -p 9001:9001 --runtime=nvidia --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-jetson-4.6.1

Jetson 5.1

आपके Jetson Jetpack 5.1 में पहले से ही होगा https://github.com/NVIDIA/nvidia-container-runtime installed हैं।

Image: roboflow/roboflow-inference-server-jetson-5.1.1

sudo docker volume create roboflow
docker run -it --rm -p 9001:9001 --runtime=nvidia --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-jetson-5.1.1

Inference चलाना

अपने Inference server को local caching के साथ सेट अप करने के बाद, आप अपने model को images और video frames पर बिना internet connection के चला सकते हैं।

"Predict on an Image Over HTTP" Inference documentation देखें, ताकि अपने model को चलाने के तरीके के बारे में मार्गदर्शन मिल सके।

Inference Results

Weights को इंटरनेट के माध्यम से आपके Roboflow account से (यदि आपने इसे configure किया है तो License Server के जरिए) SSL encryption के साथ load किया जाएगा और Docker volume में 30 दिनों तक सुरक्षित रूप से store किया जाएगा।

आपके inference results में एक नया expiration key होगा, जिसका उपयोग आप यह निर्धारित करने के लिए कर सकते हैं कि Inference Server, Internet या License Server connection के माध्यम से weights के लिए अपना lease renew करने से पहले कितने समय तक predictions प्रदान करना जारी रख सकता है। जैसे ही weight expiration date 7 दिनों से नीचे आ जाती है, Inference Server, Roboflow API से connection सफल होने तक, weights के lease को renew करने का प्रयास प्रति घंटे एक बार करना शुरू कर देगा।

एक बार lease renew हो जाने पर, counter 30 दिनों पर reset हो जाएगा।

{
    "predictions": [
        {
            "x": 340.9,
            "y": 263.6,
            "width": 284,
            "height": 360,
            "class": "example",
            "confidence": 0.867
        }
    ],
    "expiration": {
        "value": 29.91251408564815,
        "unit": "days"
    }
}

यदि आपके पास अपने model को offline deploy करने के बारे में प्रश्न हैं, तो मार्गदर्शन के लिए अपने Roboflow representative से संपर्क करें।