> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/reference/hi/inference/inference-python/offline-weights.md).

# मॉडल वेट्स डाउनलोड

inference package कैसे model weights डाउनलोड और कैश करता है, persistent cache directory कैसे कॉन्फ़िगर करें, और weights को पहले से कैसे डाउनलोड करें।

Roboflow Inference को डिप्लॉय करते समय, मॉडल वेट आपके डिवाइस पर डाउनलोड होते हैं, जहाँ इनफ़रेंस स्थानीय रूप से चलता है। इस पृष्ठ में बताया गया है कि `inference` पैकेज इन वेट को कैसे डाउनलोड और कैश करता है।

{% hint style="info" %}
Roboflow Inference इकोसिस्टम से बाहर चलाने के लिए कच्ची `.pt` वेट फ़ाइल चाहिए? देखें [मॉडल वेट डाउनलोड करें](https://docs.roboflow.com/models/model-weights/download-roboflow-model-weights).
{% endhint %}

## अवलोकन

किसी मॉडल के साथ पहली बार इनफ़रेंस चलाने पर मॉडल वेट अपने-आप डाउनलोड हो जाते हैं। वेट आपके डिवाइस पर स्थानीय रूप से कैश किए जाते हैं, और पूरा इनफ़रेंस डिवाइस पर ही होता है (क्लाउड में नहीं)।

यह इस तरह काम करता है:

1. इंटरनेट से कनेक्ट रहते हुए मॉडल वेट अपने डिवाइस पर डाउनलोड करें।
2. वेट आपकी मशीन पर स्थानीय रूप से कैश किए जाते हैं।
3. कैश किए गए वेट का इस्तेमाल करके डिवाइस पर इनफ़रेंस चलाएँ।

यह तरीका सेल्फ-होस्टेड Inference और नेटिव Python API पर लागू होता है।

{% hint style="warning" %}
**डिफ़ॉल्ट कैश स्थान।** डिफ़ॉल्ट रूप से, मॉडल वेट यहाँ संग्रहीत होते हैं: `/tmp/cache`, जिसे **होस्ट की सफ़ाई नीतियों के तहत हटाया जा सकता है**. प्रोडक्शन डिप्लॉयमेंट या ऐसी किसी भी स्थिति में, जहाँ आपको रीबूट के बाद भी वेट बनाए रखने हों, एक पर्सिस्टेंट वॉल्यूम का इस्तेमाल करें या `MODEL_CACHE_DIR` एनवायरनमेंट वैरिएबल का इस्तेमाल करके पर्सिस्टेंट कैश डायरेक्टरी कॉन्फ़िगर करें (नीचे [कैश स्थान](#cache-location) देखें)।
{% endhint %}

{% hint style="info" %}
**एंटरप्राइज़ ऑफ़लाइन मोड।** पूरी तरह डिस्कनेक्ट रहकर काम करने की ज़रूरत वाले एंटरप्राइज़ डिप्लॉयमेंट के लिए, देखें [ऑफ़लाइन मोड](https://docs.roboflow.com/deployment/self-hosted/enterprise/offline-mode). यह पृष्ठ मॉडल वेट डाउनलोड करने और कैश करने पर केंद्रित है, जबकि उपयोग ट्रैकिंग, बिलिंग और Workflow अपडेट के लिए कनेक्टिविटी बनी रहती है।
{% endhint %}

## कैश स्थान

डिफ़ॉल्ट रूप से, मॉडल वेट यहाँ कैश किए जाते हैं: `/tmp/cache`. होस्ट की सफ़ाई नीतियाँ इस डायरेक्टरी को हटा सकती हैं। Docker में, इस पाथ पर पर्सिस्टेंट वॉल्यूम लगाने से कंटेनर बदलने पर भी कैश सुरक्षित रहता है।

प्रोडक्शन डिप्लॉयमेंट या ऐसी किसी भी स्थिति में, जहाँ आपको रीबूट के बाद भी वेट बनाए रखने हों, पर्सिस्टेंट वॉल्यूम माउंट करें या `MODEL_CACHE_DIR` एनवायरनमेंट वैरिएबल सेट करके पर्सिस्टेंट कैश डायरेक्टरी कॉन्फ़िगर करें। ऐसा Inference इम्पोर्ट करने से पहले करें:

```python
import os
# Set to a persistent directory (not /tmp)
os.environ["MODEL_CACHE_DIR"] = "/home/user/.roboflow/cache"

from inference import get_model
# ... rest of your code
```

इसके बजाय, इसे पूरे सिस्टम के लिए सेट करें:

```bash
export MODEL_CACHE_DIR="/home/user/.roboflow/cache"
```

सुनिश्चित करें कि डायरेक्टरी मौजूद हो और उस पर ज़रूरी अनुमतियाँ सेट हों:

```bash
mkdir -p /home/user/.roboflow/cache
chmod 755 /home/user/.roboflow/cache
```

{% hint style="success" %}
**Docker डिप्लॉयमेंट।** Docker में Inference चलाते समय, कंटेनर रीस्टार्ट होने पर भी वेट सुरक्षित रखने के लिए पर्सिस्टेंट कैश वॉल्यूम माउंट करें। विवरण के लिए देखें [Docker कॉन्फ़िगरेशन](https://docs.roboflow.com/deployment/self-hosted/inference-server/configuration/docker-configuration#persistent-model-cache) .
{% endhint %}

## नेटिव Python API

यह [नेटिव Python API](https://docs.roboflow.com/reference/hi/inference/inference-python/native-python-api.md) जब आप किसी मॉडल को इस फ़ंक्शन से लोड करते हैं, तो वेट अपने-आप डाउनलोड और कैश कर लेता है `get_model()`.

### वेट पहले से डाउनलोड करना

```python
from inference import get_model

# मॉडल लोड करें (वेट डाउनलोड और कैश करता है)
model = get_model(
    model_id="rfdetr-base",
    api_key="YOUR_ROBOFLOW_API_KEY"
)
print("Model weights cached!")
```

### इन्फ़रेंस चलाना

```python
from inference import get_model

# डिवाइस पर इन्फ़रेंस के लिए कैश किए गए वेट का उपयोग करता है
model = get_model(
    model_id="rfdetr-base",
    api_key="YOUR_ROBOFLOW_API_KEY"
)

results = model.infer("path/to/image.jpg")
```

स्वयं-होस्ट किए गए Inference Server पर, आप इसके बजाय HTTP के ज़रिए वेट पहले से लोड कर सकते हैं: देखें [मॉडल प्रबंधन](https://docs.roboflow.com/reference/hi/inference/inference-sdk/model-management.md).

## सर्वोत्तम तरीके

1. **पहले एक स्थायी कैश कॉन्फ़िगर करें।** कोई भी वेट डाउनलोड करने से पहले, एक स्थायी वॉल्यूम माउंट करें या `MODEL_CACHE_DIR` को किसी स्थायी डायरेक्टरी की ओर इंगित करने के लिए कॉन्फ़िगर करें ( `/tmp`नहीं)। रीबूट के बाद कैश किए गए वेट खोने से बचने के लिए प्रोडक्शन डिप्लॉयमेंट में यह ज़रूरी है।
2. **सेटअप के दौरान पहले से डाउनलोड करें।** अपने डिप्लॉयमेंट सेटअप चरण के दौरान सभी आवश्यक मॉडल वेट डाउनलोड करें, ताकि वे कैश होकर उपयोग के लिए तैयार रहें।
3. **Docker में स्थायी कैश का उपयोग करें।** हमेशा [एक स्थायी वॉल्यूम माउंट करें](https://docs.roboflow.com/deployment/self-hosted/inference-server/configuration/docker-configuration#persistent-model-cache) जब Docker कंटेनरों में चलाएँ। कंटेनर फ़ाइल सिस्टम में संग्रहीत वेट, कंटेनर हटाए जाने पर मिट जाते हैं।
4. **डिप्लॉयमेंट से पहले सत्यापित करें।** प्रोडक्शन में डिप्लॉय करने से पहले सत्यापित करें कि मॉडल ठीक से कैश किए गए हैं और कैश डायरेक्टरी रीबूट के बाद भी बनी रहती है।
5. **मॉडल ID का दस्तावेज़ रखें।** आसानी से पहले से कैश करने और समस्या-समाधान के लिए, अपने एप्लिकेशन के सभी आवश्यक मॉडल ID और संस्करणों की सूची रखें।
6. **स्टोरेज का ध्यान रखें।** मॉडल वेट बड़े हो सकते हैं (प्रति मॉडल 100MB से 1GB या अधिक)। सुनिश्चित करें कि आपकी स्थायी कैश डायरेक्टरी में पर्याप्त डिस्क स्थान उपलब्ध हो।
7. **रीबूट के बाद का व्यवहार जाँचें।** वेट कैश करने के बाद, जाँचें कि वे सिस्टम रीबूट के बाद भी बने रहते हैं, ताकि यह सुनिश्चित हो सके कि आपकी कैश कॉन्फ़िगरेशन सही है।

## समस्या-समाधान

### रीबूट के बाद वेट गायब हो जाते हैं

होस्ट की सफ़ाई या कैश वॉल्यूम के बिना कंटेनर को बदलने से `/tmp/cache`हट सकता है। जैसा कि [कैश का स्थान](#cache-location)में बताया गया है, स्थायी कैश डायरेक्टरी कॉन्फ़िगर करें, या [Docker के लिए स्थायी वॉल्यूम माउंट का उपयोग करें](https://docs.roboflow.com/deployment/self-hosted/inference-server/configuration/docker-configuration#persistent-model-cache).

### मॉडल नहीं मिला त्रुटि

* सत्यापित करें कि मॉडल वास्तव में डाउनलोड किया गया था (कैश डायरेक्टरी को इस कमांड से जाँचें: `ls -lh $MODEL_CACHE_DIR`).
* सुनिश्चित करें कि आप ठीक वही `model_id` इस्तेमाल कर रहे हैं जो डाउनलोड करते समय इस्तेमाल किया था।
* जाँचें कि `MODEL_CACHE_DIR` यदि कस्टम स्थान का उपयोग कर रहे हैं, तो यह सही तरीके से सेट है।

### अनुमति संबंधी समस्याएँ

सुनिश्चित करें कि एप्लिकेशन को कैश निर्देशिका के लिए पढ़ने/लिखने की अनुमतियाँ प्राप्त हैं:

```bash
chmod -R 755 /path/to/cache
```
