> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server/configuration/environment-variables.md).

# Inference Server Environment Variables

Inference सर्वर का व्यवहार पर्यावरण चर के एक सेट द्वारा नियंत्रित होता है। हर चर परिभाषित है [`inference/core/env.py`](https://github.com/roboflow/inference/blob/main/inference/core/env.py); नीचे दिए गए वे चर हैं जिनके बारे में और स्पष्टीकरण चाहिए।

उन्हें कंटेनर को इसके साथ पास करें `-e` (देखें [Docker कॉन्फ़िगरेशन विकल्प](/deployment/hi/self-hosted/inference-server/configuration/docker-configuration.md) सबसे आम तौर पर बदली जाने वाली सेटिंग्स के लिए):

```bash
docker run -it --rm -e ENV_VAR_NAME=env_var_value -p 9001:9001 roboflow/roboflow-inference-server-cpu:latest
```

{% hint style="info" %}
ये चर कॉन्फ़िगर करते हैं **Inference सर्वर**. Roboflow CLI और Python SDK एक अलग, छोटा चर-समूह पढ़ते हैं (`ROBOFLOW_API_KEY`, `ROBOFLOW_CONFIG_DIR`और अन्य): देखें [पर्यावरण चर](https://docs.roboflow.com/reference/environment-variables) संदर्भ अनुभाग में।
{% endhint %}

## निष्पादन और मॉडल

| चर                                | विवरण                                                                                                                                                  | डिफ़ॉल्ट                                                                                |
| --------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------ | --------------------------------------------------------------------------------------- |
| `ONNXRUNTIME_EXECUTION_PROVIDERS` | प्राथमिकता क्रम में निष्पादन प्रदाताओं की सूची। यदि कोई प्रदाता आपके प्लेटफ़ॉर्म पर समर्थित नहीं है, तो चेतावनी दिखाई जाती है।                         | देखें [`env.py`](https://github.com/roboflow/inference/blob/main/inference/core/env.py) |
| `RUNS_ON_JETSON`                  | क्या Inference Jetson डिवाइस पर चलता है। इसे सेट करें `True` Jetson आर्किटेक्चर के लिए सभी Docker बिल्ड्स में।                                         | `False`                                                                                 |
| `MODEL_VALIDATION_DISABLED`       | ट्रायल इनफ़रेंस को छोड़कर मॉडल लोडिंग को तेज़ बनाता है।                                                                                                | `False`                                                                                 |
| `SAM2_MAX_EMBEDDING_CACHE_SIZE`   | GPU मेमोरी में रखे गए SAM2 embeddings की संख्या। प्रत्येक embedding 16777216 बाइट लेती है।                                                             | `100`                                                                                   |
| `SAM2_MAX_LOGITS_CACHE_SIZE`      | CPU मेमोरी में रखे गए SAM2 logits की संख्या। प्रत्येक logit 262144 बाइट लेता है।                                                                       | `1000`                                                                                  |
| `DISABLE_SAM2_LOGITS_CACHE`       | SAM2 logits की कैशिंग अक्षम करता है। डिबगिंग के लिए या मेमोरी उपयोग कम करने के लिए उपयोगी, लेकिन समान अनुरोधों को बार-बार करने पर गति धीमी हो जाती है। | `False`                                                                                 |

## `inference-models` backend

| चर                                                  | विवरण                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                           | डिफ़ॉल्ट |
| --------------------------------------------------- | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | -------- |
| `USE_INFERENCE_MODELS`                              | को चुनता है `inference-models` backend.                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         | `False`  |
| `MAX_INFERENCE_MODELS_CACHE_SIZE_MB`                | को सक्षम करता है `inference-models` कैश वॉचडॉग। इसे इससे ऊपर सेट करने पर `0` , वॉचडॉग मॉडल आर्टिफ़ैक्ट्स को प्रून करता है (सबसे पुराने और सबसे बड़े पहले) ताकि समय के साथ सिस्टम में डिस्क स्पेस खत्म न हो। केवल तब लागू होता है जब `USE_INFERENCE_MODELS=True`.                                                                                                                                                                                                                                                                                                                                                                                                                                | `-1`     |
| `INFERENCE_MODELS_CACHE_WATCHDOG_INTERVAL_MINUTES`  | की आवृत्ति `inference-models` कैश वॉचडॉग चक्रों की। न्यूनतम 15 मिनट है।                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         | `60`     |
| `ENABLE_CUDA_MEMORY_RECLAMATION_WATCHDOG`           | एक बैकग्राउंड डेमॉन को सक्षम करता है जो समय-समय पर कैश की गई लेकिन अप्रयुक्त CUDA मेमोरी को ड्राइवर को वापस देता है, इसके माध्यम से `torch.cuda.empty_cache()`. PyTorch का caching allocator मुक्त किए गए device blocks को अपने ही pool में रखता है और उन्हें अपने आप कभी रिलीज़ नहीं करता, इसलिए लंबे समय तक चलने वाले सर्वर पर concurrent या batched inference का high-water mark स्थायी हो जाता है और reserved VRAM केवल बढ़ती रहती है। यह वॉचडॉग तय अंतराल पर उस अतिरिक्त हिस्से को वापस लेता है; live allocations अपरिवर्तित रहते हैं। यह वास्तविक रूप से oversubscribed concurrent peak के कारण होने वाले OOM को नहीं रोकता। केवल तब अर्थपूर्ण है जब `USE_INFERENCE_MODELS=True` CUDA पर। | `False`  |
| `CUDA_MEMORY_RECLAMATION_WATCHDOG_INTERVAL_SECONDS` | CUDA मेमोरी रिक्लेमेशन वॉचडॉग के रिक्लेमेशन चक्रों के बीच का अंतराल। न्यूनतम है `5` सेकंड (कम मान ऊपर की ओर क्लैम्प किए जाते हैं)। केवल तब लागू होता है जब `ENABLE_CUDA_MEMORY_RECLAMATION_WATCHDOG=True`.                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      | `300`    |

## वर्कफ़्लोज़ और वीडियो

| चर                                  | विवरण                                                                                                                                                                                                     | डिफ़ॉल्ट                                      |
| ----------------------------------- | --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | --------------------------------------------- |
| `ENABLE_WORKFLOWS_PROFILING`        | सर्वर को Workflows प्रोफाइलर ट्रेस क्लाइंट को वापस भेजने की अनुमति देता है।                                                                                                                               | `False`                                       |
| `WORKFLOWS_PROFILER_BUFFER_SIZE`    | प्रोफाइलर बफ़र का आकार: लगातार किए गए Workflows Execution Engine `run(...)` invocations traced in the buffer.                                                                                             | `64`                                          |
| `WORKFLOWS_DEFINITION_CACHE_EXPIRY` | Workflow परिभाषाओं को कैश करने के लिए सेकंडों की संख्या, जो लौटाई जाती हैं `get_workflow_specification(...)`.                                                                                             | `900` (15 मिनट)                               |
| `ENABLE_STREAM_API`                 | वीडियो प्रबंधन API को सक्षम करता है। मानक CPU, GPU, और TensorRT इमेज इसे सेट करती हैं `True` , जैसा कि JetPack 5.1.1 और 6.2.0 इमेज भी करती हैं; slim इमेज और JetPack 6.0.0 तथा 7.1.0 इमेज ऐसा नहीं करतीं। | `False` उन इमेजों के बाहर जो इसे सेट करती हैं |
| `STREAM_API_PRELOADED_PROCESSES`    | कितने निष्क्रिय वीडियो वर्कर पहले से तैयार किए जाते हैं। इससे GPU पर वर्कर शुरू होने का समय कम होता है।                                                                                                   | `0`                                           |

## GPU tensor pipeline

सक्षम NVIDIA GPU पर, Workflows वीडियो डिकोड से लेकर मॉडल इनफ़रेंस तक आउटपुट तक इमेज डेटा को CPU के माध्यम से भेजने के बजाय GPU पर रख सकता है। इससे GPU-भारी वीडियो Workflows के लिए विलंबता कम होती है। इसके लिए `USE_INFERENCE_MODELS=True` , a GPU with compute capability 7.5 or higher (ex: T4, RTX 20-series and newer; not V100), and the `onnx.gpu` या Jetson Docker इमेज की आवश्यकता होती है। उपयुक्त GPU और इमेज के बिना, Inference सामान्य CPU-आधारित निष्पादन पर वापस चला जाता है।

| चर                                        | विवरण                                                                                                             | डिफ़ॉल्ट                                        |
| ----------------------------------------- | ----------------------------------------------------------------------------------------------------------------- | ----------------------------------------------- |
| `ENABLE_TENSOR_DATA_REPRESENTATION`       | GPU टेंसर पाइपलाइन चालू करता है: GPU पर रहने वाला Workflows निष्पादन और हार्डवेयर-त्वरित (NVDEC) वीडियो डिकोडिंग। | `False`                                         |
| `WORKFLOWS_IMAGE_TENSOR_DEVICE`           | जब टेंसर पाइपलाइन सक्षम हो, तब Workflow tensors को जिस Torch डिवाइस पर रखा जाता है।                               | `cuda` if available, else `cpu`                 |
| `VIDEO_SOURCE_BUFFER_SIZE`                | प्रत्येक वीडियो स्रोत के लिए बफ़र किए गए डिकोड किए गए फ़्रेमों की संख्या।                                         | `8` जब टेंसर पाइपलाइन सक्षम हो, `64` अन्यथा     |
| `VIDEO_SOURCE_ADAPTIVE_BACKPRESSURE`      | अनुमानित फ़्रेम दर के बजाय बफ़र स्थिति के आधार पर बफ़र किए गए फ़्रेम हटाता है।                                    | मेल खाता है `ENABLE_TENSOR_DATA_REPRESENTATION` |
| `WORKFLOWS_ENFORCE_DENSE_INSTANCE_MASKS`  | टेंसर पाइपलाइन मॉडलों से RLE-encoded मास्क के बजाय dense instance segmentation masks लौटाता है।                   | `False`                                         |
| `WORKFLOWS_SAM_VIDEO_MASK_REPRESENTATION` | मास्क प्रारूप (`rle` या `dense`) जो टेंसर पाइपलाइन में SAM वीडियो ट्रैकिंग ब्लॉक्स द्वारा उपयोग किया जाता है।     | `rle`                                           |
| `DISABLE_GSTREAMER_VIDEO_SOURCES`         | GStreamer-आधारित वीडियो स्रोतों को अक्षम करता है, जिससे मानक CPU डिकोडिंग बाध्य होती है।                          | `False`                                         |

## Roboflow API कनेक्टिविटी

| चर                                             | विवरण                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                              | डिफ़ॉल्ट              |
| ---------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------ | --------------------- |
| `TRANSIENT_ROBOFLOW_API_ERRORS`                | Roboflow API से प्राप्त HTTP कोडों की अल्पविराम से अलग की गई सूची जिन्हें पुनः प्रयास करना चाहिए (केवल GET endpoints)।                                                                                                                                                                                                                                                                                                                                                                                             | सेट नहीं              |
| `TRANSIENT_ROBOFLOW_API_ERRORS_RETRIES`        | अस्थायी त्रुटियों (कनेक्शन त्रुटियाँ और अस्थायी HTTP कोड) को पुनः प्रयास किए जाने की संख्या (केवल GET endpoints)।                                                                                                                                                                                                                                                                                                                                                                                                  | `3`                   |
| `TRANSIENT_ROBOFLOW_API_ERRORS_RETRY_INTERVAL` | अस्थायी Roboflow API त्रुटियों के पुनः प्रयासों के बीच की देरी (केवल GET endpoints)।                                                                                                                                                                                                                                                                                                                                                                                                                               | `3`                   |
| `RETRY_CONNECTION_ERRORS_TO_ROBOFLOW_API`      | क्या Roboflow API की कनेक्शन त्रुटियों को पुनः प्रयास किया जाना चाहिए (केवल GET endpoints)।                                                                                                                                                                                                                                                                                                                                                                                                                        | `False`               |
| `ROBOFLOW_API_REQUEST_TIMEOUT`                 | Roboflow API को किए गए अनुरोधों के लिए सेकंडों में टाइमआउट (पूर्णांक)।                                                                                                                                                                                                                                                                                                                                                                                                                                             | सेट नहीं              |
| `API_PROXY_BASE_URL`                           | Roboflow API प्रॉक्सी अनुरोधों के लिए उपयोग किया जाने वाला आधार URL `apiproxy/*` endpoints. लंबे समय तक चलने वाले तृतीय-पक्ष प्रॉक्सी कॉल्स के लिए Firebase Hosting टाइमआउट को बायपास करने हेतु इसे सीधे heavy-API Cloud Run service root पर सेट करें।                                                                                                                                                                                                                                                             | का मान `API_BASE_URL` |
| `DISABLE_VERSION_CHECK`                        | बैकग्राउंड थ्रेड में चलने वाली Inference version check को अक्षम करता है। इसे जबरन सेट करें `True` (एक स्पष्ट `False`) को ओवरराइड करते हुए, जब `SECURE_GATEWAY` कॉन्फ़िगर किया गया हो, क्योंकि `api.github.com` gateway के पीछे उपलब्ध नहीं होता।                                                                                                                                                                                                                                                                   | `False`               |
| `SECURE_GATEWAY`                               | का पता [Roboflow Secure Gateway](/deployment/hi/self-hosted/enterprise/secure-gateway.md) air-gapped deployments के लिए (पुराना उपनाम: `LICENSE_SERVER`). Roboflow API और मॉडल डाउनलोड ट्रैफ़िक को gateway proxy के माध्यम से रूट करता है, version check को जबरन अक्षम करता है, और जब `remote` plus `hosted` कॉन्फ़िगर हो, तब local Workflow step execution पर वापस जाता है। देखें [Docker कॉन्फ़िगरेशन विकल्प](/deployment/hi/self-hosted/inference-server/configuration/docker-configuration.md#secure-gateway). | सेट नहीं              |

## निगरानी और टेलीमेट्री

| चर                               | विवरण                                                                                                                                                                                                                                                             | डिफ़ॉल्ट                        |
| -------------------------------- | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | ------------------------------- |
| `ENABLE_PROMETHEUS`              | Prometheus को सक्षम करता है `/metrics` endpoint। देखें [टेलीमेट्री](/deployment/hi/self-hosted/inference-server/configuration/telemetry.md).                                                                                                                      | `True` Docker Hub इमेजों के लिए |
| `DOCKER_SOCKET_PATH`             | कंटेनर में माउंट किए गए Docker daemon socket का पथ। प्रदान किए जाने पर, daemon socket से Docker container आँकड़ों को पोल करना सक्षम करता है। देखें [टेलीमेट्री](/deployment/hi/self-hosted/inference-server/configuration/telemetry.md#docker-container-metrics). | सेट नहीं                        |
| `METRICS_ENABLED`                | Roboflow को नियंत्रित करता है [Model Monitoring](/deployment/hi/monitoring-and-analytics/model-monitoring.md).                                                                                                                                                    | `True`                          |
| `MODEL_MONITORING_CACHE_BACKEND` | मॉडल-निगरानी pingback डेटा के लिए कैश बैकएंड। उपयोग करें `default` सामान्य कैश चयन का पालन करने के लिए (Redis जब `REDIS_HOST` कॉन्फ़िगर हो, अन्यथा मेमोरी), या `memory` प्रोसेस-लोकल बफ़रिंग को बाध्य करने और Redis को inference hot path से दूर रखने के लिए।     | `default`                       |

## HTTPS

| चर                     | विवरण                                                                                                                                                                                                                                                             | डिफ़ॉल्ट                          |
| ---------------------- | ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | --------------------------------- |
| `ENABLE_HTTPS`         | Inference सर्वर के लिए HTTPS टॉगल करता है। जब `True`सर्वर पढ़ता है `SSL_CERTFILE` और `SSL_KEYFILE` और TLS के माध्यम से ट्रैफ़िक सर्व करता है। देखें [HTTPS के माध्यम से Inference सर्व करना](/deployment/hi/self-hosted/inference-server/configuration/https.md). | `False`                           |
| `SSL_CERTFILE`         | जब यह सक्षम हो, तब परोसे जाने वाले PEM-encoded TLS certificate का पथ `ENABLE_HTTPS=True`.                                                                                                                                                                         | `/etc/inference/certs/server.crt` |
| `SSL_KEYFILE`          | के साथ जुड़े PEM-encoded TLS private key का पथ `SSL_CERTFILE`.                                                                                                                                                                                                    | `/etc/inference/certs/server.key` |
| `SSL_KEYFILE_PASSWORD` | डिक्रिप्ट करने के लिए उपयोग किया जाने वाला पासफ़्रेज़ `SSL_KEYFILE` जब निजी कुंजी एन्क्रिप्टेड हो।                                                                                                                                                                | सेट नहीं                          |
| `SSL_CA_CERTS`         | CA bundle का पथ, जिसका उपयोग तब किया जाता है जब client certificate verification (mTLS) आवश्यक हो।                                                                                                                                                                 | सेट नहीं                          |

## प्रमाणीकरण और इनपुट सुरक्षा

| चर                                            | विवरण                                                                                                                                                                                                                                                         | डिफ़ॉल्ट |
| --------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- | -------- |
| `WORKSPACES_WHITELISTED_FOR_LOCAL_DEPLOYMENT` | Roboflow workspace URL slugs की अल्पविराम से अलग की गई सूची जिन्हें इस सर्वर के विरुद्ध अनुरोध चलाने की अनुमति है। जब सेट हो, तो हर अनुरोध (docs, landing page, और health, liveness, तथा metrics endpoints को छोड़कर) Roboflow API key के साथ अधिकृत होता है। | सेट नहीं |

जो चर custom Python execution और URL image fetching को नियंत्रित करते हैं (`ALLOW_CUSTOM_PYTHON_EXECUTION_IN_WORKFLOWS`, `ALLOW_URL_INPUT`, `ALLOW_URL_TO_NON_GLOBAL_ADDRESSES`, `VALIDATE_IMAGE_URL_REDIRECTS`और अन्य) का दस्तावेजीकरण यहाँ किया गया है [Self-Hosted सर्वर को सुरक्षित करना](/deployment/hi/self-hosted/inference-server/configuration/security.md) और [स्वीकृत इनपुट प्रारूप](/deployment/hi/self-hosted/inference-server/configuration/input-formats.md).