> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/deployment/hi/self-hosted/inference-library.md).

# Inference Library

inference package के साथ बिना server और बिना HTTP hop के, सीधे अपने Python process में models चलाएँ।

यह `inference` Python पैकेज मॉडल लोड करता है और उन्हें आपकी अपनी प्रक्रिया के भीतर चलाता है। शुरू करने के लिए कोई कंटेनर नहीं होता और आपके कोड तथा मॉडल के बीच कोई HTTP अनुरोध नहीं होता। इस कारण यह स्वयं होस्ट करने का सबसे कम विलंबता वाला तरीका है और किसी मौजूदा Python एप्लिकेशन में जोड़ने का सबसे आसान तरीका है।

इसका उपयोग तब करें, जब आपका एप्लिकेशन Python में हो और मॉडल वाली मशीन पर ही चलता हो। यदि कई क्लाइंट, भाषाओं या वीडियो स्ट्रीम को भविष्यवाणियाँ चाहिए, या आप मॉडल को अपने एप्लिकेशन की निर्भरताओं से अलग रखना चाहते हैं, तो इसके बजाय [Inference Server](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server.md) चलाएँ। दोनों समान `model_id` मान स्वीकार करते हैं, इसलिए बाद में स्विच करना आसान है।

## इंस्टॉल करें

```bash
pip install inference
```

यदि आपके पास NVIDIA GPU है, तो इसके बजाय `inference-gpu` इंस्टॉल करें:

```bash
pip install --extra-index-url https://download.pytorch.org/whl/cu124 inference-gpu
```

\--extra-index-url `का मान` आपके OS में इंस्टॉल किए गए CUDA संस्करण के अनुसार रखें: `https://download.pytorch.org/whl/cu<major><minor>`उदाहरण के लिए, `https://download.pytorch.org/whl/cu130` CUDA 13.0 के लिए। GPU इंस्टॉल करने हेतु OS में CUDA होना आवश्यक है। यदि आपके वातावरण में आवश्यक निर्भरताएँ नहीं हैं, तो [Linux](https://docs.nvidia.com/cuda/cuda-installation-guide-linux/) या [Windows](https://docs.nvidia.com/cuda/cuda-installation-guide-microsoft-windows/) के CUDA इंस्टॉलेशन गाइड देखें।

inference `1.2.0 से शुरू होकर, नया inference engine (` inference-models`) डिफ़ॉल्ट है। यह TensorRT सहित कई मॉडल बैकएंड का समर्थन करता है और आपके हार्डवेयर के लिए उपलब्ध सबसे तेज़ बैकएंड चुनता है।`वह इंस्टॉल करता है जिसकी `1.2.0 से शुरू होकर, नया inference engine (` torch `और` onnx `मॉडलों को ज़रूरत होती है; अन्य बैकएंड पैकेज एक्स्ट्रा के ज़रिए मिलते हैं:` यह

```bash
pip install inference-models[trt10]
```

Windows पर CUDA सेटअप के लिए अतिरिक्त चरणों की ज़रूरत होती है: देखें [Windows पर Bare Metal Inference GPU इंस्टॉल करें](https://docs.roboflow.com/deployment/hi/self-hosted/inference-library/bare-metal-gpu-windows.md).

## मॉडल चलाएँ

```python
from inference import get_model

image = "https://media.roboflow.com/inference/people-walking.jpg"
model = get_model(model_id="rfdetr-small")
results = model.infer(image)
```

`get_model()` पहली बार उपयोग करने पर मॉडल के वेट डाउनलोड करके कैश करता है, फिर स्थानीय रूप से inference चलाता है। `model_id` किसी पहले से प्रशिक्षित उपनाम, आपके अपने fine-tuned मॉडल या Universe मॉडल का हो सकता है: देखें [मॉडल आईडी](https://docs.roboflow.com/deployment/hi/self-hosted/self-hosted.md#model-ids)। Fine-tuned और Universe मॉडलों के लिए एक [API कुंजी](https://docs.roboflow.com/reference/authentication/authentication/find-your-roboflow-api-key).

## परिणामों को विज़ुअलाइज़ करें

इंस्टॉल करें [Supervision](https://supervision.roboflow.com) पूर्वानुमानों को एनोटेट करने के लिए:

```bash
pip install -U supervision
```

```python
import supervision as sv
from inference import get_model

image = sv.load_image_from_url("https://media.roboflow.com/inference/people-walking.jpg")

model = get_model(model_id="rfdetr-medium")
results = model.infer(image)[0]

detections = sv.Detections.from_inference(results)

annotated_image = sv.BoxAnnotator().annotate(scene=image, detections=detections)
annotated_image = sv.LabelAnnotator().annotate(scene=annotated_image, detections=detections)

sv.plot_image(annotated_image)
```

## वीडियो और वर्कफ़्लो

अधिकांश वीडियो एप्लिकेशन के लिए, एक [Inference Server](https://docs.roboflow.com/deployment/hi/self-hosted/inference-server.md) चलाएँ और उसके साथ [Inference SDK WebRTC client](https://docs.roboflow.com/reference/inference/inference-sdk/webrtc).

यदि आप जानबूझकर Inference Library को अपनी Python प्रक्रिया के भीतर चलाते हैं, तो `InferencePipeline` बिना सर्वर के वेबकैम, RTSP कैमरा या वीडियो फ़ाइल को प्रोसेस कर सकता है। यह डायरेक्ट-लाइब्रेरी API आपकी प्रक्रिया को फ़्रेम, कस्टम इन्फ़रेंस लॉजिक और सिंक तक पहुँच देती है। देखें [Inference Pipeline](https://docs.roboflow.com/reference/inference/inference-python/inference-pipeline).

## आगे की जानकारी

* [Inference Python Package reference](https://docs.roboflow.com/reference/inference/inference-python) - संपूर्ण API विवरण।
* [Native Python API](https://docs.roboflow.com/reference/inference/inference-python/native-python-api) - सर्वर के बिना मॉडल लोड करें और वर्कफ़्लो चलाएँ।
* [Model Weights Download](https://docs.roboflow.com/reference/inference/inference-python/offline-weights) - ऑफ़लाइन और एयर-गैप्ड होस्ट के लिए वेट कैश करें।
* [Inference Benchmarks](https://docs.roboflow.com/reference/inference/inference-python/benchmarks) - मॉडल और हार्डवेयर के अनुसार मापा गया थ्रूपुट।
