> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/reference/hi/inference/inference-python.md).

# Inference Python Package

inference Python package: models लोड करें, अपने process में inference चलाएँ, Workflows निष्पादित करें, और video stream करें।

यह `इन्फरेंस` Python पैकेज Roboflow के कंप्यूटर विज़न डिप्लॉयमेंट स्टैक को संचालित करने वाली मुख्य ओपन-सोर्स लाइब्रेरी है। यह मॉडल लोडिंग, प्री/पोस्ट-प्रोसेसिंग, GPU/CPU अनुकूलन, और [वर्कफ़्लोज़](https://docs.roboflow.com/workflows) निष्पादन, जिसे सीधे Python से कॉल किया जा सकता है।

यह [इन्फरेंस सर्वर](https://docs.roboflow.com/deployment/self-hosted/inference-server) यह इस पैकेज को रैप करता है और इसे HTTP के माध्यम से उपलब्ध कराता है (सभी निर्भरताएँ इंस्टॉल की हुई Docker image के रूप में वितरित), लेकिन आप इसे भी उपयोग कर सकते हैं `इन्फरेंस` अपने स्वयं के स्क्रिप्ट्स और अनुप्रयोगों में सीधे।

## ये हिस्से कैसे एक साथ काम करते हैं

इन्फरेंस में कई घटक हैं जो कंप्यूटर विज़न मॉडल्स को सर्व करने के लिए एक साथ काम करते हैं:

* [**इन्फरेंस**](https://docs.roboflow.com/reference/hi/inference/inference-python.md) - मॉडल लोडिंग, इन्फरेंस, और वर्कफ़्लोज़ निष्पादन के लिए मुख्य Python पैकेज।
* [**inference-sdk**](https://docs.roboflow.com/reference/hi/inference/inference-sdk.md) - HTTP के माध्यम से इन्फरेंस सर्वर से संचार करने के लिए हल्का Python क्लाइंट।
* [**inference-cli**](https://docs.roboflow.com/reference/hi/inference/inference-cli.md) - इन्फरेंस सर्वर को प्रबंधित करने और सामान्य कार्य चलाने के लिए कमांड-लाइन टूल।
* [**इन्फरेंस सर्वर**](https://docs.roboflow.com/deployment/self-hosted/inference-server) - HTTP सर्वर (Docker) जो इसको रैप करता है `इन्फरेंस` पैकेज को REST API के रूप में।

रनटाइम पर ये हिस्से कैसे व्यवहार करते हैं (रिक्वेस्ट रूटिंग, समानांतरकरण, माइक्रोसर्विस और एप्लायंस पैटर्न), के लिए देखें [इन्फरेंस आर्किटेक्चर](https://docs.roboflow.com/deployment/self-hosted/inference-server/architecture).

## मल्टी-बैकएंड समर्थन

Inference 1.0 कई इन्फरेंस रनटाइम बैकएंड्स का समर्थन करता है: ONNX, TensorRT, Hugging Face, और PyTorch. यह आपके हार्डवेयर के लिए उपलब्ध सबसे तेज़ बैकएंड को स्वचालित रूप से चुनता है. उदाहरण के लिए, यदि आपके पास NVIDIA GPU है या आप Jetson डिवाइस पर चल रहे हैं और आपके प्लेटफ़ॉर्म पर मॉडल के लिए TensorRT इंजन उपलब्ध है, तो Inference डिफ़ॉल्ट रूप से TensorRT का उपयोग करता है.

## इंस्टॉलेशन

हम सुझाव देते हैं कि आप उपयोग करें एक [Python वर्चुअल एनवायरनमेंट (venv)](https://docs.python.org/3/tutorial/venv.html) ताकि इन्फरेंस की निर्भरताओं को अलग रखा जा सके।

pip के माध्यम से Inference इंस्टॉल करने के लिए:

```bash
pip install inference
```

यदि आपके पास NVIDIA GPU है, तो आप अपने इन्फरेंस को इससे तेज़ कर सकते हैं:

```bash
pip install --extra-index-url https://download.pytorch.org/whl/cu124 inference-gpu
# कृपया --extra-index-url को आपके OS में इंस्टॉल CUDA संस्करण के अनुसार समायोजित करें
# https://download.pytorch.org/whl/cu<major><minor>, उदाहरण के लिए CUDA 13.0 के लिए https://download.pytorch.org/whl/cu130
```

## त्वरित उदाहरण

आप इन्फरेंस को या तो HTTP के माध्यम से किसी Inference Server के विरुद्ध चला सकते हैं ( `inference-sdk`) या सीधे अपनी प्रक्रिया में (मूल `इन्फरेंस` पैकेज). मूल `get_model()` कॉल मॉडल को आपके स्क्रिप्ट में लोड करता है और एक ऑब्जेक्ट लौटाता है जिस पर आप कॉल कर सकते हैं `.infer()` ; HTTP क्लाइंट छवि को सर्वर पर भेजता है जो वही काम करता है।

{% tabs %}
{% tab title="इन्फरेंस (मूल)" %}

```python
from inference import get_model

model = get_model(model_id="rfdetr-small")
results = model.infer("https://media.roboflow.com/inference/people-walking.jpg")
```

{% endtab %}

{% tab title="inference-sdk (HTTP क्लाइंट)" %}

```python
from inference_sdk import InferenceHTTPClient, InferenceConfiguration

client = InferenceHTTPClient(
    # api_url="http://localhost:9001",  # self-hosted के लिए
    api_url="https://serverless.roboflow.com",
    api_key="ROBOFLOW_API_KEY",
).configure(InferenceConfiguration(api_key_transport="header"))
results = client.infer(
    "https://media.roboflow.com/inference/people-walking.jpg",
    model_id="rfdetr-small",
)
```

{% endtab %}
{% endtabs %}

API key की आवश्यकता वाले मॉडल्स का उपयोग करने के लिए, सेट करें `ROBOFLOW_API_KEY` environment variable, या इसे सीधे पास करें:

```python
model = get_model(model_id="my-project/1", api_key="ROBOFLOW_API_KEY")
```

देखें [मूल Python API](https://docs.roboflow.com/reference/hi/inference/inference-python/native-python-api.md) पेज पर विज़ुअलाइज़ेशन के साथ अधिक विस्तृत चरण-दर-चरण मार्गदर्शन, और [मॉडल चलाएँ](https://docs.roboflow.com/deployment/self-hosted/self-hosted#run-model-locally) सर्वर-आधारित पथ के लिए।

## इन्फरेंस पाइपलाइन

`InferencePipeline` वीडियो को उसी Python प्रक्रिया के भीतर चलाता है जिस `इन्फरेंस` पैकेज के साथ. इसका उपयोग केवल तब करें जब आप सीधे Inference Library निष्पादन चुनते हैं और आपको इसके कस्टम लॉजिक या sink interfaces तक पहुँच चाहिए। self-hosted Inference Server पर वीडियो के लिए, उपयोग करें [WebRTC स्ट्रीमिंग](https://docs.roboflow.com/reference/hi/inference/inference-sdk/webrtc.md). अपने स्वयं के Inference runtime को चलाए बिना प्रबंधित लाइव-कैमरा प्रोसेसिंग के लिए, उपयोग करें [क्लाउड स्ट्रीमिंग](https://docs.roboflow.com/deployment/roboflow-cloud/cloud-streaming).

```python
from inference import InferencePipeline
from inference.core.interfaces.stream.sinks import render_boxes

pipeline = InferencePipeline.init(
    model_id="rfdetr-large",
    video_reference="https://storage.googleapis.com/com-roboflow-marketing/inference/people-walking.mp4",
    on_prediction=render_boxes,
    api_key="ROBOFLOW_API_KEY",
)

pipeline.start()
pipeline.join()
```

ऊपर दिया गया कोड ऑब्जेक्ट डिटेक्शन एनोटेशन सीधे (के माध्यम से `render_boxes` sink). अधिक जानकारी के लिए, देखें [इन्फरेंस पाइपलाइन](https://docs.roboflow.com/reference/hi/inference/inference-python/inference-pipeline.md) पेज।

## योगदान

Inference ओपन सोर्स है। सोर्स कोड, issue tracker, और contribution guide [roboflow/inference](https://github.com/roboflow/inference) repository में हैं; देखें [CONTRIBUTING.md](https://github.com/roboflow/inference/blob/main/CONTRIBUTING.md) शुरू करने के लिए।

## अगले चरण

* [मूल Python API](https://docs.roboflow.com/reference/hi/inference/inference-python/native-python-api.md) - मॉडल लोड करें और अपनी प्रक्रिया में इन्फरेंस चलाएँ।
* [इन्फरेंस पाइपलाइन](https://docs.roboflow.com/reference/hi/inference/inference-python/inference-pipeline.md) - वीडियो स्ट्रीम्स पर मॉडल चलाएँ।
* [मॉडल वेट्स डाउनलोड](https://docs.roboflow.com/reference/hi/inference/inference-python/offline-weights.md) - वेट कैशिंग और स्थायी संग्रहण।
* [बेंचमार्क्स](https://docs.roboflow.com/reference/hi/inference/inference-python/benchmarks.md) - सामान्य हार्डवेयर पर मापित थ्रूपुट।
