> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/reference/hi/inference/inference-sdk.md).

# Inference SDK

Roboflow Inference Server के लिए HTTP client, Python से local, hosted, async, और batch inference के साथ।

यह `inference-sdk` Python पैकेज प्रदान करता है `InferenceHTTPClient`, एक क्लाइंट जो से बात करने के लिए [इन्फ़रेंस सर्वर](https://docs.roboflow.com/deployment/self-hosted/inference-server) HTTP के माध्यम से। संगत HTTP विधियों के लिए, यह क्लाइंट Roboflow के साथ काम करता है [Serverless Cloud API](https://docs.roboflow.com/deployment/roboflow-cloud/serverless-api), एक [समर्पित परिनियोजन](https://docs.roboflow.com/deployment/roboflow-cloud/dedicated-deployments), एक स्व-होस्टेड सर्वर, या एज डिवाइस पर चल रहे सर्वर पर बदलकर `api_url`. प्रबंधित लाइव-कैमरा [क्लाउड स्ट्रीमिंग](https://docs.roboflow.com/deployment/roboflow-cloud/cloud-streaming) एक अलग स्रोत और जॉब जीवनचक्र का उपयोग करता है; यह इस क्लाइंट के माध्यम से चयनित नहीं होता `api_url`.

```bash
pip install inference-sdk
```

{% hint style="info" %}
`inference-sdk` एक पतला HTTP क्लाइंट है और स्वयं मॉडल नहीं चलाता। अपने Python प्रक्रिया के भीतर मॉडल लोड और चलाने के लिए, उपयोग करें [`inference` पैकेज](https://docs.roboflow.com/reference/hi/inference/inference-python.md).
{% endhint %}

## त्वरित आरंभ

आप URLs, file paths, PIL images, और NumPy arrays से प्राप्त छवियों पर inference चला सकते हैं।

{% tabs %}
{% tab title="URL" %}

```python
from inference_sdk import InferenceHTTPClient, InferenceConfiguration
import os

image_url = "https://media.roboflow.com/inference/soccer.jpg"

client = InferenceHTTPClient(
    api_url="https://serverless.roboflow.com",
    api_key=os.environ["API_KEY"],
).configure(InferenceConfiguration(api_key_transport="header"))

results = client.infer(image_url, model_id="soccer-players-5fuqs/1")
print(results)
```

{% endtab %}

{% tab title="NumPy ऐरे" %}

```python
from inference_sdk import InferenceHTTPClient, InferenceConfiguration
import cv2
import os

client = InferenceHTTPClient(
    api_url="https://serverless.roboflow.com",
    api_key=os.environ["API_KEY"],
).configure(InferenceConfiguration(api_key_transport="header"))

numpy_image = cv2.imread("path/to/local/image.jpg")
results = client.infer(numpy_image, model_id="soccer-players-5fuqs/1")
print(results)
```

{% endtab %}

{% tab title="PIL छवि" %}

```python
from inference_sdk import InferenceHTTPClient, InferenceConfiguration
from PIL import Image
import os

client = InferenceHTTPClient(
    api_url="https://serverless.roboflow.com",
    api_key=os.environ["API_KEY"],
).configure(InferenceConfiguration(api_key_transport="header"))

pil_image = Image.open("path/to/local/image.jpg")
results = client.infer(pil_image, model_id="soccer-players-5fuqs/1")
print(results)
```

{% endtab %}
{% endtabs %}

यह `api_key_transport="header"` यह सेटिंग आपकी API कुंजी को केवल एक `Authorization: Bearer` हेडर के रूप में भेजती है, जिससे यह URLs और logs से बाहर रहती है। इसके लिए release 1.5.0 या उससे नए inference server की आवश्यकता होती है; उपयोग करें `"both"` जब तक आप पुराने सर्वरों को भी कॉल करते हैं। देखें [API key transport](https://docs.roboflow.com/reference/hi/inference/inference-sdk/configuration.md#api-key-transport) तीनों मोड के लिए।

self-hosted सर्वर के विरुद्ध पहली अनुरोध पर, मॉडल weights डाउनलोड और सेटअप किए जाते हैं। यह अनुरोध आपकी नेटवर्क कनेक्शन और मॉडल के आकार के आधार पर कुछ समय ले सकता है। एक बार मॉडल डाउनलोड हो जाने पर, बाद के अनुरोध बहुत तेज़ होते हैं। आप यह भी कर सकते हैं [मॉडल को पहले से लोड करें और लोडेड weights प्रबंधित करें](https://docs.roboflow.com/reference/hi/inference/inference-sdk/model-management.md) ताकि इस प्रक्रिया को नियंत्रित किया जा सके।

{% hint style="info" %}
मॉडल ID इस स्ट्रिंग से बना होता है `<project_id>/<version_id>`. देखें [Workspace और Project IDs](https://docs.roboflow.com/reference/hi/authentication/authentication/workspace-and-project-ids.md) ताकि आप अपना पता लगा सकें।
{% endhint %}

### Self-hosted सर्वर

आप Inference Server को भी self-host कर सकते हैं (देखें [Inference CLI](https://docs.roboflow.com/reference/hi/inference/inference-cli.md)), और फिर बदलें `api_url` में `InferenceHTTPClient`:

```python
client = InferenceHTTPClient(
    api_url="http://localhost:9001",
    api_key=os.environ["API_KEY"],
)
```

### AsyncIO क्लाइंट

```python
import asyncio
from inference_sdk import InferenceHTTPClient

CLIENT = InferenceHTTPClient(
    api_url="http://localhost:9001",
    api_key="ROBOFLOW_API_KEY"
)

image_url = "https://source.roboflow.com/pwYAXv9BTpqLyFfgQoPZ/u48G0UpWfk8giSw7wrU8/original.jpg"
loop = asyncio.get_event_loop()
result = loop.run_until_complete(
  CLIENT.infer_async(image_url, model_id="soccer-players-5fuqs/1")
)
```

## समानांतर और बैच inference

आप एक ही कॉल में कई छवियों पर prediction करना चाह सकते हैं। के दो पैरामीटर [`InferenceConfiguration`](https://docs.roboflow.com/reference/hi/inference/inference-sdk/configuration.md) बैचिंग और समानांतरता को नियंत्रित करते हैं:

* `max_concurrent_requests` - शुरू किए जा सकने वाले concurrent requests की अधिकतम संख्या
* `max_batch_size` - एकल request में भेजे जा सकने वाले elements की अधिकतम संख्या

इसके निम्नलिखित सुधार संभव होते हैं:

* यदि आप inference container को एक शक्तिशाली on-prem GPU मशीन पर चलाते हैं, तो सेटिंग `max_batch_size` सही ढंग से करने पर throughput लाभ दे सकती है
* यदि आप hosted Roboflow API के विरुद्ध inference चलाते हैं, तो सेटिंग `max_concurrent_requests` कई छवियों को एक साथ सर्व करने का कारण बनती है, जिससे throughput लाभ मिलता है
* दोनों विकल्पों का संयोजन उन क्लाइंट्स के लिए लाभकारी हो सकता है जो inference container को मशीनों के क्लस्टर पर चला रहे हैं: एकल node का load अनुकूलित किया जा सकता है और अलग-अलग nodes को समानांतर अनुरोध एक साथ किए जा सकते हैं

```python
from inference_sdk import InferenceHTTPClient

image_url = "https://source.roboflow.com/pwYAXv9BTpqLyFfgQoPZ/u48G0UpWfk8giSw7wrU8/original.jpg"

# ROBOFLOW_API_KEY को अपनी Roboflow API कुंजी से बदलें
CLIENT = InferenceHTTPClient(
    api_url="http://localhost:9001",
    api_key="ROBOFLOW_API_KEY"
)
predictions = CLIENT.infer([image_url] * 5, model_id="soccer-players-5fuqs/1")

print(predictions)
```

बैचिंग और समानांतरता का समर्थन करने वाली विधियाँ:

* `infer(...)` और `infer_async(...)`
* `ocr_image(...)` और `ocr_image_async(...)` (लागू करते हुए `max_batch_size=1`)
* `detect_gazes(...)` और `detect_gazes_async(...)` - **अप्रचलित**, हमेशा उत्पन्न करता है `inference_sdk.http.errors.FeatureDeprecatedError`
* `get_clip_image_embeddings(...)` और `get_clip_image_embeddings_async(...)`

क्लाइंट यह भी समर्थन करता है [मूल फाउंडेशन मॉडल](https://docs.roboflow.com/reference/hi/inference/inference-sdk/core-models.md) (CLIP, DocTR), [Workflows चलाना](https://docs.roboflow.com/reference/hi/inference/inference-sdk/workflows.md) बहु-चरणीय pipelines के लिए, और [WebRTC स्ट्रीमिंग](https://docs.roboflow.com/reference/hi/inference/inference-sdk/webrtc.md) एक self-hosted Inference Server पर। नए managed live-camera processing के लिए, उपयोग करें [क्लाउड स्ट्रीमिंग](https://docs.roboflow.com/deployment/roboflow-cloud/cloud-streaming). WebRTC संदर्भ मौजूदा integrations के लिए अप्रचलित hosted API विवरण बनाए रखता है।

## वास्तव में prediction के रूप में क्या लौटाया जाता है?

`InferenceHTTPClient` सादे Python dictionaries लौटाता है जो model serving API से प्रतिक्रियाएँ होती हैं। संशोधन केवल के संदर्भ में किया जाता है `visualization` कुंजी, जो सर्वर-जनित prediction visualisation को बनाए रखती है और इसे पसंदीदा प्रारूप में transcoded किया जा सकता है। क्लाइंट-साइड rescaling केवल इनपुट आकार को समायोजित करता है।

## अगले कदम

* [कॉन्फ़िगरेशन](https://docs.roboflow.com/reference/hi/inference/inference-sdk/configuration.md) - क्लाइंट और मॉडल पैरामीटर, context managers, और डिफ़ॉल्ट्स।
* [मॉडल प्रबंधन](https://docs.roboflow.com/reference/hi/inference/inference-sdk/model-management.md) - सर्वर पर मॉडल को पहले से लोड करें, सूचीबद्ध करें, और अनलोड करें।
* [कोर मॉडल](https://docs.roboflow.com/reference/hi/inference/inference-sdk/core-models.md) - CLIP और DocTR endpoints.
* [वर्कफ़्लोज़](https://docs.roboflow.com/reference/hi/inference/inference-sdk/workflows.md) - क्लाइंट के माध्यम से Workflow चलाएँ।
* [क्लाउड स्ट्रीमिंग](https://docs.roboflow.com/deployment/roboflow-cloud/cloud-streaming): managed live-camera sources, Workflow jobs, और परिणाम।
* [WebRTC स्ट्रीमिंग](https://docs.roboflow.com/reference/hi/inference/inference-sdk/webrtc.md): self-hosted सर्वर पर किसी मॉडल या Workflow के माध्यम से वीडियो स्ट्रीम करें, या मौजूदा legacy integration बनाए रखें।
