> For the complete documentation index, see [llms.txt](https://docs.roboflow.com/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.roboflow.com/deployment/hi/self-hosted/enterprise/parallel-http-api.md).

# समानांतर HTTP API

उच्च throughput और कम latency के लिए inference अनुरोधों को asynchronous रूप से संसाधित करने हेतु Roboflow Inference parallel HTTP server चलाएँ।

{% hint style="warning" %}
**एंटरप्राइज़ सुविधा।** यह सुविधा केवल Roboflow Enterprise उपयोगकर्ताओं के लिए उपलब्ध है। [Roboflow Enterprise के बारे में अधिक जानने के लिए](https://roboflow.com/sales) सेल्स टीम से संपर्क करें।
{% endhint %}

पैरेलल प्रोसेसिंग के ज़रिए आप एक साथ कई मॉडल चला सकते हैं। यह Roboflow Inference का ऐसा संस्करण है जो इन्फ़रेंस अनुरोधों को असिंक्रोनस रूप से प्रोसेस करता है।

Inference Parallel, Roboflow Inference जैसी ही सुविधाएँ देता है, लेकिन इसमें कोर मॉडल (CLIP और SAM) का समर्थन नहीं है।

Inference Parallel में सर्वर के FPS थ्रूपुट को बढ़ाने के लिए प्रीप्रोसेसिंग, ऑटो बैचिंग, इन्फ़रेंस और पोस्ट-प्रोसेसिंग अलग-अलग थ्रेड में चलते हैं। एक ही मॉडल को भेजे गए अलग-अलग अनुरोधों को अनुमति के अनुसार तुरंत बैच किया जाता है `$MAX_BATCH_SIZE`के मुताबिक, और फिर हर अनुरोध का जवाब स्वतंत्र रूप से संसाधित होता है। थ्रूपुट को अधिकतम करने के लिए इमेज Python के `SharedMemory` मॉड्यूल के ज़रिए भेजी जाती हैं।

इन बदलावों से एक परीक्षण किए गए वर्कलोड पर **76% तक की तेज़ी** मिली।

## पैरेलल प्रोसेसिंग के साथ Inference कैसे चलाएँ

{% tabs %}
{% tab title="Bash" %}
सबसे पहले, पैरेलल सर्वर बनाएँ:

```bash
./inference/enterprise/parallel/build.sh
```

इसके बाद, सर्वर चलाएँ:

```bash
./inference/enterprise/parallel/run.sh
```

टर्मिनल में एक संदेश दिखाई देगा, जो बताएगा कि सर्वर चल रहा है और उपयोग के लिए तैयार है।
{% endtab %}

{% tab title="Docker" %}
Docker Hub पर एक कंटेनर प्रकाशित किया गया है:

```bash
docker pull roboflow/roboflow-inference-server-gpu-parallel:latest
```

अगर आप किसी निश्चित टैग को पुल कर रहे हैं, तो `$TAG` वेरिएबल को `run.sh` में उसी के मुताबिक बदलें।
{% endtab %}
{% endtabs %}

## बेंचमार्क

हमने [Roboflow Universe](https://universe.roboflow.com/)के कई तरह के मॉडलों पर Inference Parallel के प्रदर्शन का मूल्यांकन किया और समान हार्डवेयर—आठ कोर और एक GPU वाले कंप्यूटर—पर इसकी तुलना Inference Server 0.9.5.rc से की। इंस्टेंस सेगमेंटेशन के मेट्रिक्स अनुरोध के मुख्य भाग में `"mask_decode_mode": "fast"` के साथ निकाले गए। अनुरोध 1000 की पैरेललिज़्म के साथ एक ही समय पर भेजे गए।

| वर्कस्पेस                   | मॉडल                       | मॉडल का प्रकार        | स्प्लिट | 0.9.5.rc FPS | 0.9.5.parallel FPS |
| --------------------------- | -------------------------- | --------------------- | ------- | ------------ | ------------------ |
| senior-design-project-j9gpp | nbafootage/3               | ऑब्जेक्ट डिटेक्शन     | ट्रेन   | 30.2 fps     | 44.03 fps          |
| niklas-bommersbach-jyjff    | dart-scorer/8              | ऑब्जेक्ट डिटेक्शन     | ट्रेन   | 26.6 fps     | 47.0 fps           |
| geonu                       | water-08xpr/1              | instance-segmentation | मान्य   | 4.7 fps      | 6.1 fps            |
| university-of-bradford      | detecting-drusen\_1/2      | instance-segmentation | ट्रेन   | 6.2 fps      | 7.2 fps            |
| fy-project-y9ecd            | cataract-detection-viwsu/2 | वर्गीकरण              | ट्रेन   | 48.5 fps     | 65.4 fps           |
| hesunyu                     | playing-cards-ir0wr/1      | वर्गीकरण              | ट्रेन   | 44.6 fps     | 57.7 fps           |

समानांतर प्रोसेसिंग सक्षम होने पर अनुमान लगाने में हर परीक्षण पर अधिक FPS प्राप्त हुए। कुछ मॉडलों में FPS की वृद्धि 10 FPS से भी अधिक थी।
