Windows पर Bare Metal Inference GPU इंस्टॉल करें

Docker के बिना, Windows पर NVIDIA CUDA और cuDNN के साथ inference-gpu Python package इंस्टॉल करें।

हम दृढ़ता से अनुशंसा करते हैं Windows पर Docker के साथ Inference इंस्टॉल करना इसके बजाय। नीचे दी गई मार्गदर्शिका का उपयोग केवल तभी करें यदि आप अपने सिस्टम पर Docker का उपयोग नहीं कर सकते।

आप Inference का उपयोग inference-gpu पैकेज और Windows पर NVIDIA CUDA के साथ कर सकते हैं। यह मार्गदर्शिका आपके Windows GPU सेटअप को कॉन्फ़िगर करने की प्रक्रिया बताती है।

पूर्वापेक्षाएँ

आपको NVIDIA GPU के साथ Windows 10 या Windows 11 चलाने वाली एक मशीन की आवश्यकता है।

चरण 1: Python इंस्टॉल करें

नवीनतम Python 3.11.x डाउनलोड करें Python Windows संस्करण सूची. Microsoft Store से Python संस्करण इंस्टॉल न करें, क्योंकि यह onnxruntime के साथ संगत नहीं है।

"Windows Installer (64-bit)" लिंक पर क्लिक करें और मशीन पर Python इंस्टॉल करने के लिए निर्देशों का पालन करें। इंस्टॉलेशन पूरा होने पर, चलाएँ py --version ताकि यह पुष्टि हो सके कि यह सफल रहा। आपको अपना Python संस्करण दिखाने वाला संदेश दिखाई देना चाहिए।

चरण 2: Inference GPU इंस्टॉल करें

PowerShell टर्मिनल में, चलाएँ:

py -m pip install --extra-index-url https://download.pytorch.org/whl/cu128 inference-gpu

समायोजित करें --extra-index-url को आपके OS में इंस्टॉल किए गए CUDA संस्करण के अनुसार: https://download.pytorch.org/whl/cu<major><minor>, उदाहरण के लिए https://download.pytorch.org/whl/cu130 CUDA 13.0 के लिए।

चरण 3: CUDA Toolkit 11.8 इंस्टॉल करें

इसके बाद, CUDA Toolkit 11.8 इंस्टॉल करें ताकि Inference CUDA का उपयोग कर सके। CUDA Toolkit डाउनलोड करें.

डाउनलोड पेज से, अपने सिस्टम के लिए सही पैरामीटर चुनें, फिर "exe (Network)" चुनें और toolkit डाउनलोड करने के लिए लिंक का अनुसरण करें।

इंस्टॉलेशन फ़ाइल खोलें और toolkit इंस्टॉल करने के लिए सभी डिफ़ॉल्ट स्वीकार करें।

चरण 4: cuDNN इंस्टॉल करें

पर जाएँ NVIDIA वेबसाइट पर cuDNN आर्काइव और "cuDNN v8.7.0 (November 28th, 2022), for CUDA 11.x" चुनें। 11.x के लिए लिंक चुनें; अन्य आपके CUDA संस्करण के साथ संगत नहीं हैं और विफल हो जाएँगे।

"Local Installer for Windows (Zip)" चुनें और ZIP फ़ाइल डाउनलोड करें। सॉफ़्टवेयर डाउनलोड करने के लिए आपको एक NVIDIA खाते की आवश्यकता होगी।

अपने Downloads फ़ोल्डर में फ़ाइल खोलें, राइट-क्लिक करें, और सभी फ़ाइलों को डाउनलोड फ़ोल्डर में निकालने के लिए "Extract All" चुनें।

नया Explorer विंडो खोलने के लिए Ctrl+N दबाएँ और यहाँ जाएँ C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8.

सभी कॉपी करें .dll फ़ाइलें bin/ cuDNN डाउनलोड के फ़ोल्डर से bin/ फ़ोल्डर में कॉपी करें:

DLL कॉपी प्रक्रिया

सभी कॉपी करें .h फ़ाइलें include/ cuDNN डाउनलोड के फ़ोल्डर से include/ फ़ोल्डर में कॉपी करें:

हेडर फ़ाइल कॉपी प्रक्रिया

कॉपी करें x64 फ़ोल्डर को lib/ cuDNN डाउनलोड की डायरेक्टरी से lib/ CUDA इंस्टॉलेशन की डायरेक्टरी में:

x64 फ़ाइल कॉपी प्रक्रिया

Start मेनू पर राइट-क्लिक करें और System चुनें, फिर Advanced system settings, फिर Environment Variables। नाम का एक नया environment variable बनाएँ CUDNN और मान के साथ:

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8;C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\bin;C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\include;C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\lib;

चरण 5: zlib इंस्टॉल करें

फ़ाइल खोजें C:\Program Files\NVIDIA Corporation\Nsight Systems 2022.4.2\host-windows-x64\zlib.dll, राइट-क्लिक करें, और "Copy" चुनें।

पर जाएँ C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\bin, zlib.dll फ़ाइल को इस फ़ोल्डर में पेस्ट करें, और इसका नाम बदलकर zlibwapi.dll.

चरण 6: Visual Studio 2019 C++ runtime इंस्टॉल करें

Visual Studio 2019 C++ runtime इंस्टॉल करें (डाउनलोड लिंक).

इंस्टॉलेशन सत्यापित करें

निम्न सामग्री के साथ एक नई फ़ाइल बनाएँ और अपना जोड़ें Roboflow API key:

from inference import InferencePipeline
from inference.core.interfaces.stream.sinks import render_boxes

pipeline = InferencePipeline.init(
    api_key="YOUR_API_KEY",
    model_id="rock-paper-scissors-sxsw/11",
    video_reference="https://media.roboflow.com/rock-paper-scissors.mp4",
    on_prediction=render_boxes,
)
pipeline.start()
pipeline.join()

फ़ाइल के स्थान पर PowerShell टर्मिनल खोलें और चलाएँ py infer.py. यदि इंस्टॉलेशन सफल रहा, तो आपको कुछ फ़्रेमों में एनोटेटेड छवियाँ दिखाई देनी चाहिए, और कंसोल में कोई त्रुटि या चेतावनी नहीं होनी चाहिए।