Windows पर इंस्टॉल करें

नेटिव इंस्टॉलर या Docker Desktop के साथ, CPU, GPU, या TensorRT पर Windows में Roboflow Inference Server इंस्टॉल करें।

विंडोज़ इंस्टॉलर (x86)

आप अपने Windows मशीन पर नेटिव डेस्कटॉप ऐप के साथ Roboflow Inference Server चला सकते हैं। नवीनतम GitHub रिलीज़ से नवीनतम Windows इंस्टॉलर डाउनलोड करें: GitHub पर नवीनतम रिलीज़ देखें और इंस्टॉलर डाउनलोड करें.

1. नवीनतम इंस्टॉलर डाउनलोड करें और Roboflow Inference को इंस्टॉल करने के लिए इसे चलाएँ।

2. जब इंस्टॉल पूरा हो जाता है, तो यह Inference Server को लॉन्च करने का विकल्प देता है।

3. सर्वर को रोकने के लिए, वह टर्मिनल विंडो बंद करें जिसे यह खोलता है।

4. इसे बाद में फिर से शुरू करने के लिए, खोजें Roboflow Inference अपने Start Menu में।

inference-models backend. के साथ उपयोग किए जाने पर inference-models बैकएंड, Inference Server को symlinks के साथ कैश प्रबंधन के कारण उन्नत एडमिन अधिकारों के साथ चलना चाहिए। विकल्प है सक्षम करना डेवलपर मोड.

यह inference-models बैकएंड एक पर्यावरण फ़्लैग के माध्यम से opt-in है: $env:USE_INFERENCE_MODELS = "True".

Docker का उपयोग करना

सबसे पहले, Docker Desktop इंस्टॉल करें। फिर कंटेनर शुरू करने के लिए CLI का उपयोग करें।

CPU

pip install inference-cli
inference server start

GPU

GPU तक पहुँचने के लिए, सुनिश्चित करें कि आपने अद्यतन NVIDIA ड्राइवर और WSL 2 का नवीनतम संस्करण इंस्टॉल किया है, और Docker में WSL 2 बैकएंड कॉन्फ़िगर किया गया है। Docker के सेटअप निर्देशों का पालन करें.

फिर कंटेनर शुरू करने के लिए CLI का उपयोग करें:

pip install inference-cli
inference server start

यदि pip install कमांड विफल हो जाती है, तो आपको आवश्यकता हो सकती है Python इंस्टॉल करने की पहले। एक बार जब आपके मशीन पर Python 3.12, 3.11, या 3.10 हो जाए, तो कमांड पुनः प्रयास करें।

कंटेनर को मैन्युअल रूप से शुरू करना

यदि आप कंटेनर सेटिंग्स पर अधिक नियंत्रण चाहते हैं, तो इसे स्वयं शुरू करें।

CPU

मुख्य CPU Docker इमेज onnxruntime के माध्यम से x64 CPUs पर OpenVINO acceleration के लिए समर्थन शामिल करती है। SAM2 जैसे भारी मॉडल बहुत धीमे चल सकते हैं (प्रति image कई दर्जन सेकंड) जिससे वे व्यावहारिक नहीं रहते; यदि आपको उनकी आवश्यकता है, तो CUDA-सक्षम GPU का उपयोग करें।

CPU inference के प्राथमिक उपयोग-केस स्थिर चित्रों को प्रोसेस करना (उदाहरण के लिए uploads का NSFW classification या document verification) या वीडियो से frames का कम-आवृत्ति sampling करना (उदाहरण के लिए parking lot की occupancy tracking) हैं।

CPU inference शुरू करने के लिए, उपयोग करें roboflow/roboflow-inference-server-cpu:latest कंटेनर।

docker run -d ^
    --name inference-server ^
    --read-only ^
    -p 9001:9001 ^
    --volume "%USERPROFILE%\.inference\cache:/tmp:rw" ^
    --security-opt="no-new-privileges" ^
    --cap-drop="ALL" ^
    --cap-add="NET_BIND_SERVICE" ^
    roboflow/roboflow-inference-server-cpu:latest

GPU

GPU कंटेनर NVIDIA-Docker के माध्यम से CUDA समर्थन करने वाले कार्डों पर हार्डवेयर acceleration जोड़ता है। सुनिश्चित करें कि आपके पास GPU तक पहुँच के लिए Docker सेट अप है, फिर जोड़ें --gpus all को docker run कमांड:

docker run -d ^
    --name inference-server ^
    --gpus all ^
    --read-only ^
    -p 9001:9001 ^
    --volume "%USERPROFILE%\.inference\cache:/tmp:rw" ^
    --security-opt="no-new-privileges" ^
    --cap-drop="ALL" ^
    --cap-add="NET_BIND_SERVICE" ^
    roboflow/roboflow-inference-server-gpu:latest

TensorRT

GPU कंटेनर के साथ आप वैकल्पिक रूप से सक्षम कर सकते हैं TensorRTNVIDIA का मॉडल अनुकूलन रनटाइम। यह भारी संकलन और अनुकूलन चरण (कभी-कभी 15+ मिनट) की कीमत पर आपके मॉडल की गति को बहुत बढ़ा देता है, जो आप प्रत्येक मॉडल को पहली बार लोड करते समय होता है।

TensorRT सक्षम करें यह जोड़कर TensorrtExecutionProvider को ONNXRUNTIME_EXECUTION_PROVIDERS पर्यावरण चर।

docker run -d ^
    --name inference-server ^
    --gpus all ^
    --read-only ^
    -p 9001:9001 ^
    --volume "%USERPROFILE%\.inference\cache:/tmp:rw" ^
    --security-opt="no-new-privileges" ^
    --cap-drop="ALL" ^
    --cap-add="NET_BIND_SERVICE" ^
    -e ONNXRUNTIME_EXECUTION_PROVIDERS="[TensorrtExecutionProvider,CUDAExecutionProvider,OpenVINOExecutionProvider,CPUExecutionProvider]" ^
    roboflow/roboflow-inference-server-gpu:latest

Docker Compose

यदि आप अपने एप्लिकेशन के लिए Docker Compose का उपयोग करते हैं, तो समकक्ष YAML है:

CPU

version: "3.9"

सेवाएँ:
  inference-server:
    container_name: inference-server
    image: roboflow/roboflow-inference-server-cpu:latest

    read_only: true
    पोर्ट्स:
      - "9001:9001"

    वॉल्यूम्स:
      - "${USERPROFILE}/.inference/cache:/tmp:rw"

    security_opt:
      - no-new-privileges
    cap_drop:
      - ALL
    cap_add:
      - NET_BIND_SERVICE

GPU

version: "3.9"

सेवाएँ:
  inference-server:
    container_name: inference-server
    image: roboflow/roboflow-inference-server-gpu:latest

    read_only: true
    पोर्ट्स:
      - "9001:9001"

    वॉल्यूम्स:
      - "${USERPROFILE}/.inference/cache:/tmp:rw"

    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

    security_opt:
      - no-new-privileges
    cap_drop:
      - ALL
    cap_add:
      - NET_BIND_SERVICE

TensorRT

version: "3.9"

सेवाएँ:
  inference-server:
    container_name: inference-server
    image: roboflow/roboflow-inference-server-gpu:latest

    read_only: true
    पोर्ट्स:
      - "9001:9001"

    वॉल्यूम्स:
      - "${USERPROFILE}/.inference/cache:/tmp:rw"

    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

    environment:
      ONNXRUNTIME_EXECUTION_PROVIDERS: "[TensorrtExecutionProvider,CUDAExecutionProvider,OpenVINOExecutionProvider,CPUExecutionProvider]"

    security_opt:
      - no-new-privileges
    cap_drop:
      - ALL
    cap_add:
      - NET_BIND_SERVICE

Roboflow Enterprise योजनाएँ जोड़ती हैं एक Helm chart Kubernetes परिनियोजनों, OT नेटवर्क के लिए नेटवर्किंग समाधानों, और अनुकूलित सहायता तथा स्थापना पैकेजों के लिए। बिक्री टीम से संपर्क करें अधिक जानने के लिए।

अगले चरण

• मॉडल चलाएँ अपने नए सर्वर के विरुद्ध।

• इंस्टॉल करें inference-gpu Windows पर bare metal यदि आप Docker का उपयोग नहीं कर सकते।

• self-hosted सर्वर को सुरक्षित करना उसे localhost से बाहर उजागर करने से पहले।