Mac पर इंस्टॉल करें

Native Apple Silicon app, Docker, या MPS acceleration के साथ Docker के बाहर, macOS पर Roboflow Inference Server इंस्टॉल करें।

मूल macOS ऐप (Apple Silicon)

आप अपने Apple Silicon Mac पर मूल डेस्कटॉप ऐप के साथ Roboflow Inference Server चला सकते हैं। नवीनतम GitHub रिलीज़ से नवीनतम DMG डिस्क इमेज डाउनलोड करें: GitHub पर नवीनतम रिलीज़ देखें और इंस्टॉलर डाउनलोड करें.

1. Roboflow Inference DMG डाउनलोड करें डिस्क इमेज.

2. डिस्क इमेज को डबल-क्लिक करके माउंट करें.

3. Roboflow Inference ऐप को अपने Applications फ़ोल्डर में खींचें।

4. अपने Applications फ़ोल्डर को खोलें और सर्वर शुरू करने के लिए Roboflow Inference ऐप पर डबल-क्लिक करें।

Docker का उपयोग करना

CPU

सबसे पहले, Docker Desktop इंस्टॉल करें. फिर कंटेनर शुरू करने के लिए CLI का उपयोग करें:

pip install inference-cli
inference server start

यदि आप कंटेनर सेटिंग्स पर अधिक नियंत्रण चाहते हैं, तो इसे मैन्युअल रूप से शुरू करें:

sudo docker run -d \\
    --name inference-server \\
    --read-only \\
    -p 9001:9001 \\
    --volume ~/.inference/cache:/tmp:rw \\
    --security-opt="no-new-privileges" \\
    --cap-drop="ALL" \\
    --cap-add="NET_BIND_SERVICE" \\
    roboflow/roboflow-inference-server-cpu:latest

GPU (MPS)

Apple अभी तक समर्थन नहीं करता Metal Performance Shaders (MPS) डिवाइस को Docker को पास करना , इसलिए Mac पर किसी कंटेनर के अंदर हार्डवेयर एक्सेलेरेशन संभव नहीं है। MPS का उपयोग करने के लिए आपको सर्वर को Docker के बाहर चलाना होगा।

CPU Docker इमेज के साथ शुरुआत करना सबसे आसान है, और यदि आपको बाद में अधिक गति की आवश्यकता हो, तो MPS एक्सेलेरेशन के साथ Docker के बाहर चलाने पर स्विच करें।

हम अनुशंसा करते हैं pyenv और pyenv-virtualenv को Mac पर अपने Python परिवेशों को प्रबंधित करने के लिए, विशेष रूप से क्योंकि homebrew डिफ़ॉल्ट रूप से Python 3.13 का उपयोग करता है, जो अभी तक उन कई मशीन लर्निंग निर्भरताओं के साथ संगत नहीं है जिनका Inference उपयोग करता है।

एक बार जब आपने pyenv और pyenv-virtualenv इंस्टॉल और सेट अप कर लिया हो (अपने shell को सेट अप करने के लिए पूर्ण निर्देशों का पालन करें), तो Python 3.12 के साथ एक इनफेरेंस virtual environment बनाएं और सक्रिय करें:

pyenv install 3.12
pyenv virtualenv 3.12 inference
pyenv activate inference

Docker के बाहर सर्वर को इंस्टॉल और चलाने के लिए, repo को clone करें, dependencies इंस्टॉल करें, कॉपी करें cpu_http.py repo के शीर्ष स्तर में, और सर्वर को इससे शुरू करें uvicorn:

git clone https://github.com/roboflow/inference.git
cd inference
pip install .
cp docker/config/cpu_http.py .
uvicorn cpu_http:app --port 9001 --host 0.0.0.0

अब आपका सर्वर यहाँ चल रहा है http://localhost:9001 MPS एक्सेलेरेशन के साथ।

अगले चरण

• मॉडल चलाएँ अपने नए सर्वर के विरुद्ध।

• Docker कॉन्फ़िगरेशन विकल्प पोर्ट, कैशिंग, और मॉडल सीमाओं के लिए।

• self-hosted सर्वर को सुरक्षित करना उसे localhost से बाहर उजागर करने से पहले।