Windows에 베어메탈 추론 GPU 설치

Docker 없이 Windows에서 NVIDIA CUDA 및 cuDNN과 함께 inference-gpu Python 패키지를 설치하세요.

강력히 권장합니다 Windows에서 Docker와 함께 Inference를 설치하는 것 대신 사용하세요. 시스템에서 Docker를 사용할 수 없는 경우에만 아래 가이드를 사용하세요.

Windows에서 다음과 함께 Inference를 사용할 수 있습니다: inference-gpu 패키지와 NVIDIA CUDA를 사용할 수 있습니다. 이 가이드는 Windows GPU 설정을 구성하는 방법을 안내합니다.

사전 요구 사항

NVIDIA GPU가 탑재된 Windows 10 또는 Windows 11을 실행하는 컴퓨터가 필요합니다.

1단계: Python 설치

다음에서 최신 Python 3.11.x를 다운로드하세요: Python Windows 버전 목록. Microsoft Store에서 Python 버전을 설치하지 마세요. onnxruntime와 호환되지 않기 때문입니다.

"Windows Installer (64-bit)" 링크를 클릭하고 안내에 따라 해당 컴퓨터에 Python을 설치하세요. 설치가 완료되면 py --version 을 실행하여 성공했는지 확인하세요. Python 버전을 보여주는 메시지가 표시되어야 합니다.

2단계: Inference GPU 설치

PowerShell 터미널에서 다음을 실행하세요:

py -m pip install --extra-index-url https://download.pytorch.org/whl/cu128 inference-gpu

다음을 --extra-index-url 를 운영체제에 설치된 CUDA 버전에 맞추세요: https://download.pytorch.org/whl/cu<major><minor>, 예를 들면 https://download.pytorch.org/whl/cu130 CUDA 13.0에 맞게 조정하세요.

3단계: CUDA Toolkit 11.8 설치

다음으로, Inference가 CUDA를 사용할 수 있도록 CUDA Toolkit 11.8을 설치하세요. CUDA Toolkit 다운로드.

다운로드 페이지에서 시스템에 맞는 올바른 매개변수를 선택한 다음, "exe (Network)"를 선택하고 링크를 따라 툴킷을 다운로드하세요.

설치 파일을 열고 모든 기본값을 수락하여 툴킷을 설치하세요.

4단계: cuDNN 설치

다음으로 이동하세요: NVIDIA 웹사이트의 cuDNN 아카이브 에서 "cuDNN v8.7.0 (November 28th, 2022), for CUDA 11.x"를 선택하세요. 11.x용 링크를 선택하세요. 다른 링크는 현재 CUDA 버전과 호환되지 않으며 실패합니다.

"Local Installer for Windows (Zip)"를 선택하고 ZIP 파일을 다운로드하세요. 소프트웨어를 다운로드하려면 NVIDIA 계정이 필요합니다.

다운로드 폴더의 파일을 열고 마우스 오른쪽 버튼을 클릭한 다음, "모두 추출"을 선택하여 모든 파일을 다운로드 폴더에 추출하세요.

Ctrl+N을 눌러 새 탐색기 창을 열고 다음으로 이동하세요: C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8.

모든 .dll 파일을 bin/ cuDNN 다운로드의 bin/ CUDA 툴킷의 폴더로:

DLL 복사 과정

모든 .h 파일을 include/ cuDNN 다운로드의 include/ CUDA 툴킷의 폴더로:

헤더 파일 복사 과정

다음 x64 폴더를 lib/ cuDNN 다운로드의 lib/ CUDA 설치 디렉터리로 복사하세요:

x64 파일 복사 과정

시작 메뉴를 마우스 오른쪽 버튼으로 클릭하고 시스템을 선택한 다음, 고급 시스템 설정, 그다음 환경 변수로 이동하세요. 다음이라는 이름의 새 환경 변수를 만드세요: CUDNN 값은 다음과 같습니다:

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8;C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\bin;C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\include;C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\lib;

5단계: zlib 설치

다음 파일을 찾으세요: C:\Program Files\NVIDIA Corporation\Nsight Systems 2022.4.2\host-windows-x64\zlib.dll, 마우스 오른쪽 버튼으로 클릭하고 "복사"를 선택하세요.

다음으로 이동하세요: C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\bin, 다음을 붙여넣고 zlib.dll 파일을 이 폴더에 넣고 이름을 다음으로 바꾸세요: zlibwapi.dll.

6단계: Visual Studio 2019 C++ 런타임 설치

Visual Studio 2019 C++ 런타임 설치(다운로드 링크).

설치 확인

다음 내용을 가진 새 파일을 만들고 다음을 추가하세요: Roboflow API 키:

from inference import InferencePipeline
from inference.core.interfaces.stream.sinks import render_boxes

pipeline = InferencePipeline.init(
    api_key="YOUR_API_KEY",
    model_id="rock-paper-scissors-sxsw/11",
    video_reference="https://media.roboflow.com/rock-paper-scissors.mp4",
    on_prediction=render_boxes,
)
pipeline.start()
pipeline.join()

파일이 있는 위치에서 PowerShell 터미널을 열고 다음을 실행하세요: py infer.py. 설치가 성공하면 콘솔에 오류나 경고 없이 주석이 달린 이미지 몇 프레임이 표시되는 것을 볼 수 있습니다.