오프라인 모드

Roboflow 엔터프라이즈 고객은 오프라인으로 모델을 배포할 수 있습니다.

Roboflow Enterprise 고객의 오프라인 모드는 Docker 컨테이너를 사용해야 합니다.

Roboflow Enterprise 고객은 Roboflow Inference(온디바이스 추론 서버)를 최대 30일 동안 가중치를 캐시하도록 구성할 수 있습니다.

이를 통해 모델을 완전히 에어갭 환경이나 인터넷 연결이 원활하지 않은 장소에서도 실행할 수 있습니다.

모델을 오프라인으로 실행하려면 다음을 수행해야 합니다:

1. Docker 볼륨을 생성하고 다음에 연결하세요 /tmp/cache Inference Server에서.

2. Docker로 Roboflow Inference 서버를 시작하세요.

3. 서버를 통해 모델에 요청을 보내면 모델 가중치 다운로드 및 캐시 프로세스가 시작됩니다. 이 단계에서는 인터넷 연결이 필요합니다.

가중치가 캐시되면 로컬에서 사용할 수 있습니다.

아래에서는 CPU부터 GPU까지 다양한 장치 유형에서 오프라인으로 모델을 실행하는 방법을 안내합니다.

CPU

이미지: roboflow / roboflow-inference-server-cpu

sudo docker volume create roboflow
sudo docker run --net=host --env LICENSE_SERVER=10.0.1.1 --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-cpu

GPU

GPU 컨테이너를 사용하려면 먼저 설치해야 합니다 nvidia-container-runtime.

이미지: roboflow / roboflow-inference-server-gpu

sudo docker volume create roboflow
docker run -it --rm -p 9001:9001 --gpus all --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-gpu

Jetson 4.5

Jetson Jetpack 4.5에는 이미 https://github.com/NVIDIA/nvidia-container-runtime 가 설치되어 있습니다.

이미지: roboflow/roboflow-inference-server-jetson-4.5.0

sudo docker volume create roboflow
docker run -it --rm -p 9001:9001 --runtime=nvidia --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-jetson-4.5.0

Jetson 4.6

Jetson Jetpack 4.6에는 이미 https://github.com/NVIDIA/nvidia-container-runtime 가 설치되어 있습니다.

이미지: roboflow/roboflow-inference-server-jetson-4.6.1

sudo docker volume create roboflow
docker run -it --rm -p 9001:9001 --runtime=nvidia --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-jetson-4.6.1

Jetson 5.1

Jetson Jetpack 5.1에는 이미 https://github.com/NVIDIA/nvidia-container-runtime 가 설치되어 있습니다.

이미지: roboflow/roboflow-inference-server-jetson-5.1.1

sudo docker volume create roboflow
docker run -it --rm -p 9001:9001 --runtime=nvidia --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-jetson-5.1.1

추론 실행

Inference 서버가 로컬 캐싱으로 설정되어 있으면 인터넷 연결 없이 이미지와 비디오 프레임에서 모델을 실행할 수 있습니다.

"를 참조하세요.이미지에서 HTTP로 예측하기" Inference 문서에서 모델 실행 방법을 안내합니다.

Inference 결과

가중치는 인터넷(구성된 경우 License Server를 통해)에서 Roboflow 계정으로부터 SSL 암호화로 로드되며, 최대 30일 동안 Docker 볼륨에 안전하게 저장됩니다.

Inference 결과에는 새로운 expiration 키가 포함되어 있어 Inference Server가 인터넷 또는 License Server 연결을 통해 가중치 임대를 갱신하기 전까지 예측을 계속 제공할 수 있는 기간을 확인할 수 있습니다. 가중치 만료일이 7일 미만이 되면 Inference Server는 Roboflow API에 성공적으로 연결될 때까지 1시간마다 가중치 임대 갱신을 시도합니다.

임대가 갱신되면 카운터가 30일로 초기화됩니다.

{
    "predictions": [
        {
            "x": 340.9,
            "y": 263.6,
            "width": 284,
            "height": 360,
            "class": "example",
            "confidence": 0.867
        }
    ],
    "expiration": {
        "value": 29.91251408564815,
        "unit": "days"
    }
}

오프라인으로 모델을 배포하는 것에 대해 궁금한 점이 있다면 Roboflow 담당자에게 문의하세요.