오프라인 모드

Roboflow Enterprise 고객은 모델을 오프라인으로 배포할 수 있습니다.

Roboflow Enterprise 고객을 위한 오프라인 모드는 당사의 Docker 컨테이너 사용을 요구합니다.

Roboflow Enterprise 고객은 온디바이스 추론 서버인 Roboflow Inference를 구성하여 가중치를 최대 30일 동안 캐시하도록 설정할 수 있습니다.

이를 통해 모델을 완전히 에어갭 상태로 실행하거나 인터넷 연결이 쉽게 제공되지 않는 장소에서 실행할 수 있습니다.

모델을 오프라인으로 실행하려면 다음이 필요합니다:

1. Docker 볼륨을 생성하고 다음에 연결하세요 /tmp/cache 귀하의 Inference Server에서.

2. Docker로 Roboflow Inference 서버를 시작하세요.

3. 서버를 통해 모델에 요청을 보내면 모델 가중치 다운로드 및 캐시 프로세스가 시작됩니다. 이 단계에서는 인터넷 연결이 필요합니다.

가중치가 캐시되면 로컬에서 이를 사용할 수 있습니다.

아래에는 CPU부터 GPU까지 다양한 장치 유형에서 모델을 오프라인으로 실행하는 방법에 대한 지침을 제공합니다.

CPU

이미지: roboflow / roboflow-inference-server-cpu

캐시 볼륨을 사용하는 경우 비우세요:
sudo docker run --net=host --env LICENSE_SERVER=10.0.1.1 --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-cpu

GPU

GPU 컨테이너를 사용하려면 먼저 다음을 설치해야 합니다 nvidia-container-runtime.

이미지: roboflow / roboflow-inference-server-gpu

캐시 볼륨을 사용하는 경우 비우세요:
docker run -it --rm -p 9001:9001 --gpus all --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-gpu

Jetson 4.5

귀하의 Jetson Jetpack 4.5에는 이미 다음이 설치되어 있습니다 https://github.com/NVIDIA/nvidia-container-runtime 설치되어 있습니다.

이미지: roboflow/roboflow-inference-server-jetson-4.5.0

캐시 볼륨을 사용하는 경우 비우세요:
docker run -it --rm -p 9001:9001 --runtime=nvidia --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-jetson-4.5.0

Jetson 4.6

귀하의 Jetson Jetpack 4.6에는 이미 다음이 설치되어 있습니다 https://github.com/NVIDIA/nvidia-container-runtime 설치되어 있습니다.

이미지: roboflow/roboflow-inference-server-jetson-4.6.1

캐시 볼륨을 사용하는 경우 비우세요:
docker run -it --rm -p 9001:9001 --runtime=nvidia --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-jetson-4.6.1

Jetson 5.1

귀하의 Jetson Jetpack 5.1에는 이미 다음이 설치되어 있습니다 https://github.com/NVIDIA/nvidia-container-runtime 설치되어 있습니다.

이미지: roboflow/roboflow-inference-server-jetson-5.1.1

캐시 볼륨을 사용하는 경우 비우세요:
docker run -it --rm -p 9001:9001 --runtime=nvidia --mount source=roboflow,target=/tmp/cache roboflow/roboflow-inference-server-jetson-5.1.1

docker-compose up

로컬 캐싱으로 Inference 서버를 설정하면 인터넷 연결 없이 이미지와 비디오 프레임에서 모델을 실행할 수 있습니다.

다음을 참조하세요 "Predict on an Image Over HTTP" Inference 문서에서 모델을 실행하는 방법에 대한 지침을 확인하세요.

Inference 결과

가중치는 SSL 암호화를 통해(구성한 경우 License Server를 통해) 인터넷을 통해 귀하의 Roboflow 계정에서 로드되어 Docker 볼륨에 최대 30일 동안 안전하게 저장됩니다.

귀하의 추론 결과에는 새로운 expiration 키가 포함되어 있어 Inference Server가 가중치에 대한 사용권을 인터넷 또는 License Server 연결을 통해 갱신하기 전까지 얼마나 오랫동안 예측을 제공할 수 있는지 판단하는 데 사용할 수 있습니다. 가중치 만료 날짜가 7일 미만으로 떨어지면 Inference Server는 Roboflow API에 성공적으로 연결될 때까지 가중치 사용권을 시간당 한 번씩 갱신하려 시도하기 시작합니다.

사용권이 갱신되면 카운터는 30일로 재설정됩니다.

{
    "predictions": [
        {
            "x": 340.9,
            "y": 263.6,
            "width": 284,
            "height": 360,
            "class": "example",
            "confidence": 0.867
        }
    ],
    "expiration": {
        "value": 29.91251408564815,
        "unit": "days"
    }
}

모델을 오프라인으로 배포하는 것에 대해 질문이 있는 경우 안내를 위해 귀하의 Roboflow 담당자에게 문의하십시오.