Ctrlk
Sign InBook a DemoGet Started
For the complete documentation index, see llms.txt. This page is also available as Markdown.

Inference Server 제어

inference server 명령으로 로컬 Roboflow Inference Server를 시작, 구성, 검사, 중지하세요.

해당 추론 서버 명령은 Inference를 제공하는 HTTP 서버 주변에 제어 계층을 제공합니다.

명령의 세부 정보를 보려면 다음을 실행하세요:

inference server --help

각 하위 명령에 대한 도움말 가이드도 사용할 수 있습니다:

inference server start --help

inference server start

로컬 Inference Server를 시작합니다. 선택적으로 포트 번호를 받을 수 있으며(기본값은 9001), 해당 포트에서 이미 실행 중인 컨테이너가 없을 때만 Docker 컨테이너를 시작합니다.

Google Cloud 또는 Amazon Cloud의 가상 머신에서 서버를 실행하려면 다음을 참조하세요: 클라우드에 배포.

시작하기 전에 머신에 Docker가 설치되어 있는지 확인하세요. Docker는 컨테이너화된 환경을 제공하여 호스트 시스템과 관계없이 Inference Server를 일관되고 격리된 방식으로 실행할 수 있게 해줍니다. 아직 Docker를 설치하지 않았다면 다음에서 받을 수 있습니다: Docker 공식 웹사이트.

CLI는 실행 중인 장치를 자동으로 감지하고 적절한 Docker 이미지를 가져옵니다.

inference server start --port 9001 [-e {optional_path_to_file_with_env_variables}]

매개변수 --env-file (또는 -e)는 다음의 선택적 경로입니다. .env 파일이며, 내부 매개변수의 값을 조정해야 할 때 Inference Server에 로드됩니다. 명령 매개변수로 명시적으로 전달된 값은 더 우선순위가 높은 것으로 간주되며, 동일한 대상 변수 이름 아래에 정의된 .env 파일의 값을 덮어씁니다.

볼륨 마운트

다음을 사용하세요: --volume (또는 -v) 플래그를 사용하여 호스트 디렉터리를 컨테이너에 마운트합니다. 이는 Workflows가 기록한 파일을(예: local_file_sink 블록을 통해) 로컬 머신에 유지하는 데 유용합니다.

inference server start --volume /host/path:/container/path

플래그를 반복하여 여러 볼륨을 마운트할 수 있습니다:

선택적인 :ro 접미사는 볼륨을 읽기 전용으로 마운트합니다. 생략하면 볼륨은 읽기-쓰기 모드로 마운트됩니다.

개발 모드

다음을 사용하세요: --dev 플래그를 사용하여 Inference Server를 개발 모드로 시작합니다. 개발 모드에서는 손쉬운 테스트와 개발을 위해 Inference Server의 내장 노트북 환경을 사용할 수 있습니다.

다음을 방문하세요: localhost:9001 브라우저에서 Inference 랜딩 페이지를 확인하세요. 여기에는 리소스와 예제가 연결되어 있습니다. 랜딩 페이지에서 "Jump Into an Inference Enabled Notebook"을 선택하면 새 탭에서 내장 JupyterLab 환경이 열립니다. 예제 노트북과 Inference를 실행하는 데 필요한 모든 종속성이 미리 로드되어 있습니다.

터널

다음을 사용하세요: --tunnel 플래그를 사용하여 TLS가 활성화된 엔드포인트에서 외부 요청에 추론을 노출하는 터널과 함께 Inference Server를 시작합니다.

랜덤으로 생성된 주소는 서버 시작 출력에 표시됩니다:

inference server status

로컬 Inference Server의 상태를 확인합니다.

inference server stop

Inference Server를 중지합니다.

이전예측 만들기다음워크플로우 실행

마지막 업데이트

도움이 되었나요?