For the complete documentation index, see llms.txt. This page is also available as Markdown.

Inference Server는 기본적으로 localhost에 바인딩됩니다

추론 서버 시작 이제 서버 포트를 다음에 게시합니다 127.0.0.1 모든 네트워크 인터페이스가 아니라 이 기기에서만. CLI로 시작한 서버는 실행 중인 머신에만 응답합니다.

# 새 기본값: 이 기기에서만 접근 가능
추론 서버 시작

# 이전 동작: 이 호스트로 라우팅할 수 있는 모든 머신에서 접근 가능
추론 서버 시작 --bind-address 0.0.0.0

NVIDIA Jetson은 이전 동작을 유지합니다. Jetson 이미지는 다른 머신에서 제어되는 경우가 거의 항상인 헤드리스 엣지 장치이므로, 여전히 다음에 게시됩니다 0.0.0.0 그리고 그들에게는 아무 문제도 없습니다. 또한 Jetson은 기본적으로 네트워크상의 무엇이든 접근할 수 있다는 뜻이므로 - 아래 제어를 적용하거나, 다음으로 제한하세요 --bind-address 127.0.0.1.

왜

자가 호스팅 Inference Server는 기본적으로 인증이 필요 없고, Workflows의 Custom Python 블록을 실행합니다. 이 둘을 합치면 포트에 접근할 수 있는 누구에게나 호스트에서 임의 코드 실행이 가능해집니다 9001. 모든 인터페이스에 게시하면 신뢰할 수 없는 Wi‑Fi를 포함해 로컬 네트워크의 모든 대상에 이를 넘겨주는 셈이었습니다. 이제 루프백이 기본값이므로, 안전한 구성이 아무 생각 없이 얻을 수 있는 구성이 됩니다.

다음에 바인딩하기 전에 0.0.0.0

포트를 노출하는 것은 자체 제어가 필요한 배포를 선택하는 것입니다:

  • 설정하세요 WORKSPACES_WHITELISTED_FOR_LOCAL_DEPLOYMENT, 또는 서버 앞에 자체 인증을 두세요.

  • 설정하세요 ALLOW_CUSTOM_PYTHON_EXECUTION_IN_WORKFLOWS=false Workflows에 정말로 사용자 정의 Python이 필요한 경우가 아니라면.

  • 요청이 호스트를 벗어나면 서버 또는 상위 프록시에서 TLS를 종료하세요.

직접 컨테이너를 시작하는 경우

아무것도 바뀌지 않았고, 바뀔 수도 없습니다: HOST 인터페이스를 선택합니다 컨테이너 내부의, 이는 별도의 네트워크 네임스페이스이므로 이미지가 호스트가 게시하는 것을 제한할 수 없습니다. docker run -p 9001:9001 는 여전히 모든 인터페이스에 게시합니다. 새 동작을 얻으려면 매핑의 호스트 쪽을 명시적으로 바인딩하세요:

다음의 경우 --network host 포트 매핑이 없으므로 대신 다음을 설정하세요 -e HOST=127.0.0.1 . Kubernetes에서는 HOST=0.0.0.0 를 유지하고 Service 유형과 NetworkPolicy로 노출을 제어하세요.

이 변경에서 또한

  • Raspberry Pi 및 기타 CPU/GPU 대상은 새 127.0.0.1 기본값을 사용합니다. Jetson 이미지만 예외입니다.

  • 추론 서버 시작 --tunnel 는 여전히 다음에 게시됩니다 0.0.0.0, 터널이 별도의 컨테이너에서 실행되며 호스트 게이트웨이를 통해 서버에 연결하기 때문입니다. CLI는 이를 수행할 때 알림을 출력합니다.

  • macOS 및 Windows 데스크톱 앱 번들도 바인딩합니다 127.0.0.1 역시. 다음을 설정하여 HOST=0.0.0.0 이전 동작을 복원하세요.

마지막 업데이트

도움이 되었나요?