Serverless Hosted API V2

Roboflow 클라우드의 GPU 가속 인프라에서 Workflows 및 모델 추론을 실행하세요.

Roboflow에 배포된 모델은 이미지를 추론할 수 있는 REST API를 제공합니다. 이 배포 방법은 배포 장치에서 지속적인 인터넷 연결이 있는 환경에 적합합니다.

프로젝트와 연결된 API는 확장 가능합니다: 프로젝트가 성장하고 더 많은 추론 요구가 생기면 API도 함께 확장됩니다.

Serverless Hosted API V2는 당사의 최신 API 제공입니다. V1보다 빠르며 Florence-2 및 SAM-2와 같이 GPU가 필요한 모델과 함께 작동합니다.

워크플로우에서 API 사용

REST API와 함께 사용

벤치마크

Serverless Hosted API V2에 전송된 요청의 종단 간 지연 시간은 여러 요인에 따라 달라집니다:

1. 실행 시간에 영향을 미치는 모델 아키텍처

2. 업로드 시간과 모델 추론 실행 시간에 영향을 미치는 이미지의 크기 및 해상도

3. 요청 업로드 시간과 응답 다운로드 시간에 영향을 미치는 네트워크 지연 및 대역폭

4. 특정 시점에 다른 사용자의 서비스 구독 및 사용으로 인한 큐잉 지연

아래 표에는 Serverless Hosted API V2와 Hosted API V1에서 수행된 일부 대표적인 벤치마크를 보여줍니다. Serverless Hosted API V2와 Hosted Inference (V1)의 결과는 종단 간 지연 시간(E2E)과 실행 시간(Exec)을 나타냅니다. 이 수치는 참고용이며, 사용자가 당사의 추론 벤치마크 도구 또는 자체 커스텀 벤치마크를 사용하여 직접 벤치마크를 수행할 것을 권장합니다.

모델	V2 (E2E)	V2 (Exec)	V1 (E2E)	V1 (Exec)
yolov8x-640	401 ms	29 ms	4084 ms	821 ms
yolov8m-640	757 ms	21 ms	572 ms	265 ms
yolov8n-640	384 ms	17 ms	312 ms	63 ms
yolov8x-1280	483 ms	97 ms	6431 ms	3032 ms
yolov8m-1280	416 ms	52 ms	1841 ms	1006 ms
yolov8n-1280	428 ms	35 ms	464 ms	157 ms

사용자별 실제 사용 사례에 대한 실측치를 얻기 위해 모델 추론 및 워크플로우에 대해 직접 벤치마크를 수행할 것을 권장합니다.

제한 사항

Serverless Hosted API V2의 경우 최대 20MB까지 파일을 업로드할 수 있습니다. 이 API는 새로 출시된 것이므로 고해상도 이미지 사용 시 제한에 직면할 수 있습니다. 문제가 발생하면 엔터프라이즈 지원 담당자에게 연락하거나 다음에 메시지를 게시해 주세요 포럼.

요청이 너무 큰 경우 첨부된 이미지를 축소할 것을 권장합니다. 이미지가 수신된 후 모델 아키텍처가 허용하는 입력 크기로 서버에서 축소되므로 일반적으로 성능 저하로 이어지지 않습니다. Python SDK와 같은 일부 SDK는 이미지를 API로 전송하기 전에 모델 아키텍처의 입력 크기로 자동으로 축소합니다.