Serverless Hosted API V2

Roboflow 클라우드의 GPU 가속 인프라에서 Workflow 및 모델 추론을 실행하세요.

Roboflow에 배포된 모델에는 이미지를 대상으로 추론을 실행할 수 있는 REST API가 제공됩니다. 이 배포 방법은 배포 장치에서 지속적인 인터넷 연결이 있는 환경에 적합합니다.

프로젝트와 연결된 API는 확장됩니다: 프로젝트가 성장하고 더 많은 추론 요구가 생기면 API도 함께 확장됩니다.

Serverless Hosted API V2는 저희의 최신 API 제공입니다. V1보다 빠르며 Florence-2 및 SAM-2와 같이 GPU가 필요한 모델에서 작동합니다.

Workflow에서 API 사용

REST API와 함께 사용

벤치마크

Serverless Hosted API V2에 전송된 요청의 끝에서 끝까지 지연 시간은 여러 요인에 따라 달라집니다:

1. 실행 시간에 영향을 미치는 모델 아키텍처

2. 업로드 시간과 실행 중 모델 추론 시간에 영향을 미치는 이미지의 크기 및 해상도

3. 요청 업로드 시간과 응답 다운로드 시간에 영향을 미치는 네트워크 지연 및 대역폭.

4. 특정 시점에 다른 사용자의 서비스 구독 및 사용으로 인해 대기 지연이 발생할 수 있음

아래 표에는 Serverless Hosted API V2 및 Hosted API V1에서 수행된 대표적인 벤치마크를 일부 보여줍니다. Serverless Hosted API V2와 Hosted Inference (V1)의 결과는 끝에서 끝까지 지연 시간(E2E)과 실행 시간(Exec)을 보여줍니다. 이 수치들은 참고용이며, 사용자가 저희의 추론 벤치마크 도구 또는 자체 커스텀 벤치마크를 사용하여 직접 벤치마크를 수행할 것을 권장합니다.

모델	V2 (E2E)	V2 (Exec)	V1 (E2E)	V1 (Exec)
yolov8x-640	401 ms	29 ms	4084 ms	821 ms
yolov8m-640	757 ms	21 ms	572 ms	265 ms
yolov8n-640	384 ms	17 ms	312 ms	63 ms
yolov8x-1280	483 ms	97 ms	6431 ms	3032 ms
yolov8m-1280	416 ms	52 ms	1841 ms	1006 ms
yolov8n-1280	428 ms	35 ms	464 ms	157 ms

사용자는 모델 추론 및 Workflow에 대해 자체 벤치마크를 실행하여 특정 사용 사례에 대한 실제 지표를 얻는 것을 권장합니다.

제한

Serverless Hosted API V2의 경우 파일을 최대 20MB까지 업로드할 수 있습니다. 이 API는 새 버전이므로 고해상도 이미지에서 제한이 발생할 수 있습니다. 문제가 발생하면 엔터프라이즈 지원 담당자에게 연락하거나 다음에 메시지를 게시해 주세요 포럼.

요청이 너무 큰 경우 첨부된 이미지를 축소할 것을 권장합니다. 이미지는 수신 후 모델 아키텍처가 허용하는 입력 크기로 어쨌든 축소되므로 대개 성능 저하가 발생하지 않습니다. Python SDK와 같은 일부 SDK는 이미지를 API로 전송하기 전에 모델 아키텍처의 입력 크기로 자동으로 축소합니다.