서버리스 호스팅 API V2

Roboflow 클라우드에서 GPU 가속 인프라로 워크플로우 및 모델 추론을 실행하세요.

Roboflow에 배포된 모델은 REST API를 통해 이미지를 추론할 수 있습니다. 이 배포 방식은 배포 장치에 지속적인 인터넷 연결이 있는 환경에 이상적입니다.

프로젝트와 연결된 API는 사용자의 성장에 맞춰 확장됩니다. 프로젝트가 커지고 더 많은 추론이 필요해질수록 API도 함께 성장합니다.

Serverless Hosted API V2는 저희의 최신 API입니다. V1보다 더 빠르며 Florence-2, SAM-2와 같이 GPU가 필요한 모델과도 작동합니다.

워크플로우에서 API 사용하기

REST API와 함께 사용하기

벤치마크

Serverless Hosted API V2에 전송된 요청의 엔드 투 엔드 지연 시간은 여러 요인에 따라 달라집니다:

1. 모델 아키텍처(구조)는 실행 시간에 영향을 미칩니다.

2. 업로드 시간과 실행 중 모델 추론 시간에 영향을 주는 이미지의 크기와 해상도

3. 네트워크 지연 및 대역폭은 요청 업로드 시간과 응답 다운로드 시간에 영향을 미칩니다.

4. 특정 시점에 다른 사용자의 서비스 구독 및 사용량이 큐 대기 지연을 유발할 수 있습니다.

아래 표에는 Serverless Hosted API V2와 Hosted API V1에서 수행된 대표적인 벤치마크 결과를 보여줍니다. Serverless Hosted API V2와 Hosted Inference(V1)의 결과는 엔드 투 엔드 지연 시간(E2E)과 실행 시간(Exec)을 모두 보여줍니다. 이 수치는 참고용이며, 사용자가 직접 저희의 추론 벤치마크 도구 또는 직접 만든 벤치마크를 사용해 테스트하길 권장합니다.

모델	V2 (E2E)	V2 (Exec)	V1 (E2E)	V1 (Exec)
yolov8x-640	401 ms	29 ms	4084 ms	821 ms
yolov8m-640	757 ms	21 ms	572 ms	265 ms
yolov8n-640	384 ms	17 ms	312 ms	63 ms
yolov8x-1280	483 ms	97 ms	6431 ms	3032 ms
yolov8m-1280	416 ms	52 ms	1841 ms	1006 ms
yolov8n-1280	428 ms	35 ms	464 ms	157 ms

사용자들이 자신의 모델 추론 및 워크플로우에 대해 직접 벤치마크를 실행하여 특정 사용 사례에 대한 실제 지표를 얻는 것을 권장합니다.

제한 사항

Serverless Hosted API V2에서는 최대 20MB까지 파일을 업로드할 수 있습니다. 이 API는 새롭게 출시된 것이므로 고해상도 이미지에서는 제한이 있을 수 있습니다. 문제가 발생하면 엔터프라이즈 지원 담당자에게 문의하거나 다음에 메시지를 남겨주세요. 포럼.

요청이 너무 큰 경우, 첨부된 이미지를 축소할 것을 권장합니다. 이는 일반적으로 성능 저하로 이어지지 않습니다. 왜냐하면 서버에서 이미지를 수신한 후에도 모델 아키텍처가 허용하는 입력 크기로 이미지를 축소하기 때문입니다. Python SDK와 같은 일부 SDK는 이미지를 API로 전송하기 전에 자동으로 모델 아키텍처의 입력 크기로 축소합니다.