서버리스 호스팅 API V2

Roboflow 클라우드에서 GPU 가속 인프라로 워크플로우 및 모델 추론을 실행하세요.

Roboflow에 배포된 모델은 REST API를 통해 이미지를 추론할 수 있습니다. 이 배포 방식은 배포 장치에 지속적인 인터넷 연결이 있는 환경에 이상적입니다.

프로젝트와 연결된 API는 프로젝트가 성장하고 더 많은 추론이 필요해질수록 함께 확장됩니다.

Serverless Hosted API V2는 최신 API 제품입니다. V1보다 빠르며 Florence-2 및 SAM-2와 같이 GPU가 필요한 모델과 함께 사용할 수 있습니다.

Workflow에서 API 사용하기

REST API와 함께 사용하기

벤치마크

Serverless Hosted API V2로 전송된 요청의 엔드 투 엔드 지연 시간은 여러 요인에 따라 달라집니다:

1. 실행 시간에 영향을 미치는 모델 아키텍처

2. 업로드 시간과 실행 중 모델 추론 시간에 영향을 주는 이미지의 크기와 해상도

3. 요청 업로드 시간과 응답 다운로드 시간에 영향을 주는 네트워크 지연 및 대역폭

4. 특정 시점에 다른 사용자의 서비스 구독 및 사용량으로 인해 발생할 수 있는 대기 지연

아래 표에는 Serverless Hosted API V2와 Hosted API V1에서 수행된 대표적인 벤치마크 결과를 보여줍니다. Serverless Hosted API V2와 Hosted Inference(V1)의 결과는 엔드 투 엔드 지연 시간(E2E)과 실행 시간(Exec)을 모두 보여줍니다. 이 수치는 참고용이며, 사용자가 직접 벤치마크를 수행할 것을 권장합니다. 우리의 추론 벤치마크 도구 또는 사용자 맞춤 벤치마크.

모델	V2 (E2E)	V2 (Exec)	V1 (E2E)	V1 (Exec)
yolov8x-640	401 ms	29 ms	4084 ms	821 ms
yolov8m-640	757 ms	21 ms	572 ms	265 ms
yolov8n-640	384 ms	17 ms	312 ms	63 ms
yolov8x-1280	483 ms	97 ms	6431 ms	3032 ms
yolov8m-1280	416 ms	52 ms	1841 ms	1006 ms
yolov8n-1280	428 ms	35 ms	464 ms	157 ms

사용자들이 자신의 모델 추론 및 Workflow에 대해 직접 벤치마크를 실행하여 특정 사용 사례에 대한 실제 지표를 얻는 것을 권장합니다.

제한 사항

Serverless Hosted API V2에서는 최대 20MB까지 파일을 업로드할 수 있습니다. 이 API는 새로운 버전이므로 고해상도 이미지에서는 제한이 있을 수 있습니다. 문제가 발생할 경우, 엔터프라이즈 지원 담당자에게 문의하거나 다음에 메시지를 남겨주세요. 포럼.

요청이 너무 큰 경우에는 첨부된 이미지를 축소할 것을 권장합니다. 서버에서 이미지를 수신한 후 모델 아키텍처가 허용하는 입력 크기로 이미지를 축소하므로, 일반적으로 성능 저하가 발생하지 않습니다. Python SDK와 같은 일부 SDK는 이미지를 API로 전송하기 전에 모델 아키텍처의 입력 크기로 자동으로 축소합니다.