(Legacy) Serverless Hosted API

私たちは 推奨します Serverless Hosted API の V2 を使用することを。V2 API はより高速です。 新しい API を使い始めるには、Serverless Hosted API V2 のドキュメントを参照してください。

モデルのサポート

以下のモデルタイプは Serverless Hosted API (v1) でサポートされています:

タスクタイプ	Hosted API (v1) でサポートされています
オブジェクト検出	✅
分類	✅
インスタンスセグメンテーション	✅
セマンティックセグメンテーション	✅
Keypoint Detection	✅

レイテンシ比較 (v1 vs v2)

Serverless Hosted API に送信されたリクエストのエンドツーエンドのレイテンシは、いくつかの要因に依存します:

1. モデルアーキテクチャ。これは実行時間に影響します

2. 画像のサイズと解像度。これはアップロード時間と実行中のモデル推論時間に影響します

3. ネットワークのレイテンシと帯域幅。これはリクエストのアップロード時間とレスポンスのダウンロード時間に影響します。

4. サービスのサブスクリプション状況や特定の時点での他ユーザーによる利用状況。これによりキューイングのレイテンシが発生する場合があります

下の表では、v1 と v2 の Serverless Hosted API の代表的なベンチマークを示しています。エンドツーエンドのレイテンシ (E2E) と実行時間 (Exec) の両方を示しています。これらの数値は参考値です。ユーザーご自身で以下を使用してベンチマークを実施することをお勧めします 弊社の inference benchmark tools または独自のカスタムベンチマーク。

モデル	V2 (E2E)	V2 (Exec)	V1 (E2E)	V1 (Exec)
yolov8x-640	401 ms	29 ms	4084 ms	821 ms
yolov8m-640	757 ms	21 ms	572 ms	265 ms
yolov8n-640	384 ms	17 ms	312 ms	63 ms
yolov8x-1280	483 ms	97 ms	6431 ms	3032 ms
yolov8m-1280	416 ms	52 ms	1841 ms	1006 ms
yolov8n-1280	428 ms	35 ms	464 ms	157 ms

各自のモデル推論とワークフローについて独自にベンチマークを実施し、各ユースケースにおける実際の指標を把握することを推奨します。

制限

Serverless Hosted API (v1) は、具体的なタスク種別にかかわらず、最大 5MB のファイルを受け付けます。この制限には、画像ファイルサイズに加え、添付されたリクエスト情報なども含まれますが、これらに限定されません。

リクエストが大きすぎる場合は、添付画像のサイズを縮小することを推奨します。通常、画像はサーバーで受信された後に、モデルアーキテクチャが受け付ける入力サイズまでいずれにせよ縮小されるため、性能が悪化することはありません。 Python SDK など一部の SDK では、API に送信する前に画像をモデルアーキテクチャの入力サイズまで自動的に縮小します。