(レガシー)Serverless Hosted API

circle-info

私たちは 推奨します 当社の Serverless Hosted API の V2 を使用することを推奨します。V2 API はより高速です。 新しい API の利用を始めるには、Serverless Hosted API V2 のドキュメントを参照してください。

モデルのサポート

以下のモデルタイプは Serverless Hosted API (v1) でサポートされています:

待ち時間の比較(v1 vs v2)

Serverless Hosted API に送信されるリクエストのエンドツーエンドの待ち時間は、いくつかの要因によって変動します:

  1. 実行時間に影響するモデルアーキテクチャ

  2. アップロード時間や実行時のモデル推論時間に影響する画像のサイズと解像度

  3. リクエストのアップロード時間やレスポンスのダウンロード時間に影響するネットワークの待ち時間と帯域幅

  4. 特定の時点でのサービスのサブスクリプション状況や他ユーザーによる利用状況(キュー待ち時間が発生する可能性があります)

下の表に v1 と v2 の Serverless Hosted API の代表的なベンチマークを示しています。エンドツーエンド待ち時間(E2E)と実行時間(Exec)の両方を示しています。これらの数値は参考情報であり、ユーザー自身で 当社の推論ベンチマークツールarrow-up-right または独自のカスタムベンチマークを使用してベンチマークを行うことを推奨します。

モデル
V2(E2E)
V2(Exec)
V1(E2E)
V1(Exec)

yolov8x-640

401 ms

29 ms

4084 ms

821 ms

yolov8m-640

757 ms

21 ms

572 ms

265 ms

yolov8n-640

384 ms

17 ms

312 ms

63 ms

yolov8x-1280

483 ms

97 ms

6431 ms

3032 ms

yolov8m-1280

416 ms

52 ms

1841 ms

1006 ms

yolov8n-1280

428 ms

35 ms

464 ms

157 ms

ユーザーには、モデル推論やワークフローについて独自のベンチマークを実行し、特定のユースケースにおける実測値を取得することを推奨します。

制限

Serverless Hosted API (v1) は、特定のタスクタイプに関わらず、最大 5MB までのファイルを受け付けます。この制限には、画像ファイルのサイズに加え、添付されたリクエスト情報なども含まれますが、これらに限定されません。

circle-info

リクエストが大きすぎる場合は、添付画像を縮小することを推奨します。通常、サーバーで受信後にモデルアーキテクチャの入力サイズに合わせて画像を縮小するため、縮小によって性能が大きく低下することはありません。 Python SDK のような一部の SDK は、API に送信する前に画像を自動的にモデルアーキテクチャの入力サイズに縮小します。

Last updated

Was this helpful?