(レガシー)Serverless Hosted API
私たちは 推奨します 当社の Serverless Hosted API の V2 を使用することを推奨します。V2 API はより高速です。 新しい API の利用を始めるには、Serverless Hosted API V2 のドキュメントを参照してください。
モデルのサポート
以下のモデルタイプは Serverless Hosted API (v1) でサポートされています:
待ち時間の比較(v1 vs v2)
Serverless Hosted API に送信されるリクエストのエンドツーエンドの待ち時間は、いくつかの要因によって変動します:
実行時間に影響するモデルアーキテクチャ
アップロード時間や実行時のモデル推論時間に影響する画像のサイズと解像度
リクエストのアップロード時間やレスポンスのダウンロード時間に影響するネットワークの待ち時間と帯域幅
特定の時点でのサービスのサブスクリプション状況や他ユーザーによる利用状況(キュー待ち時間が発生する可能性があります)

下の表に v1 と v2 の Serverless Hosted API の代表的なベンチマークを示しています。エンドツーエンド待ち時間(E2E)と実行時間(Exec)の両方を示しています。これらの数値は参考情報であり、ユーザー自身で 当社の推論ベンチマークツール または独自のカスタムベンチマークを使用してベンチマークを行うことを推奨します。
yolov8x-640
401 ms
29 ms
4084 ms
821 ms
yolov8m-640
757 ms
21 ms
572 ms
265 ms
yolov8n-640
384 ms
17 ms
312 ms
63 ms
yolov8x-1280
483 ms
97 ms
6431 ms
3032 ms
yolov8m-1280
416 ms
52 ms
1841 ms
1006 ms
yolov8n-1280
428 ms
35 ms
464 ms
157 ms
ユーザーには、モデル推論やワークフローについて独自のベンチマークを実行し、特定のユースケースにおける実測値を取得することを推奨します。
制限
Serverless Hosted API (v1) は、特定のタスクタイプに関わらず、最大 5MB までのファイルを受け付けます。この制限には、画像ファイルのサイズに加え、添付されたリクエスト情報なども含まれますが、これらに限定されません。
リクエストが大きすぎる場合は、添付画像を縮小することを推奨します。通常、サーバーで受信後にモデルアーキテクチャの入力サイズに合わせて画像を縮小するため、縮小によって性能が大きく低下することはありません。 Python SDK のような一部の SDK は、API に送信する前に画像を自動的にモデルアーキテクチャの入力サイズに縮小します。
Last updated
Was this helpful?