Inference Server
Inference Server とは何か、Docker と Inference CLI での起動方法、組み込みの JupyterLab ノートブックの開き方。
最終更新
役に立ちましたか？
Inference Server とは何か、Docker と Inference CLI での起動方法、組み込みの JupyterLab ノートブックの開き方。
推論サーバーは、次をラップするスタンドアロンのマイクロサービスです。 推論 Python パッケージ。画像用の HTTP エンドポイントと、動画ストリーム用の WebRTC エンドポイントを公開します。1つのサーバーで複数のクライアントにサービスを提供し、同じモデルと Workflows Roboflow のホスト型 API と同様です。セルフホストする推奨方法です。参照 方法を選ぶ ライブラリを直接実行する場合との比較については、
自分のハードウェア（Raspberry Pi、NVIDIA GPU、NVIDIA Jetson、または通常のサーバー）でサーバーをセルフホストするには、 Docker、または ご自身の AWS、GCP、または Azure アカウント。Roboflow は同じサーバーを次のものとしても提供しています。 サーバーレス Cloud API および 専用デプロイメント：参照 デプロイメントオプションの選択.
どちらを選んでも、次を通じてやり取りします。 Inference SDK、なぜなら両者は 1 つのインターフェースを共有しているからです。違うのは api_url だけです。
始める前に、 Docker がインストールされている ことを確認してください。Inference Server を起動する最も簡単な方法は、次を使うことです。 Inference CLI:
pip install inference-cli && inference server startこれにより、お使いのマシンに適した Docker イメージが依存関係をあらかじめインストールした状態で取得され、Inference Server がポート 9001 で起動します。サーバーの状態は次で確認できます：
inference server statusinference server start は docker run 内部で、推奨されるセキュリティ設定、キャッシュ、プラットフォーム固有のオプションを使用して実行されます。
コンテナを自分で起動したい場合は、お使いのプラットフォームのインストールガイドの「Manually starting the container」セクションを参照してください：
コンテナの設定は環境変数で制御されます。参照： Docker の設定オプション および完全な 環境変数リファレンス.
Inference Server には組み込みの JupyterLab 環境が付属しており、開発およびテスト中に試す最も速い方法です。既定では無効になっているため、サーバーを次で起動してください： --dev フラグを付けて有効にします：
次に開いてください http://localhost:9001 をブラウザーで開くと、リソース、サンプル、組み込みの JupyterLab 環境へのリンクがある Inference のランディングページが表示されます。"Jump Into an Inference Enabled Notebook" を選択すると、JupyterLab が新しいタブで開きます。サンプルノートブックと、Inference の実行に必要なすべての依存関係があらかじめ読み込まれています。
「 --dev ノートブック環境はローカル開発向けです。信頼できないネットワークから到達可能なサーバーでは有効にしないでください。参照： セルフホストサーバーの保護.
Inference SDK の WebRTC クライアントを使って、Web カメラ、カメラ映像、動画ファイルをモデルまたは Workflow 経由でストリーミングします：
設定します api_url="http://localhost:9001" を指定して InferenceHTTPClient。詳細は WebRTC ストリーミング モデルおよび Workflow の例については、または次に従ってください： Workflows による動画処理 タスクベースのガイドを参照してください。
最終更新
役に立ちましたか？
役に立ちましたか？
pip install inference-cli
inference server start --devpip install "inference-sdk[webrtc]"