# Azure Blob Storage

Azure Blob Storage に画像データを保存し、Roboflow にアップロードする場合、一般的には 2 つの選択肢があります。署名付き URL を使用するか、Azure CLI を介して画像をローカルに手動でダウンロードしてからローカルにアップロードする方法です。どちらの方法を選ぶかは、データ処理と管理に関する具体的なニーズによって異なります。

* **Signed URL**: この方法は、画像をローカルマシンにダウンロードするための追加の手順と時間を避けたい場合に特に有利です。署名付き URL を使えば、画像データを Azure Blob Storage から Roboflow API に直接アップロードでき、ローカルに保存する必要がまったくありません。これにより、処理が高速になり、ローカルシステムへの負荷も軽減されます。
* **CLI でローカルに**：まず画像をローカル環境にダウンロードしたい、というケースもあるかもしれません。たとえば、Roboflow にアップロードする前に画像を前処理したり、手動で確認したりする必要がある場合は、ローカルコピーがあると便利です。

適切な方法の選択は、データ転送速度、前処理の必要性、画像の手動確認など、具体的なユースケース要件によって決まります。

### Azure Connection String

Storage Account を作成した後、Azure ポータルの「Security + networking」配下にある「Access keys」セクションで、アクセスキーまたは connection string を確認できます。これらの認証情報は、アプリケーションを認証するために使用されます。

### オプション 1: Signed URL 経由でアップロード:

Python の Azure SDK を使用して、Azure Blob Storage 内の画像に対する signed URL を生成できます。

```python
def get_blob_sas_url(blob_service_client, container_name: str, blob_name: str) -> str:
    """Azure Blob の SAS URL を生成します。"""
    from azure.storage.blob import generate_blob_sas, BlobSasPermissions
    from datetime import datetime, timedelta

    sas_token = generate_blob_sas(
        blob_service_client.account_name,
        container_name,
        blob_name,
        account_key=blob_service_client.credential.account_key,
        permission=BlobSasPermissions(read=True),
        expiry=datetime.utcnow() + timedelta(hours=1)
    )
    
    blob_url = f"https://{blob_service_client.account_name}.blob.core.windows.net/{container_name}/{blob_name}?{sas_token}"
    return blob_url
```

上のコードスニペットでは、blob service client、container name、そして blob name が必要です。画像の署名付き URL が生成され、返されます。

これを基にすると、Azure Blob Storage 内の利用可能なすべてのオブジェクトを取得し、その後 API 経由で Roboflow にアップロードする完全なソリューションを生成できます。このソリューションの概要を以下に示します:

```python
from azure.storage.blob import BlobServiceClient
import requests
import urllib.parse

# ************* 以下の変数を設定してください *************
AZURE_CONNECTION_STRING = "YOUR_AZURE_CONNECTION_STRING"
AZURE_CONTAINER_NAME = "YOUR_AZURE_CONTAINER_NAME"
ROBOFLOW_API_KEY = "YOUR_ROBOFLOW_API_KEY"
ROBOFLOW_PROJECT_NAME = "YOUR_ROBOFLOW_PROJECT_NAME"
# ***********************************************

def get_blob_sas_url(blob_service_client, container_name: str, blob_name: str) -> str:
    """Azure Blob の SAS URL を生成します。"""
    from azure.storage.blob import generate_blob_sas, BlobSasPermissions
    from datetime import datetime, timedelta

    sas_token = generate_blob_sas(
        blob_service_client.account_name,
        container_name,
        blob_name,
        account_key=blob_service_client.credential.account_key,
        permission=BlobSasPermissions(read=True),
        expiry=datetime.utcnow() + timedelta(hours=1)
    )
    
    blob_url = f"https://{blob_service_client.account_name}.blob.core.windows.net/{container_name}/{blob_name}?{sas_token}"
    return blob_url

def get_azure_blob_objects(container_name: str) -> list:
    """指定された Azure Blob コンテナー内の blob 名の一覧を取得します。"""
    blob_service_client = BlobServiceClient.from_connection_string(AZURE_CONNECTION_STRING)
    container_client = blob_service_client.get_container_client(container_name)
    
    blobs = []
    blob_list = container_client.list_blobs()
    for blob in blob_list:
        blobs.append(blob.name)
    return blobs

def upload_to_roboflow(api_key: str, project_name: str, presigned_url: str, img_name='', split="train"):
    """画像を Roboflow にアップロードします。"""
    API_URL = "https://api.roboflow.com"
    if img_name == '':
        img_name = presigned_url.split("/")[-1]

    upload_url = "".join([
        API_URL + "/dataset/" + project_name + "/upload",
        "?api_key=" + api_key,
        "&name=" + img_name,
        "&split=" + split,
        "&image=" + urllib.parse.quote_plus(presigned_url),
    ])
    response = requests.post(upload_url)

    # レスポンスコードを確認
    if response.status_code == 200:
        print(f"{img_name} を {project_name} に正常にアップロードしました")
        return True
    else:
        print(f"{img_name} のアップロードに失敗しました。エラー: {response.content.decode('utf-8')}")
        return False

if __name__ == "__main__":
    # 利用可能な blob の一覧を取得
    available_blobs = get_azure_blob_objects(AZURE_CONTAINER_NAME)
    
    # オプション: ここで blob をフィルタリング
    # 例: available_blobs = [blob for blob in available_blobs if "some_condition"]
    
    # Azure Blob Service Client を初期化
    blob_service_client = BlobServiceClient.from_connection_string(AZURE_CONNECTION_STRING)
    
    # blob を Roboflow にアップロード
    for blob in available_blobs:
        blob_url = get_blob_sas_url(blob_service_client, AZURE_CONTAINER_NAME, blob)
        upload_to_roboflow(ROBOFLOW_API_KEY, ROBOFLOW_PROJECT_NAME, blob_url)

```

### オプション 2: Azure からデータをローカルにダウンロード

まず、 `azcopy` コマンドラインユーティリティをインストールします。このユーティリティを使うと、Azure Storage からファイルやフォルダーをダウンロードできます。その後、 [Shared Access Signature](https://learn.microsoft.com/en-us/azure/storage/common/storage-sas-overview) トークンを使用して Azure アカウントで認証します。についての詳細は、 [SAS トークンの取得方法](https://learn.microsoft.com/en-us/azure/storage/common/storage-sas-overview) を azcopy のドキュメントで確認できます。

一度 `azcopy` セットアップしたら、次のコマンドを実行してファイルまたはフォルダーをダウンロードします:

```bash
azcopy copy "C:\local\path" <sas-token> --recursive=true
```

置き換えてください `C:\local\path` を、ダウンロードしたいフォルダーまたはファイルのパスに置き換えます。認証用の SAS トークンに `<sas-token>` の値を置き換えてください。ファイルやフォルダーを再帰的にダウンロードしたい場合は、上記のように `--recursive=true` 引数を指定します。そうでない場合は、この引数を削除してください。

### データを Roboflow にアップロード

データをダウンロードしたので、今度はそれを Roboflow にアップロードできます。方法は次のいずれかです。 [Upload Web Interface](https://docs.roboflow.com/roboflow/roboflow-jp/datasets/adding-data/..#upload-data-with-the-web-interface) または [Roboflow CLI](https://app.gitbook.com/s/e5GEiPeDoFksvZv1vH3A/command-line-interface/upload-a-dataset).

### も参照してください

* [Roboflow のプロジェクト ID を取得する](https://docs.roboflow.com/api-reference/workspace-and-project-ids)