> ## Documentation Index > Fetch the complete documentation index at: https://private-7c7dfe99-revert-104359-revert-104251-parquet-single.mintlify.site/llms.txt > Use this file to discover all available pages before exploring further. > ClickHouse の HTTP インターフェイスを使用して Azure Data Factory から ClickHouse にデータを取り込む # Azure Data Factory で ClickHouse HTTP インターフェイスを使用する export const Image = ({img, alt, size = "lg"}) => { const normalizedSize = ["sm", "md", "lg"].includes(size) ? size : "lg"; return

; }; [`azureBlobStorage` Table Function](/ja/reference/functions/table-functions/azureBlobStorage) は、Azure Blob Storage から ClickHouse にデータをすばやく手軽に取り込む方法です。ただし、次の理由から常に適しているとは限りません。 * データが Azure Blob Storage に保存されていない場合があります。たとえば、Azure SQL Database、Microsoft SQL Server、または Cosmos DB に保存されている可能性があります。 * セキュリティポリシーにより、Blob Storage への外部アクセスが完全に禁止されている場合があります。たとえば、ストレージアカウントがパブリックエンドポイントなしで厳しく制限されている場合です。このような場合は、Azure Data Factory と [ClickHouse HTTP インターフェイス](/ja/concepts/features/interfaces/http) を組み合わせて使用し、Azure の各種サービスから ClickHouse にデータを送信できます。この方法ではデータの流れが逆になります。つまり、ClickHouse が Azure からデータを取得する代わりに、Azure Data Factory がデータを ClickHouse に送信します。この方法では通常、 ClickHouse インスタンスがパブリックインターネットからアクセス可能である必要があります。 Azure Data Factory のセルフホスト統合ランタイムを使用すれば、 ClickHouse インスタンスをインターネットに公開せずに済みます。この構成では、データをプライベートネットワーク経由で送信できます。ただし、これはこの記事の範囲外です。詳しくは、公式ガイドを参照してください: [セルフホスト統合ランタイムを作成して構成する](https://learn.microsoft.com/en-us/azure/data-factory/create-self-hosted-integration-runtime?tabs=data-factory)

## ClickHouse を REST サービスとして利用する

Azure Data Factory は、HTTP 経由で JSON フォーマットのデータを外部システムに送信できます。この機能を使うと、 [ClickHouse HTTP インターフェイス](/ja/concepts/features/interfaces/http) を使用して ClickHouse に直接データを挿入できます。詳しくは、[ClickHouse HTTP インターフェイスのドキュメント](/ja/concepts/features/interfaces/http) を参照してください。この例では、宛先テーブルを指定し、入力データのフォーマットを JSON に設定し、timestamp のパースをより柔軟に行えるようにするオプションを含めるだけで十分です。 ```sql theme={null} INSERT INTO my_table SETTINGS date_time_input_format='best_effort', input_format_json_read_objects_as_strings=1 FORMAT JSONEachRow ``` このクエリを HTTP リクエストの一部として送信するには、単に ClickHouse エンドポイントのクエリパラメータに URL エンコードされた文字列として渡します: ```text theme={null} https://your-clickhouse-url.com?query=INSERT%20INTO%20my_table%20SETTINGS%20date_time_input_format%3D%27best_effort%27%2C%20input_format_json_read_objects_as_strings%3D1%20FORMAT%20JSONEachRow%0A ``` Azure Data Factory では、組み込みの `encodeUriComponent` 関数でこのエンコードを自動的に処理できるため、手動で行う必要はありません。これで、この URL に JSON 形式のデータを送信できます。データはターゲットテーブルの構造に一致している必要があります。以下は、3 つのカラム `col_1`、`col_2`、`col_3` を持つテーブルを想定した、curl を使った簡単な例です。 ```text theme={null} curl \ -XPOST "https://your-clickhouse-url.com?query=" \ --data '{"col_1":9119,"col_2":50.994,"col_3":"2019-06-01 00:00:00"}' ``` オブジェクトの JSON 配列、または JSON Lines (改行区切りの JSON オブジェクト) を送信することもできます。Azure Data Factory では JSON 配列フォーマットが使用されており、これは ClickHouse の `JSONEachRow` 入力と完全に適合します。ご覧のとおり、このステップでは ClickHouse 側で特別なことをする必要はありません。HTTP インターフェイスには、 REST 風のエンドポイントとして動作するために必要な機能がすでにすべて備わっており、追加の設定は不要です。これで ClickHouse を REST エンドポイントのように動作させられるようになったので、次は Azure Data Factory でこれを利用するように設定します。次のステップでは、Azure Data Factory インスタンスを作成し、ClickHouse インスタンスへの Linked Service を設定し、 [REST sink](https://learn.microsoft.com/en-us/azure/data-factory/connector-rest) 用の Dataset を定義し、Azure から ClickHouse にデータを送信する Copy Data アクティビティを作成します。

## Azure Data Factory インスタンスの作成

このガイドでは、Microsoft Azure アカウントにアクセスでき、すでにサブスクリプションとリソースグループが設定済みであることを前提としています。Azure Data Factory がすでに設定されている場合は、この手順をスキップし、既存のインスタンスを使用して次の手順に進むことができます。 1. [Microsoft Azure Portal](https://portal.azure.com/) にログインし、 **Create a resource** をクリックします。 Azure Portal ホームページ

2. 左側の Categories ペインで **Analytics** を選択し、人気のサービス一覧から **Data Factory** をクリックします。 Azure Portal の新しいリソース

3. サブスクリプションとリソースグループを選択し、新しい Data Factory インスタンスの名前を入力して、リージョンを選択し、バージョンは V2 のままにします。 Azure Portal の新しい Data Factory

4. **Review + Create** をクリックし、続いて **Create** をクリックしてデプロイを開始します。 Azure Portal の新しい Data Factory の確認

デプロイが正常に完了したら、新しい Azure Data Factory インスタンスを使い始めることができます。

## 新しい REST ベースのリンクサービスを作成する

1. Microsoft Azure Portal にログインし、Data Factory インスタンスを開きます。 Data Factory が表示された Azure Portal のホームページ

2. Data Factory の概要ページで、**Launch Studio** をクリックします。 Azure Portal の Data Factory ページ

3. 左側のメニューで **Manage** を選択し、**Linked services** に移動して、 **+ New** をクリックし、新しいリンクサービスを作成します。 Azure Data Factory の新しいリンクサービスボタン

4. **New linked service search bar** に **REST** と入力し、**REST** を選択して **Continue** をクリックすると、 [REST コネクタ](https://learn.microsoft.com/en-us/azure/data-factory/connector-rest) のインスタンスを作成できます。 Azure Data Factory の新しいリンクサービス検索

5. リンクサービスの構成ペインで新しいサービスの名前を入力し、 **Base URL** フィールドをクリックしてから **Add dynamic content** をクリックします (このリンクはフィールドを選択したときにのみ表示されます) 。新しいリンクサービスペイン

6. 動的コンテンツのペインでは、パラメーター化された URL を作成できます。これにより、後で異なるテーブル用のデータセットを作成するときにクエリを定義できるため、リンクサービスを再利用できるようになります。新しいリンクサービスの Base URL が空

7. フィルター入力の横にある **"+"** をクリックして新しいパラメーターを追加し、名前を `pQuery`、型を String、デフォルト値を `SELECT 1` に設定します。 **Save** をクリックします。新しいリンクサービスの Parameters

8. expression フィールドに次を入力して **OK** をクリックします。`your-clickhouse-url.com` は、ご利用の ClickHouse インスタンスの実際のアドレスに置き換えてください。 ```text theme={null} @{concat('https://your-clickhouse-url.com:8443/?query=', encodeUriComponent(linkedService().pQuery))} ``` 値が入力された新しいリンクサービスの Expression Field

9. メインフォームに戻り、basic authentication を選択して、ClickHouse HTTP インターフェイスへの接続に使用する username と password を入力し、**Test connection** をクリックします。すべてが正しく設定されていれば、成功メッセージが表示されます。新しいリンクサービスの接続確認

10. **Create** をクリックして設定を完了します。リンクサービスの一覧

これで、一覧に新しく登録された REST ベースのリンクサービスが表示されます。

## ClickHouse HTTP インターフェイス用の新しいデータセットを作成する

ClickHouse HTTP インターフェイス用のリンクサービスの設定が完了したので、次に、Azure Data Factory がデータを ClickHouse に送信するために使用するデータセットを作成します。この例では、[Environmental Sensors Data](/ja/get-started/sample-datasets/environmental-sensors) の一部のデータを挿入します。 1. 任意の ClickHouse クエリコンソールを開きます。ClickHouse Cloud の web UI、 CLI クライアント、または普段クエリの実行に使用しているその他のインターフェイスのいずれでもかまいません。そこで、ターゲットテーブルを作成します。 ```sql theme={null} CREATE TABLE sensors ( sensor_id UInt16, lat Float32, lon Float32, timestamp DateTime, temperature Float32 ) ENGINE = MergeTree ORDER BY (timestamp, sensor_id); ``` 2. Azure Data Factory Studio で、左側のペインから Author を選択します。Dataset 項目にカーソルを合わせ、三点アイコンをクリックして、New dataset を選択します。新しいデータセット項目

3. 検索バーに **REST** と入力し、**REST** を選択して **Continue** をクリックします。データセット名を入力し、前の手順で作成した **リンクサービス** を選択します。 **OK** をクリックしてデータセットを作成します。新しいデータセットページ

4. 作成したデータセットが、左側の Factory Resources ペインの Datasets セクションに表示されます。データセットを選択して、そのプロパティを開きます。リンクサービスで定義した `pQuery` パラメーターが表示されるので、 **Value** テキストフィールドをクリックし、続いて **Add dynamic** content をクリックします。新しいデータセットのプロパティ

5. 開いたペインに、次のクエリを貼り付けます。 ```sql theme={null} INSERT INTO sensors SETTINGS date_time_input_format=''best_effort'', input_format_json_read_objects_as_strings=1 FORMAT JSONEachRow ``` クエリ内のすべてのシングルクォート `'` は、2 つのシングルクォート `''` に置き換える必要があります。これは Azure Data Factory の式パーサーで必要となるためです。これらをエスケープしないと、すぐにはエラーが表示されないことがありますが、後でデータセットを使用または保存しようとしたときに失敗します。たとえば、`'best_effort'` は `''best_effort''` と記述する必要があります。新しいデータセットクエリ

6. **OK** をクリックして式を保存します。**Test connection** をクリックします。すべてが正しく設定されていれば、Connection successful メッセージが表示されます。ページ上部の **Publish all** をクリックして変更を保存します。新しいデータセット接続成功

### 例として使用するデータセットの準備

この例では、Environmental Sensors Dataset 全体ではなく、 [Sensors Dataset Sample](https://datasets-documentation.s3.eu-west-3.amazonaws.com/environmental/sensors.csv)で公開されているその一部のみを使用します。このガイドでは要点に絞るため、Azure Data Factory でソースデータセットを作成する具体的な手順については説明しません。サンプルデータは任意のストレージサービスにアップロードできます。たとえば、Azure Blob Storage、Microsoft SQL Server、あるいは Azure Data Factory がサポートする別のファイル形式でもかまいません。データセットを Azure Blob Storage (または任意のストレージサービス) にアップロードします。次に、Azure Data Factory Studio で Factory Resources ペインを開きます。アップロードしたデータを参照する新しいデータセットを作成します。変更を保存するには、 Publish all をクリックします。

## ClickHouse にデータを転送するための Copy Activity の作成

入力データセットと出力データセットの設定が完了したので、次に **Copy Data** アクティビティを設定して、サンプルデータセットから ClickHouse の `sensors` テーブルにデータを転送します。 1. **Azure Data Factory Studio** を開き、**Author** タブに移動します。 **Factory Resources** ペインで **Pipeline** にカーソルを合わせ、三点アイコンをクリックして、**New pipeline** を選択します。 ADF の新しいパイプライン項目

2. **Activities** ペインで **Move and transform** セクションを展開し、 **Copy data** アクティビティをキャンバスにドラッグします。新しい Copy Data 項目

3. **Source** タブを選択し、先ほど作成したソースデータセットを選択します。 Copy Data のソース

4. **Sink** タブに移動し、 `sensors` テーブル用に作成した ClickHouse データセットを選択します。**Request method** は POST に設定します。**HTTP compression type** が **None** に設定されていることを確認してください。 HTTP 圧縮は、Azure Data Factory の Copy Data アクティビティでは正しく動作しません。有効にすると、Azure は 0 バイトだけの payload を送信します。これはおそらくサービス側のバグです。圧縮は必ず無効のままにしてください。デフォルトのバッチサイズ 10,000 のままにするか、さらに大きくすることを推奨します。詳しくは、 [Selecting an Insert Strategy / Batch inserts if synchronous](/ja/concepts/best-practices/selecting-an-insert-strategy#batch-inserts-if-synchronous) を参照してください。 POST を選択した Copy Data のシンク

5. キャンバス上部の **Debug** をクリックして、パイプラインを実行します。しばらくすると、アクティビティがキューに入り実行されます。すべてが正しく設定されていれば、タスクは **Success** ステータスで完了するはずです。 Copy Data の Debug 成功

6. 完了したら、**Publish all** をクリックして、パイプラインとデータセットの変更を保存します。

## 追加リソース

* [HTTP インターフェイス](/ja/concepts/features/interfaces/http) * [Azure Data Factory を使用して REST エンドポイントとの間でデータをコピーおよび変換する](https://learn.microsoft.com/en-us/azure/data-factory/connector-rest?tabs=data-factory) * [挿入戦略を選択する](/ja/concepts/best-practices/selecting-an-insert-strategy) * [セルフホスト統合ランタイムを作成して構成する](https://learn.microsoft.com/en-us/azure/data-factory/create-self-hosted-integration-runtime?tabs=data-factory)