2.6 KiB
| title | description | keywords | |||||
|---|---|---|---|---|---|---|---|
| オブジェクトストレージからClickHouse Cloudへ | オブジェクトストレージからClickHouse Cloudへのデータ移行 |
|
クラウドオブジェクトストレージからClickHouse Cloudにデータを移動する
<img src={require('./images/object-storage-01.png').default} class="image" alt="セルフマネージドのClickHouseのマイグレーション" style={{width: '90%', padding: '30px'}}/>
クラウドオブジェクトストレージをデータレイクとして使用し、このデータをClickHouse Cloudにインポートしたい場合や、現在のデータベースシステムがデータをクラウドオブジェクトストレージに直接オフロードできる場合、Cloud Object Storageに格納されたデータをClickHouse Cloudのテーブルに移行するために、以下のテーブル関数を使用できます:
現在のデータベースシステムがクラウドオブジェクトストレージにデータを直接オフロードできない場合は、サードパーティのETL/ELTツール や clickhouse-local を使用して、現在のデータベースシステムからクラウドオブジェクトストレージにデータを移動し、その後、第二段階でClickHouse Cloudのテーブルにデータを移行することができます。
これは、データをクラウドオブジェクトストレージにオフロードし、その後ClickHouseにロードするという2段階のプロセスですが、この方法の利点は、クラウドオブジェクトストレージからの高度に並列化された読み込みをサポートする堅牢なClickHouse Cloud により、ペタバイト規模までスケールできることです。また、Parquet のような高度な圧縮フォーマットを活用することもできます。
S3を使用してClickHouse Cloudにデータを取り込む方法を具体的なコード例で示したブログ記事があります。