Merge pull request #72021 from matsumotomiki/translated_ja_docs
add translated Japanese docs
8
docs/ja/_placeholders/api/_invitations-api-reference.md
Normal file
@ -0,0 +1,8 @@
|
|||||||
|
---
|
||||||
|
sidebar_label: 招待
|
||||||
|
title: 招待
|
||||||
|
---
|
||||||
|
|
||||||
|
## すべての招待を一覧表示
|
||||||
|
|
||||||
|
このファイルは、ビルドプロセス中に `clickhouseapi.js` によって生成されます。内容を変更する必要がある場合は、`clickhouseapi.js` を編集してください。
|
9
docs/ja/_placeholders/api/_keys-api-reference.md
Normal file
@ -0,0 +1,9 @@
|
|||||||
|
---
|
||||||
|
sidebar_label: キー
|
||||||
|
title: キー
|
||||||
|
---
|
||||||
|
|
||||||
|
## すべてのキーのリストを取得する
|
||||||
|
|
||||||
|
このファイルは、ビルドプロセス中に `clickhouseapi.js` によって生成されます。
|
||||||
|
内容を変更する必要がある場合は、`clickhouseapi.js` を編集してください。
|
8
docs/ja/_placeholders/api/_members-api-reference.md
Normal file
@ -0,0 +1,8 @@
|
|||||||
|
---
|
||||||
|
sidebar_label: メンバー
|
||||||
|
title: メンバー
|
||||||
|
---
|
||||||
|
|
||||||
|
## 組織メンバーの一覧
|
||||||
|
|
||||||
|
このファイルはビルドプロセス中に`clickhouseapi.js`によって生成されます。内容を変更する必要がある場合は、`clickhouseapi.js`を編集してください。
|
@ -0,0 +1,8 @@
|
|||||||
|
---
|
||||||
|
sidebar_label: 組織
|
||||||
|
title: 組織
|
||||||
|
---
|
||||||
|
|
||||||
|
## 組織の詳細を取得する
|
||||||
|
|
||||||
|
このファイルはビルドプロセス中に `clickhouseapi.js` によって生成されます。内容を変更する必要がある場合は、`clickhouseapi.js` を編集してください。
|
8
docs/ja/_placeholders/api/_services-api-reference.md
Normal file
@ -0,0 +1,8 @@
|
|||||||
|
---
|
||||||
|
sidebar_label: サービス
|
||||||
|
title: サービス
|
||||||
|
---
|
||||||
|
|
||||||
|
## 組織サービスの一覧
|
||||||
|
|
||||||
|
このファイルは、ビルドプロセス中に `clickhouseapi.js` によって生成されます。内容を変更する必要がある場合は、`clickhouseapi.js` を編集してください。
|
8
docs/ja/_placeholders/changelog/_index.md
Normal file
@ -0,0 +1,8 @@
|
|||||||
|
---
|
||||||
|
slug: /ja/whats-new/changelog/
|
||||||
|
sidebar_position: 2
|
||||||
|
sidebar_label: 2024
|
||||||
|
title: 2024 Changelog
|
||||||
|
note: このファイルは `yarn new-build` によって自動生成されます。
|
||||||
|
---
|
||||||
|
|
41
docs/ja/_snippets/_GCS_authentication_and_bucket.md
Normal file
@ -0,0 +1,41 @@
|
|||||||
|
<details><summary>GCS バケットと HMAC キーを作成する</summary>
|
||||||
|
|
||||||
|
### ch_bucket_us_east1
|
||||||
|
|
||||||
|
![バケットを追加](@site/docs/ja/integrations/data-ingestion/s3/images/GCS-bucket-1.png)
|
||||||
|
|
||||||
|
### ch_bucket_us_east4
|
||||||
|
|
||||||
|
![バケットを追加](@site/docs/ja/integrations/data-ingestion/s3/images/GCS-bucket-2.png)
|
||||||
|
|
||||||
|
### アクセスキーを生成する
|
||||||
|
|
||||||
|
### サービスアカウントの HMAC キーとシークレットを作成する
|
||||||
|
|
||||||
|
**Cloud Storage > Settings > Interoperability** を開き、既存の **Access key** を選択するか、**CREATE A KEY FOR A SERVICE ACCOUNT** を選択します。このガイドでは、新しいサービスアカウントの新しいキーを作成する手順を説明します。
|
||||||
|
|
||||||
|
![バケットを追加](@site/docs/ja/integrations/data-ingestion/s3/images/GCS-create-a-service-account-key.png)
|
||||||
|
|
||||||
|
### 新しいサービスアカウントを追加する
|
||||||
|
|
||||||
|
すでにサービスアカウントが存在しないプロジェクトの場合は、**CREATE NEW ACCOUNT** をクリックします。
|
||||||
|
|
||||||
|
![バケットを追加](@site/docs/ja/integrations/data-ingestion/s3/images/GCS-create-service-account-0.png)
|
||||||
|
|
||||||
|
サービスアカウントを作成するには3つのステップがあります。最初のステップでは、アカウントに意味のある名前、ID、説明を付けます。
|
||||||
|
|
||||||
|
![バケットを追加](@site/docs/ja/integrations/data-ingestion/s3/images/GCS-create-service-account-a.png)
|
||||||
|
|
||||||
|
Interoperability 設定ダイアログでは、IAM ロールとして **Storage Object Admin** ロールが推奨されます。ステップ2でそのロールを選択します。
|
||||||
|
|
||||||
|
![バケットを追加](@site/docs/ja/integrations/data-ingestion/s3/images/GCS-create-service-account-2.png)
|
||||||
|
|
||||||
|
ステップ3はオプションであり、このガイドでは使用しません。ポリシーに基づいて、ユーザーにこれらの特権を与えることができます。
|
||||||
|
|
||||||
|
![バケットを追加](@site/docs/ja/integrations/data-ingestion/s3/images/GCS-create-service-account-3.png)
|
||||||
|
|
||||||
|
サービスアカウントの HMAC キーが表示されます。この情報を保存してください。ClickHouse の設定で使用します。
|
||||||
|
|
||||||
|
![バケットを追加](@site/docs/ja/integrations/data-ingestion/s3/images/GCS-guide-key.png)
|
||||||
|
|
||||||
|
</details>
|
132
docs/ja/_snippets/_S3_authentication_and_bucket.md
Normal file
@ -0,0 +1,132 @@
|
|||||||
|
<details><summary>S3バケットとIAMユーザーの作成</summary>
|
||||||
|
|
||||||
|
この記事では、AWS IAMユーザーを設定し、S3バケットを作成し、ClickHouseをそのバケットをS3ディスクとして使用するように設定する基本を説明しています。使用する権限を決定するためにセキュリティチームと協力し、これらを出発点として考えてください。
|
||||||
|
|
||||||
|
### AWS IAMユーザーの作成
|
||||||
|
この手順では、ログインユーザーではなくサービスアカウントユーザーを作成します。
|
||||||
|
1. AWS IAM 管理コンソールにログインします。
|
||||||
|
|
||||||
|
2. 「ユーザー」で、**ユーザーを追加** を選択します。
|
||||||
|
|
||||||
|
![create_iam_user_0](@site/docs/ja/_snippets/images/s3/s3-1.png)
|
||||||
|
|
||||||
|
3. ユーザー名を入力し、資格情報の種類を **アクセスキー - プログラムによるアクセス** に設定し、**次: 権限** を選択します。
|
||||||
|
|
||||||
|
![create_iam_user_1](@site/docs/ja/_snippets/images/s3/s3-2.png)
|
||||||
|
|
||||||
|
4. ユーザーをグループに追加せず、**次: タグ** を選択します。
|
||||||
|
|
||||||
|
![create_iam_user_2](@site/docs/ja/_snippets/images/s3/s3-3.png)
|
||||||
|
|
||||||
|
5. タグを追加する必要がなければ、**次: 確認** を選択します。
|
||||||
|
|
||||||
|
![create_iam_user_3](@site/docs/ja/_snippets/images/s3/s3-4.png)
|
||||||
|
|
||||||
|
6. **ユーザーを作成** を選択します。
|
||||||
|
|
||||||
|
:::note
|
||||||
|
ユーザーに権限がないという警告メッセージは無視できます。次のセクションでバケットに対してユーザーに権限が付与されます。
|
||||||
|
:::
|
||||||
|
|
||||||
|
![create_iam_user_4](@site/docs/ja/_snippets/images/s3/s3-5.png)
|
||||||
|
|
||||||
|
7. ユーザーが作成されました。**表示** をクリックし、アクセスキーとシークレットキーをコピーします。
|
||||||
|
:::note
|
||||||
|
これがシークレットアクセスキーが利用可能な唯一のタイミングですので、キーを別の場所に保存してください。
|
||||||
|
:::
|
||||||
|
|
||||||
|
![create_iam_user_5](@site/docs/ja/_snippets/images/s3/s3-6.png)
|
||||||
|
|
||||||
|
8. 閉じるをクリックし、ユーザー画面でそのユーザーを見つけます。
|
||||||
|
|
||||||
|
![create_iam_user_6](@site/docs/ja/_snippets/images/s3/s3-7.png)
|
||||||
|
|
||||||
|
9. ARN(Amazon Resource Name)をコピーし、バケットのアクセスポリシーを設定する際に使用するために保存します。
|
||||||
|
|
||||||
|
![create_iam_user_7](@site/docs/ja/_snippets/images/s3/s3-8.png)
|
||||||
|
|
||||||
|
### S3バケットの作成
|
||||||
|
1. S3バケットセクションで、**バケットの作成** を選択します。
|
||||||
|
|
||||||
|
![create_s3_bucket_0](@site/docs/ja/_snippets/images/s3/s3-9.png)
|
||||||
|
|
||||||
|
2. バケット名を入力し、他のオプションはデフォルトのままにします。
|
||||||
|
:::note
|
||||||
|
バケット名はAWS全体で一意である必要があります。組織内だけでなく、一意でない場合はエラーが発生します。
|
||||||
|
:::
|
||||||
|
3. `すべてのパブリックアクセスをブロック` を有効のままにします。パブリックアクセスは必要ありません。
|
||||||
|
|
||||||
|
![create_s3_bucket_2](@site/docs/ja/_snippets/images/s3/s3-a.png)
|
||||||
|
|
||||||
|
4. ページの下部にある **バケットの作成** を選択します。
|
||||||
|
|
||||||
|
![create_s3_bucket_3](@site/docs/ja/_snippets/images/s3/s3-b.png)
|
||||||
|
|
||||||
|
5. リンクを選択し、ARNをコピーして、バケットのアクセスポリシーを設定するときに使用するために保存します。
|
||||||
|
|
||||||
|
6. バケットが作成されたら、S3バケットリストで新しいS3バケットを見つけ、リンクを選択します。
|
||||||
|
|
||||||
|
![create_s3_bucket_4](@site/docs/ja/_snippets/images/s3/s3-c.png)
|
||||||
|
|
||||||
|
7. **フォルダを作成** を選択します。
|
||||||
|
|
||||||
|
![create_s3_bucket_5](@site/docs/ja/_snippets/images/s3/s3-d.png)
|
||||||
|
|
||||||
|
8. ClickHouse S3ディスクのターゲットとなるフォルダ名を入力し、**フォルダを作成** を選択します。
|
||||||
|
|
||||||
|
![create_s3_bucket_6](@site/docs/ja/_snippets/images/s3/s3-e.png)
|
||||||
|
|
||||||
|
9. フォルダがバケットリストに表示されるはずです。
|
||||||
|
|
||||||
|
![create_s3_bucket_7](@site/docs/ja/_snippets/images/s3/s3-f.png)
|
||||||
|
|
||||||
|
10. 新しいフォルダのチェックボックスを選択し、**URLをコピー** をクリックします。コピーしたURLは、次のセクションでのClickHouseストレージ設定で使用します。
|
||||||
|
|
||||||
|
![create_s3_bucket_8](@site/docs/ja/_snippets/images/s3/s3-g.png)
|
||||||
|
|
||||||
|
11. **権限** タブを選択し、**バケットポリシー** セクションの **編集** ボタンをクリックします。
|
||||||
|
|
||||||
|
![create_s3_bucket_9](@site/docs/ja/_snippets/images/s3/s3-h.png)
|
||||||
|
|
||||||
|
12. 以下の例のようにバケットポリシーを追加します:
|
||||||
|
```json
|
||||||
|
{
|
||||||
|
"Version": "2012-10-17",
|
||||||
|
"Id": "Policy123456",
|
||||||
|
"Statement": [
|
||||||
|
{
|
||||||
|
"Sid": "abc123",
|
||||||
|
"Effect": "Allow",
|
||||||
|
"Principal": {
|
||||||
|
"AWS": "arn:aws:iam::921234567898:user/mars-s3-user"
|
||||||
|
},
|
||||||
|
"Action": "s3:*",
|
||||||
|
"Resource": [
|
||||||
|
"arn:aws:s3:::mars-doc-test",
|
||||||
|
"arn:aws:s3:::mars-doc-test/*"
|
||||||
|
]
|
||||||
|
}
|
||||||
|
]
|
||||||
|
}
|
||||||
|
```
|
||||||
|
|
||||||
|
```response
|
||||||
|
|パラメータ | 説明 | 例 |
|
||||||
|
|----------|-------------|----------------|
|
||||||
|
|Version | ポリシーインタープリタのバージョン、そのままにしておく | 2012-10-17 |
|
||||||
|
|Sid | ユーザー定義のポリシーID | abc123 |
|
||||||
|
|Effect | ユーザー要求が許可されるか拒否されるか | Allow |
|
||||||
|
|Principal | 許可されるアカウントまたはユーザー | arn:aws:iam::921234567898:user/mars-s3-user |
|
||||||
|
|Action | バケット上で許可される操作| s3:*|
|
||||||
|
|Resource | バケット内で操作が許可されるリソース | "arn:aws:s3:::mars-doc-test", "arn:aws:s3:::mars-doc-test/*" |
|
||||||
|
```
|
||||||
|
|
||||||
|
:::note
|
||||||
|
使用する権限を決定するためにセキュリティチームと協力し、これらを出発点として考えてください。
|
||||||
|
ポリシーと設定の詳細については、AWSドキュメントをご参照ください:
|
||||||
|
https://docs.aws.amazon.com/AmazonS3/latest/userguide/access-policy-language-overview.html
|
||||||
|
:::
|
||||||
|
|
||||||
|
13. ポリシー設定を保存します。
|
||||||
|
|
||||||
|
</details>
|
11
docs/ja/_snippets/_add_remote_ip_access_list_detail.md
Normal file
@ -0,0 +1,11 @@
|
|||||||
|
<details><summary>IPアクセスリストを管理する</summary>
|
||||||
|
|
||||||
|
ClickHouse Cloudのサービスリストから作業するサービスを選択し、**セキュリティ**に切り替えます。IPアクセスリストに、ClickHouse Cloudサービスに接続する必要があるリモートシステムのIPアドレスや範囲が含まれていない場合は、**エントリを追加**して問題を解決できます。
|
||||||
|
|
||||||
|
![サービスがトラフィックを許可しているか確認](@site/docs/ja/_snippets/images/ip-allow-list-check-list.png)
|
||||||
|
|
||||||
|
ClickHouse Cloudサービスに接続する必要がある個別のIPアドレス、またはアドレスの範囲を追加します。フォームを適宜修正し、**エントリを追加**し、**エントリを送信**します。
|
||||||
|
|
||||||
|
![現在のIPアドレスを追加](@site/docs/ja/_snippets/images/ip-allow-list-add-current-ip.png)
|
||||||
|
|
||||||
|
</details>
|
45
docs/ja/_snippets/_add_superset_detail.md
Normal file
@ -0,0 +1,45 @@
|
|||||||
|
<details><summary>DockerでApache Supersetを起動</summary>
|
||||||
|
|
||||||
|
Supersetは、[Docker Composeを使用してローカルにSupersetをインストールする](https://superset.apache.org/docs/installation/installing-superset-using-docker-compose/)手順を提供しています。GitHubからApache Supersetリポジトリをチェックアウトした後、最新の開発コードや特定のタグを実行することができます。`pre-release`としてマークされていない最新のリリースである2.0.0をお勧めします。
|
||||||
|
|
||||||
|
`docker compose`を実行する前にいくつかのタスクを行う必要があります:
|
||||||
|
|
||||||
|
1. 公式のClickHouse Connectドライバーを追加
|
||||||
|
2. MapBox APIキーを取得し、それを環境変数として追加(任意)
|
||||||
|
3. 実行するSupersetのバージョンを指定
|
||||||
|
|
||||||
|
:::tip
|
||||||
|
以下のコマンドはGitHubリポジトリのトップレベル、`superset`から実行してください。
|
||||||
|
:::
|
||||||
|
|
||||||
|
## 公式ClickHouse Connectドライバー
|
||||||
|
|
||||||
|
SupersetデプロイメントでClickHouse Connectドライバーを利用可能にするために、ローカルのrequirementsファイルに追加します:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
echo "clickhouse-connect" >> ./docker/requirements-local.txt
|
||||||
|
```
|
||||||
|
|
||||||
|
## MapBox
|
||||||
|
|
||||||
|
これは任意です。MapBox APIキーなしでSupersetで位置データをプロットできますが、キーを追加するべきというメッセージが表示され、地図の背景画像が欠けます(データポイントのみが表示され、地図の背景は表示されません)。MapBoxは無料のティアを提供していますので、利用したい場合はぜひご利用ください。
|
||||||
|
|
||||||
|
ガイドが作成するサンプルの可視化の一部は、例えば経度や緯度データなどの位置情報を使用します。SupersetはMapBoxマップのサポートを含んでいます。MapBoxの可視化を使用するには、MapBox APIキーが必要です。[MapBoxの無料ティア](https://account.mapbox.com/auth/signup/)にサインアップし、APIキーを生成してください。
|
||||||
|
|
||||||
|
APIキーをSupersetで利用可能にします:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
echo "MAPBOX_API_KEY=pk.SAMPLE-Use-your-key-instead" >> docker/.env-non-dev
|
||||||
|
```
|
||||||
|
|
||||||
|
## Supersetバージョン2.0.0をデプロイ
|
||||||
|
|
||||||
|
リリース2.0.0をデプロイするには、以下を実行します:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
git checkout 2.0.0
|
||||||
|
TAG=2.0.0 docker-compose -f docker-compose-non-dev.yml pull
|
||||||
|
TAG=2.0.0 docker-compose -f docker-compose-non-dev.yml up
|
||||||
|
```
|
||||||
|
|
||||||
|
</details>
|
11
docs/ja/_snippets/_aws_regions.md
Normal file
@ -0,0 +1,11 @@
|
|||||||
|
| 地域 | VPC サービス名 | アベイラビリティーゾーン ID |
|
||||||
|
|------------------|--------------------------------------------------------------------|------------------------------|
|
||||||
|
|ap-south-1 | com.amazonaws.vpce.ap-south-1.vpce-svc-0a786406c7ddc3a1b | aps1-az1 aps1-az2 aps1-az3 |
|
||||||
|
|ap-southeast-1 | com.amazonaws.vpce.ap-southeast-1.vpce-svc-0a8b096ec9d2acb01 | apse1-az1 apse1-az2 apse1-az3|
|
||||||
|
|ap-southeast-2 | com.amazonaws.vpce.ap-southeast-2.vpce-svc-0ca446409b23f0c01 | apse2-az1 apse2-az2 apse2-az3|
|
||||||
|
|eu-central-1 | com.amazonaws.vpce.eu-central-1.vpce-svc-0536fc4b80a82b8ed | euc1-az2 euc1-az3 euc1-az1 |
|
||||||
|
|eu-west-1 | com.amazonaws.vpce.eu-west-1.vpce-svc-066b03c9b5f61c6fc | euw1-az2 euw1-az3 euw1-az1 |
|
||||||
|
|us-east-1 c0 | com.amazonaws.vpce.us-east-1.vpce-svc-0a0218fa75c646d81 | use1-az6 use1-az1 use1-az2 |
|
||||||
|
|us-east-1 c1 | com.amazonaws.vpce.us-east-1.vpce-svc-096c118db1ff20ea4 | use1-az6 use1-az4 use1-az2 |
|
||||||
|
|us-east-2 | com.amazonaws.vpce.us-east-2.vpce-svc-0b99748bf269a86b4 | use2-az1 use2-az2 use2-az3 |
|
||||||
|
|us-west-2 | com.amazonaws.vpce.us-west-2.vpce-svc-049bbd33f61271781 | usw2-az2 usw2-az1 usw2-az3 |
|
15
docs/ja/_snippets/_check_ip_access_list_detail.md
Normal file
@ -0,0 +1,15 @@
|
|||||||
|
<details><summary>IPアクセスリストを管理する</summary>
|
||||||
|
|
||||||
|
ClickHouse Cloudのサービスリストから作業するサービスを選び、**設定**に切り替えます。
|
||||||
|
|
||||||
|
![サービスの設定](@site/docs/ja/_snippets/images/cloud-service-settings.png)
|
||||||
|
|
||||||
|
IPアクセスリストが**現在、このサービスにアクセスできるトラフィックはありません**と表示される場合は、**エントリを追加**して問題を解決できます。
|
||||||
|
|
||||||
|
![サービスがトラフィックを許可しているか確認する](@site/docs/ja/_snippets/images/ip-allow-list-check-list.png)
|
||||||
|
|
||||||
|
クイックスタートのために、ローカルのセキュリティポリシーが許可する場合は、現在のIPアドレスのみを追加することができます。これを行うには、**現在のIPを追加**を使用し、現在のIPと説明「ホームIP」でフォームを自動入力します。必要に応じてフォームを修正し、**エントリを追加**し**エントリを送信**します。
|
||||||
|
|
||||||
|
![現在のIPアドレスを追加する](@site/docs/ja/_snippets/images/ip-allow-list-add-current-ip.png)
|
||||||
|
|
||||||
|
</details>
|
61
docs/ja/_snippets/_clickhouse_mysql_cloud_setup.mdx
Normal file
@ -0,0 +1,61 @@
|
|||||||
|
1. ClickHouse Cloud Serviceを作成した後、認証情報画面でMySQLタブを選択します。
|
||||||
|
![Credentials screen - Prompt](./images/mysql1.png)
|
||||||
|
2. この特定のサービスに対してMySQLインターフェースを有効にするためにスイッチを切り替えます。これにより、そのサービスでポート`3306`が公開され、ユニークなMySQLユーザー名を含むMySQL接続画面が表示されます。パスワードはサービスのデフォルトユーザーのパスワードと同じになります。
|
||||||
|
![Credentials screen - Enabled MySQL](./images/mysql2.png)
|
||||||
|
代わりに、既存のサービスに対してMySQLインターフェースを有効にするには:
|
||||||
|
3. サービスが`Running`状態であることを確認し、MySQLインターフェースを有効にするサービスの「接続文字列を表示」ボタンをクリックします。
|
||||||
|
![Connection screen - Prompt MySQL](./images/mysql3.png)
|
||||||
|
4. この特定のサービスに対してMySQLインターフェースを有効にするためにスイッチを切り替えます。これにより、デフォルトのパスワードを入力するよう求められます。
|
||||||
|
![Connection screen - Prompt MySQL](./images/mysql4.png)
|
||||||
|
5. パスワードを入力すると、このサービスのMySQL接続文字列が表示されます。
|
||||||
|
![Connection screen - MySQL Enabled](./images/mysql5.png)
|
||||||
|
|
||||||
|
## ClickHouse Cloudで複数のMySQLユーザーを作成する
|
||||||
|
|
||||||
|
デフォルトでは、`mysql4<subdomain>`という組み込みユーザーがあり、これは`default`ユーザーと同じパスワードを使用します。`<subdomain>`部分はあなたのClickHouse Cloudホスト名の最初のセグメントです。このフォーマットは、安全な接続を実装しているが[TLSハンドシェイクでSNI情報を提供しない](https://www.cloudflare.com/learning/ssl/what-is-sni)ツール(MySQLコンソールクライアントがその一例)で作業するために必要です。この場合、ユーザー名に追加のヒントを含めずには内部ルーティングを行うことができません。
|
||||||
|
|
||||||
|
これにより、MySQLインターフェースで使用する新しいユーザーを作成する際には、`mysql4<subdomain>_<username>`のフォーマットを使用することを_強くお勧めします_。ここで、`<subdomain>`はあなたのCloudサービスを識別するためのヒントであり、`<username>`は選択した任意のサフィックスです。
|
||||||
|
|
||||||
|
:::tip
|
||||||
|
ClickHouse Cloudホスト名が`foobar.us-east1.aws.clickhouse.cloud`の場合、`<subdomain>`部分は`foobar`に相当し、カスタムMySQLユーザー名は`mysql4foobar_team1`のようになります。
|
||||||
|
:::
|
||||||
|
|
||||||
|
MySQLインターフェースを使用するために追加のユーザーを作成することができます。例えば、追加の設定を適用する必要がある場合などです。
|
||||||
|
|
||||||
|
1. オプション - カスタムユーザーに適用する[設定プロフィール](https://clickhouse.com/docs/ja/sql-reference/statements/create/settings-profile)を作成します。たとえば、後で作成するユーザーで接続するときにデフォルトで適用される追加設定を持つ`my_custom_profile`:
|
||||||
|
|
||||||
|
```sql
|
||||||
|
CREATE SETTINGS PROFILE my_custom_profile SETTINGS prefer_column_name_to_alias=1;
|
||||||
|
```
|
||||||
|
|
||||||
|
`prefer_column_name_to_alias`は単なる例として使用されます。ここに他の設定を使用することもできます。
|
||||||
|
2. 以下のフォーマットを使用して[ユーザーを作成](https://clickhouse.com/docs/ja/sql-reference/statements/create/user)します: `mysql4<subdomain>_<username>` ([上記参照](#creating-multiple-mysql-users-in-clickhouse-cloud))。パスワードはダブルSHA1形式である必要があります。例:
|
||||||
|
|
||||||
|
```sql
|
||||||
|
CREATE USER mysql4foobar_team1 IDENTIFIED WITH double_sha1_password BY 'YourPassword42$';
|
||||||
|
```
|
||||||
|
|
||||||
|
または、このユーザーにカスタムプロフィールを使用したい場合:
|
||||||
|
|
||||||
|
```sql
|
||||||
|
CREATE USER mysql4foobar_team1 IDENTIFIED WITH double_sha1_password BY 'YourPassword42$' SETTINGS PROFILE 'my_custom_profile';
|
||||||
|
```
|
||||||
|
|
||||||
|
ここで、`my_custom_profile`は前に作成したプロフィールの名前です。
|
||||||
|
3. 新しいユーザーに必要なアクセス権を付与して、目的のテーブルまたはデータベースと対話できるようにします。[権限を付与](https://clickhouse.com/docs/ja/sql-reference/statements/grant)する例として、たとえば`system.query_log`のみのアクセスを付与したい場合:
|
||||||
|
|
||||||
|
```sql
|
||||||
|
GRANT SELECT ON system.query_log TO mysql4foobar_team1;
|
||||||
|
```
|
||||||
|
|
||||||
|
4. 作成したユーザーを使用して、MySQLインターフェースでClickHouse Cloudサービスに接続します。
|
||||||
|
|
||||||
|
### ClickHouse Cloudでの複数のMySQLユーザーのトラブルシューティング
|
||||||
|
|
||||||
|
新しいMySQLユーザーを作成し、MySQL CLIクライアントで接続しているときに以下のエラーが表示された場合:
|
||||||
|
|
||||||
|
```
|
||||||
|
ERROR 2013 (HY000): Lost connection to MySQL server at 'reading authorization packet', system error: 54
|
||||||
|
```
|
||||||
|
|
||||||
|
この場合、ユーザー名が`mysql4<subdomain>_<username>`形式に従っていることを確認してください。[上記](#creating-multiple-mysql-users-in-clickhouse-cloud)で説明されています。
|
87
docs/ja/_snippets/_clickhouse_mysql_on_premise_setup.mdx
Normal file
@ -0,0 +1,87 @@
|
|||||||
|
ClickHouseサーバーにMySQLインターフェースを有効にする方法については[公式ドキュメント](https://clickhouse.com/docs/ja/interfaces/mysql)を参照してください。
|
||||||
|
|
||||||
|
サーバーの `config.xml` にエントリを追加することに加えて、
|
||||||
|
|
||||||
|
```xml
|
||||||
|
<clickhouse>
|
||||||
|
<mysql_port>9004</mysql_port>
|
||||||
|
</clickhouse>
|
||||||
|
```
|
||||||
|
|
||||||
|
MySQLインターフェースを利用するユーザーには、[二重SHA1パスワード暗号化](https://clickhouse.com/docs/ja/operations/settings/settings-users#user-namepassword)を使用することが**必要**です。
|
||||||
|
|
||||||
|
シェルから二重SHA1で暗号化されたランダムパスワードを生成するには以下を実行してください:
|
||||||
|
|
||||||
|
```shell
|
||||||
|
PASSWORD=$(base64 < /dev/urandom | head -c16); echo "$PASSWORD"; echo -n "$PASSWORD" | sha1sum | tr -d '-' | xxd -r -p | sha1sum | tr -d '-'
|
||||||
|
```
|
||||||
|
|
||||||
|
出力は以下のようになります:
|
||||||
|
|
||||||
|
```
|
||||||
|
LZOQYnqQN4L/T6L0
|
||||||
|
fbc958cc745a82188a51f30de69eebfc67c40ee4
|
||||||
|
```
|
||||||
|
|
||||||
|
最初の行は生成されたパスワードで、2行目はClickHouseの設定に使用するハッシュです。
|
||||||
|
|
||||||
|
以下は生成されたハッシュを使用する`mysql_user`の設定例です:
|
||||||
|
|
||||||
|
`/etc/clickhouse-server/users.d/mysql_user.xml`
|
||||||
|
|
||||||
|
```xml
|
||||||
|
<users>
|
||||||
|
<mysql_user>
|
||||||
|
<password_double_sha1_hex>fbc958cc745a82188a51f30de69eebfc67c40ee4</password_double_sha1_hex>
|
||||||
|
<networks>
|
||||||
|
<ip>::/0</ip>
|
||||||
|
</networks>
|
||||||
|
<profile>default</profile>
|
||||||
|
<quota>default</quota>
|
||||||
|
</mysql_user>
|
||||||
|
</users>
|
||||||
|
```
|
||||||
|
|
||||||
|
`password_double_sha1_hex` エントリを自分で生成した二重SHA1ハッシュに置き換えてください。
|
||||||
|
|
||||||
|
さらに、BIツールがMySQLコネクタを使用する際にデータベーススキーマを適切に調査できるように、`SHOW [FULL] COLUMNS` クエリの結果でMySQLネイティブタイプを表示するために、`use_mysql_types_in_show_columns`を使用することを推奨します。
|
||||||
|
|
||||||
|
例えば:
|
||||||
|
|
||||||
|
`/etc/clickhouse-server/users.d/mysql_user.xml`
|
||||||
|
|
||||||
|
```xml
|
||||||
|
<profiles>
|
||||||
|
<default>
|
||||||
|
<use_mysql_types_in_show_columns>1</use_mysql_types_in_show_columns>
|
||||||
|
</default>
|
||||||
|
</profiles>
|
||||||
|
```
|
||||||
|
|
||||||
|
または、デフォルト以外の異なるプロファイルに割り当てることもできます。
|
||||||
|
|
||||||
|
`mysql` バイナリが利用可能であれば、コマンドラインから接続をテストできます。以下は、サンプルのユーザー名 (`mysql_user`) とパスワード (`LZOQYnqQN4L/T6L0`) を使用したコマンドです:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
mysql --protocol tcp -h localhost -u mysql_user -P 9004 --password=LZOQYnqQN4L/T6L0
|
||||||
|
```
|
||||||
|
|
||||||
|
```
|
||||||
|
mysql> show databases;
|
||||||
|
+--------------------+
|
||||||
|
| name |
|
||||||
|
+--------------------+
|
||||||
|
| INFORMATION_SCHEMA |
|
||||||
|
| default |
|
||||||
|
| information_schema |
|
||||||
|
| system |
|
||||||
|
+--------------------+
|
||||||
|
4行取得しました (0.00 sec)
|
||||||
|
4行読み込み、603.00 B、0.00156秒で、2564行/秒、377.48 KiB/秒
|
||||||
|
```
|
||||||
|
|
||||||
|
最後に、ClickHouseサーバーを希望するIPアドレスでリッスンするように設定します。例えば、`config.xml` の中で、すべてのアドレスでリッスンするために以下をアンコメントしてください:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
<listen_host>::</listen_host>
|
||||||
|
```
|
19
docs/ja/_snippets/_cloud_backup.md
Normal file
@ -0,0 +1,19 @@
|
|||||||
|
## クラウドのバックアップとリストア
|
||||||
|
|
||||||
|
各サービスは毎日バックアップされています。サービスの**バックアップ**タブで、サービスのバックアップリストを見ることができます。そこからバックアップをリストアしたり、バックアップを削除することができます。
|
||||||
|
|
||||||
|
![バックアップのリスト](@site/docs/ja/_snippets/images/cloud-backup-list.png)
|
||||||
|
|
||||||
|
**バックアップをリストア**アイコンをクリックすると、新しく作成されるサービスの**サービス名**を指定して、**このバックアップをリストア**できます。
|
||||||
|
|
||||||
|
![バックアップのリスト](@site/docs/ja/_snippets/images/cloud-backup-restore.png)
|
||||||
|
|
||||||
|
新しいサービスは、準備が整うまでサービスリストに**プロビジョニング**として表示されます。
|
||||||
|
|
||||||
|
![バックアップのリスト](@site/docs/ja/_snippets/images/cloud-backup-new-service.png)
|
||||||
|
|
||||||
|
新しいサービスのプロビジョニングが完了すると、接続できます。その後…
|
||||||
|
|
||||||
|
:::note
|
||||||
|
ClickHouse Cloud サービスを利用する際に、SQL クライアントで `BACKUP` および `RESTORE` コマンドを使用しないでください。クラウドのバックアップは UI から管理する必要があります。
|
||||||
|
:::
|
7
docs/ja/_snippets/_config-files.md
Normal file
@ -0,0 +1,7 @@
|
|||||||
|
:::important best practices
|
||||||
|
ClickHouse Server を設定する際、設定ファイルを追加または編集するときは次のようにしてください:
|
||||||
|
- ファイルを `/etc/clickhouse-server/config.d/` ディレクトリに追加する
|
||||||
|
- ファイルを `/etc/clickhouse-server/users.d/` ディレクトリに追加する
|
||||||
|
- `/etc/clickhouse-server/config.xml` ファイルはそのままにしておく
|
||||||
|
- `/etc/clickhouse-server/users.xml` ファイルはそのままにしておく
|
||||||
|
:::
|
17
docs/ja/_snippets/_gather_your_details_http.mdx
Normal file
@ -0,0 +1,17 @@
|
|||||||
|
HTTP(S) を使用して ClickHouse に接続するには、以下の情報が必要です:
|
||||||
|
|
||||||
|
- **HOST と PORT**: 通常、TLS を使用する場合のポートは 8443、TLS を使用しない場合は 8123 です。
|
||||||
|
|
||||||
|
- **データベース名**: デフォルトで `default` という名前のデータベースがありますが、接続したいデータベースの名前を使用してください。
|
||||||
|
|
||||||
|
- **ユーザー名とパスワード**: デフォルトでユーザー名は `default` です。使用ケースに適したユーザー名を使用してください。
|
||||||
|
|
||||||
|
ClickHouse Cloud サービスの詳細は、ClickHouse Cloud コンソールで確認できます。 接続するサービスを選択し、**接続** をクリックします:
|
||||||
|
|
||||||
|
![ClickHouse Cloud service connect button](@site/docs/ja/_snippets/images/cloud-connect-button.png)
|
||||||
|
|
||||||
|
**HTTPS** を選択すると、サンプルの `curl` コマンドで詳細が確認できます。
|
||||||
|
|
||||||
|
![ClickHouse Cloud HTTPS connection details](@site/docs/ja/_snippets/images/connection-details-https.png)
|
||||||
|
|
||||||
|
セルフマネージドの ClickHouse を使用している場合、接続の詳細は ClickHouse 管理者によって設定されます。
|
17
docs/ja/_snippets/_gather_your_details_native.md
Normal file
@ -0,0 +1,17 @@
|
|||||||
|
ClickHouseにネイティブTCPで接続するには、次の情報が必要です。
|
||||||
|
|
||||||
|
- **HOSTとPORT**: 通常、TLSを使用している場合はポートは9440、TLSを使用していない場合は9000です。
|
||||||
|
|
||||||
|
- **データベース名**: デフォルトでは、`default`という名前のデータベースがあります。接続したいデータベースの名前を使用してください。
|
||||||
|
|
||||||
|
- **ユーザー名とパスワード**: デフォルトのユーザー名は`default`です。使用するケースに適したユーザー名を利用してください。
|
||||||
|
|
||||||
|
ClickHouse Cloudサービスの詳細は、ClickHouse Cloudコンソールで確認できます。接続するサービスを選択し、**Connect**をクリックします。
|
||||||
|
|
||||||
|
![ClickHouse Cloud service connect button](@site/docs/ja/_snippets/images/cloud-connect-button.png)
|
||||||
|
|
||||||
|
**Native** を選択すると、例として `clickhouse-client` コマンドで使用可能な詳細が表示されます。
|
||||||
|
|
||||||
|
![ClickHouse Cloud Native TCP connection details](@site/docs/ja/_snippets/images/connection-details-native.png)
|
||||||
|
|
||||||
|
セルフマネージドのClickHouseを使用している場合、接続の詳細はClickHouse管理者によって設定されます。
|
6
docs/ja/_snippets/_gcp_regions.md
Normal file
@ -0,0 +1,6 @@
|
|||||||
|
| リージョン | サービスアタッチメント | プライベートDNSドメイン |
|
||||||
|
|--------------|-------------------------------------------------------------|------------------------------|
|
||||||
|
|asia-southeast1| projects/dataplane-production/regions/asia-southeast1/serviceAttachments/production-asia-southeast1-clickhouse-cloud| asia-southeast1.p.gcp.clickhouse.cloud|
|
||||||
|
|europe-west4| projects/dataplane-production/regions/europe-west4/serviceAttachments/production-europe-west4-clickhouse-cloud| europe-west4.p.gcp.clickhouse.cloud|
|
||||||
|
|us-central1| projects/dataplane-production/regions/us-central1/serviceAttachments/production-us-central1-clickhouse-cloud| us-central1.p.gcp.clickhouse.cloud|
|
||||||
|
|us-east1| projects/dataplane-production/regions/us-east1/serviceAttachments/production-us-east1-clickhouse-cloud| us-east1.p.gcp.clickhouse.cloud|
|
5
docs/ja/_snippets/_keeper-config-files.md
Normal file
@ -0,0 +1,5 @@
|
|||||||
|
:::important ベストプラクティス
|
||||||
|
ClickHouse Keeperを構成するために設定ファイルを編集する際には、以下を行うべきです:
|
||||||
|
- `/etc/clickhouse-keeper/keeper_config.xml` をバックアップする
|
||||||
|
- `/etc/clickhouse-keeper/keeper_config.xml` ファイルを編集する
|
||||||
|
:::
|
11
docs/ja/_snippets/_launch_sql_console.md
Normal file
@ -0,0 +1,11 @@
|
|||||||
|
:::tip SQL コンソール
|
||||||
|
SQL クライアント接続が必要な場合、ClickHouse Cloud サービスには関連付けられたウェブベースの SQL コンソールがあります。詳細については、以下の **SQL コンソールに接続** を展開してください。
|
||||||
|
:::
|
||||||
|
|
||||||
|
<details><summary>SQL コンソールに接続</summary>
|
||||||
|
|
||||||
|
ClickHouse Cloud サービス一覧から、作業するサービスを選択し、**接続** をクリックします。ここから **SQL コンソールを開く** ことができます:
|
||||||
|
|
||||||
|
![SQL コンソールに接続](@site/docs/ja/_snippets/images/cloud-connect-to-sql-console.png)
|
||||||
|
|
||||||
|
</details>
|
9
docs/ja/_snippets/_replication-sharding-terminology.md
Normal file
@ -0,0 +1,9 @@
|
|||||||
|
## 用語集
|
||||||
|
### レプリカ
|
||||||
|
データのコピー。ClickHouseは常にデータの少なくとも1つのコピーを持っているため、**レプリカ**の最小数は1です。これは重要なポイントで、元のデータをレプリカとして数えることに慣れていないかもしれませんが、ClickHouseのコードとドキュメントではその用語が使用されています。データの2番目のレプリカを追加することで、フォールトトレランスを提供できます。
|
||||||
|
|
||||||
|
### シャード
|
||||||
|
データのサブセット。ClickHouseは常にデータの少なくとも1つのシャードを持っているので、データを複数のサーバーに分散しない場合、データは1つのシャードに格納されます。データを複数のサーバーに分散してシャーディングすることは、単一サーバーの容量を超えた場合に負荷を分散するために利用できます。宛先サーバーは**シャーディングキー**によって決まり、分散テーブルを作成する際に定義されます。シャーディングキーはランダムなものか、[ハッシュ関数](https://clickhouse.com/docs/ja/sql-reference/functions/hash-functions)の出力として定義することができます。シャーディングを含むデプロイメント例では、シャーディングキーとして`rand()`を使用し、いつどのようにして異なるシャーディングキーを選択するかについてのさらなる情報を提供します。
|
||||||
|
|
||||||
|
### 分散調整
|
||||||
|
ClickHouse Keeperは、データのレプリケーションと分散DDLクエリの実行のための調整システムを提供します。ClickHouse KeeperはApache ZooKeeperと互換性があります。
|
3
docs/ja/_snippets/_self_managed_only_automated.md
Normal file
@ -0,0 +1,3 @@
|
|||||||
|
:::note
|
||||||
|
このページは [ClickHouse Cloud](https://clickhouse.com/cloud) には適用されません。ここで記載されている手順は、ClickHouse Cloud サービスで自動化されています。
|
||||||
|
:::
|
4
docs/ja/_snippets/_self_managed_only_no_roadmap.md
Normal file
@ -0,0 +1,4 @@
|
|||||||
|
:::note
|
||||||
|
このページは[ClickHouse Cloud](https://clickhouse.com/cloud)には適用されません。ここで文書化されている機能は、ClickHouse Cloudサービスでは利用できません。
|
||||||
|
詳細は、ClickHouseの[Cloud Compatibility](/docs/ja/whats-new/cloud-compatibility)ガイドをご覧ください。
|
||||||
|
:::
|
3
docs/ja/_snippets/_self_managed_only_not_applicable.md
Normal file
@ -0,0 +1,3 @@
|
|||||||
|
:::note
|
||||||
|
このページは[ClickHouse Cloud](https://clickhouse.com/cloud)には適用されません。ここに記載されている手順は、セルフマネージドのClickHouseデプロイメントでのみ必要です。
|
||||||
|
:::
|
3
docs/ja/_snippets/_self_managed_only_roadmap.md
Normal file
@ -0,0 +1,3 @@
|
|||||||
|
:::note
|
||||||
|
このページは[ClickHouse Cloud](https://clickhouse.com/cloud)には適用されません。ここで文書化されている機能は、ClickHouse Cloudサービスではまだ利用できません。詳しくは、ClickHouseの[Cloud互換性](/docs/ja/whats-new/cloud-compatibility#roadmap)ガイドを参照してください。
|
||||||
|
:::
|
3
docs/ja/_snippets/_service_actions_menu.md
Normal file
@ -0,0 +1,3 @@
|
|||||||
|
<p>ClickHouse Cloudサービスの<b>アクションメニュー</b>を開き、<b>{props.menu}</b>を選択します:</p>
|
||||||
|
|
||||||
|
![Cloud service Actions menu](@site/docs/ja/_snippets/images/cloud-service-actions-menu.png)
|
3
docs/ja/_snippets/_sign_in_or_trial.md
Normal file
@ -0,0 +1,3 @@
|
|||||||
|
[ClickHouse.cloud](https://clickhouse.cloud)でアカウントを作成するか、サインインしてください。
|
||||||
|
|
||||||
|
![Cloud sign in prompt](@site/docs/ja/_snippets/images/cloud-sign-in-or-trial.png)
|
22
docs/ja/_snippets/_tabs.md
Normal file
@ -0,0 +1,22 @@
|
|||||||
|
---
|
||||||
|
sidebar_label: タブサンプル
|
||||||
|
---
|
||||||
|
|
||||||
|
import Tabs from '@theme/Tabs';
|
||||||
|
import TabItem from '@theme/TabItem';
|
||||||
|
import CodeBlock from '@theme/CodeBlock';
|
||||||
|
|
||||||
|
## ステップ 1
|
||||||
|
|
||||||
|
<Tabs groupId="deployMethod">
|
||||||
|
<TabItem value="serverless" label="ClickHouse クラウド" default>
|
||||||
|
|
||||||
|
クラウド
|
||||||
|
|
||||||
|
</TabItem>
|
||||||
|
<TabItem value="selfmanaged" label="セルフマネージド">
|
||||||
|
|
||||||
|
セルフマネージド
|
||||||
|
|
||||||
|
</TabItem>
|
||||||
|
</Tabs>
|
447
docs/ja/_snippets/_users-and-roles-common.md
Normal file
@ -0,0 +1,447 @@
|
|||||||
|
## 管理者権限のテスト
|
||||||
|
|
||||||
|
ユーザー `default` からログアウトし、ユーザー `clickhouse_admin` としてログインし直してください。
|
||||||
|
|
||||||
|
これらすべてが成功するはずです:
|
||||||
|
|
||||||
|
```sql
|
||||||
|
SHOW GRANTS FOR clickhouse_admin;
|
||||||
|
```
|
||||||
|
|
||||||
|
```sql
|
||||||
|
CREATE DATABASE db1
|
||||||
|
```
|
||||||
|
|
||||||
|
```sql
|
||||||
|
CREATE TABLE db1.table1 (id UInt64, column1 String) ENGINE = MergeTree() ORDER BY id;
|
||||||
|
```
|
||||||
|
|
||||||
|
```sql
|
||||||
|
INSERT INTO db1.table1 (id, column1) VALUES (1, 'abc');
|
||||||
|
```
|
||||||
|
|
||||||
|
```sql
|
||||||
|
SELECT * FROM db1.table1;
|
||||||
|
```
|
||||||
|
|
||||||
|
```sql
|
||||||
|
DROP TABLE db1.table1;
|
||||||
|
```
|
||||||
|
|
||||||
|
```sql
|
||||||
|
DROP DATABASE db1;
|
||||||
|
```
|
||||||
|
|
||||||
|
## 非管理者ユーザー
|
||||||
|
|
||||||
|
ユーザーは必要な権限を持ち、全員が管理者であるべきではありません。このドキュメントの残りの部分では、例のシナリオと必要な役割を提供します。
|
||||||
|
|
||||||
|
### 準備
|
||||||
|
|
||||||
|
例で使用されるテーブルとユーザーを作成します。
|
||||||
|
|
||||||
|
#### サンプルデータベース、テーブル、および行の作成
|
||||||
|
|
||||||
|
1. テストデータベースを作成
|
||||||
|
|
||||||
|
```sql
|
||||||
|
CREATE DATABASE db1;
|
||||||
|
```
|
||||||
|
|
||||||
|
2. テーブルを作成
|
||||||
|
|
||||||
|
```sql
|
||||||
|
CREATE TABLE db1.table1 (
|
||||||
|
id UInt64,
|
||||||
|
column1 String,
|
||||||
|
column2 String
|
||||||
|
)
|
||||||
|
ENGINE MergeTree
|
||||||
|
ORDER BY id;
|
||||||
|
```
|
||||||
|
|
||||||
|
3. サンプル行でテーブルを埋める
|
||||||
|
|
||||||
|
```sql
|
||||||
|
INSERT INTO db1.table1
|
||||||
|
(id, column1, column2)
|
||||||
|
VALUES
|
||||||
|
(1, 'A', 'abc'),
|
||||||
|
(2, 'A', 'def'),
|
||||||
|
(3, 'B', 'abc'),
|
||||||
|
(4, 'B', 'def');
|
||||||
|
```
|
||||||
|
|
||||||
|
4. テーブルを確認する:
|
||||||
|
|
||||||
|
```sql
|
||||||
|
SELECT *
|
||||||
|
FROM db1.table1
|
||||||
|
```
|
||||||
|
|
||||||
|
```response
|
||||||
|
Query id: 475015cc-6f51-4b20-bda2-3c9c41404e49
|
||||||
|
|
||||||
|
┌─id─┬─column1─┬─column2─┐
|
||||||
|
│ 1 │ A │ abc │
|
||||||
|
│ 2 │ A │ def │
|
||||||
|
│ 3 │ B │ abc │
|
||||||
|
│ 4 │ B │ def │
|
||||||
|
└────┴─────────┴─────────┘
|
||||||
|
```
|
||||||
|
|
||||||
|
5. 特定のカラムへのアクセスを制限することを示すために使用される通常のユーザーを作成:
|
||||||
|
|
||||||
|
```sql
|
||||||
|
CREATE USER column_user IDENTIFIED BY 'password';
|
||||||
|
```
|
||||||
|
|
||||||
|
6. 特定の値を持つ行へのアクセスを制限することを示すために使用される通常のユーザーを作成:
|
||||||
|
```sql
|
||||||
|
CREATE USER row_user IDENTIFIED BY 'password';
|
||||||
|
```
|
||||||
|
|
||||||
|
#### 役割の作成
|
||||||
|
|
||||||
|
この例を使って:
|
||||||
|
|
||||||
|
- カラムや行、異なる権限のための役割を作成します
|
||||||
|
- 役割に権限を付与します
|
||||||
|
- ユーザーを各役割に割り当てます
|
||||||
|
|
||||||
|
役割は、各ユーザーを個別に管理する代わりに、特定の権限を持つユーザーのグループを定義するために使用されます。
|
||||||
|
|
||||||
|
1. `db1` データベースおよび `table1` において、`column1` のみを閲覧できるユーザーの役割を作成:
|
||||||
|
|
||||||
|
```sql
|
||||||
|
CREATE ROLE column1_users;
|
||||||
|
```
|
||||||
|
|
||||||
|
2. `column1` のみが閲覧可能な権限を設定
|
||||||
|
|
||||||
|
```sql
|
||||||
|
GRANT SELECT(id, column1) ON db1.table1 TO column1_users;
|
||||||
|
```
|
||||||
|
|
||||||
|
3. `column_user` ユーザーを `column1_users` 役割に追加
|
||||||
|
|
||||||
|
```sql
|
||||||
|
GRANT column1_users TO column_user;
|
||||||
|
```
|
||||||
|
|
||||||
|
4. `column1` に `A` を含む行のみを閲覧できるユーザーの役割を作成
|
||||||
|
|
||||||
|
```sql
|
||||||
|
CREATE ROLE A_rows_users;
|
||||||
|
```
|
||||||
|
|
||||||
|
5. `row_user` を `A_rows_users` 役割に追加
|
||||||
|
|
||||||
|
```sql
|
||||||
|
GRANT A_rows_users TO row_user;
|
||||||
|
```
|
||||||
|
|
||||||
|
6. `column1` が `A` の値を持つ行のみを閲覧可能とするポリシーを作成
|
||||||
|
|
||||||
|
```sql
|
||||||
|
CREATE ROW POLICY A_row_filter ON db1.table1 FOR SELECT USING column1 = 'A' TO A_rows_users;
|
||||||
|
```
|
||||||
|
|
||||||
|
7. データベースとテーブルへの権限を設定
|
||||||
|
|
||||||
|
```sql
|
||||||
|
GRANT SELECT(id, column1, column2) ON db1.table1 TO A_rows_users;
|
||||||
|
```
|
||||||
|
|
||||||
|
8. 他の役割に対してもすべての行にアクセスできるように明示的な権限を付与
|
||||||
|
|
||||||
|
```sql
|
||||||
|
CREATE ROW POLICY allow_other_users_filter
|
||||||
|
ON db1.table1 FOR SELECT USING 1 TO clickhouse_admin, column1_users;
|
||||||
|
```
|
||||||
|
|
||||||
|
:::note
|
||||||
|
テーブルにポリシーをアタッチすると、システムはそのポリシーを適用し、定義されたユーザーと役割のみがそのテーブルでの操作を行うことができます。その他のユーザーは操作を拒否されます。制限された行ポリシーが他のユーザーに適用されないようにするため、他のユーザーと役割が通常または他のタイプのアクセスを持つことを許可する別のポリシーを定義する必要があります。
|
||||||
|
:::
|
||||||
|
|
||||||
|
## 検証
|
||||||
|
|
||||||
|
### カラム制限ユーザーでの役割の権限テスト
|
||||||
|
|
||||||
|
1. `clickhouse_admin` ユーザーでClickHouseクライアントにログイン
|
||||||
|
|
||||||
|
```
|
||||||
|
clickhouse-client --user clickhouse_admin --password password
|
||||||
|
```
|
||||||
|
|
||||||
|
2. 管理者ユーザーを使用して、データベース、テーブル、およびすべての行のアクセスを確認。
|
||||||
|
|
||||||
|
```sql
|
||||||
|
SELECT *
|
||||||
|
FROM db1.table1
|
||||||
|
```
|
||||||
|
|
||||||
|
```response
|
||||||
|
Query id: f5e906ea-10c6-45b0-b649-36334902d31d
|
||||||
|
|
||||||
|
┌─id─┬─column1─┬─column2─┐
|
||||||
|
│ 1 │ A │ abc │
|
||||||
|
│ 2 │ A │ def │
|
||||||
|
│ 3 │ B │ abc │
|
||||||
|
│ 4 │ B │ def │
|
||||||
|
└────┴─────────┴─────────┘
|
||||||
|
```
|
||||||
|
|
||||||
|
3. `column_user` ユーザーでClickHouseクライアントにログイン
|
||||||
|
|
||||||
|
```
|
||||||
|
clickhouse-client --user column_user --password password
|
||||||
|
```
|
||||||
|
|
||||||
|
4. すべてのカラムを使用した `SELECT`
|
||||||
|
|
||||||
|
```sql
|
||||||
|
SELECT *
|
||||||
|
FROM db1.table1
|
||||||
|
```
|
||||||
|
|
||||||
|
```response
|
||||||
|
Query id: 5576f4eb-7450-435c-a2d6-d6b49b7c4a23
|
||||||
|
|
||||||
|
0 rows in set. Elapsed: 0.006 sec.
|
||||||
|
|
||||||
|
Received exception from server (version 22.3.2):
|
||||||
|
Code: 497. DB::Exception: Received from localhost:9000.
|
||||||
|
DB::Exception: column_user: Not enough privileges.
|
||||||
|
To execute this query it's necessary to have grant
|
||||||
|
SELECT(id, column1, column2) ON db1.table1. (ACCESS_DENIED)
|
||||||
|
```
|
||||||
|
|
||||||
|
:::note
|
||||||
|
すべてのカラムが指定されたためアクセスが拒否されました。ユーザーは `id` と `column1` のみへのアクセス権を持っています
|
||||||
|
:::
|
||||||
|
|
||||||
|
5. 指定されたカラムのみを用いた `SELECT` クエリを確認:
|
||||||
|
|
||||||
|
```sql
|
||||||
|
SELECT
|
||||||
|
id,
|
||||||
|
column1
|
||||||
|
FROM db1.table1
|
||||||
|
```
|
||||||
|
|
||||||
|
```response
|
||||||
|
Query id: cef9a083-d5ce-42ff-9678-f08dc60d4bb9
|
||||||
|
|
||||||
|
┌─id─┬─column1─┐
|
||||||
|
│ 1 │ A │
|
||||||
|
│ 2 │ A │
|
||||||
|
│ 3 │ B │
|
||||||
|
│ 4 │ B │
|
||||||
|
└────┴─────────┘
|
||||||
|
```
|
||||||
|
|
||||||
|
### 行制限ユーザーでの役割の権限テスト
|
||||||
|
|
||||||
|
1. `row_user` でClickHouseクライアントにログイン
|
||||||
|
|
||||||
|
```
|
||||||
|
clickhouse-client --user row_user --password password
|
||||||
|
```
|
||||||
|
|
||||||
|
2. 利用可能な行を表示
|
||||||
|
|
||||||
|
```sql
|
||||||
|
SELECT *
|
||||||
|
FROM db1.table1
|
||||||
|
```
|
||||||
|
|
||||||
|
```response
|
||||||
|
Query id: a79a113c-1eca-4c3f-be6e-d034f9a220fb
|
||||||
|
|
||||||
|
┌─id─┬─column1─┬─column2─┐
|
||||||
|
│ 1 │ A │ abc │
|
||||||
|
│ 2 │ A │ def │
|
||||||
|
└────┴─────────┴─────────┘
|
||||||
|
```
|
||||||
|
|
||||||
|
:::note
|
||||||
|
上記の2行のみが返されることを確認し、`column1` に `B` の値を持つ行は除外されるべきです。
|
||||||
|
:::
|
||||||
|
|
||||||
|
## ユーザーと役割の変更
|
||||||
|
|
||||||
|
ユーザーは必要な権限の組み合わせに対して複数の役割を割り当てることができます。複数の役割を使用する場合、システムは役割を組み合わせて権限を決定し、その結果、役割の権限が累積されます。
|
||||||
|
|
||||||
|
例えば、1つの `role1` が `column1` のみの選択を許可し、`role2` が `column1` と `column2` の選択を許可する場合、ユーザーは両方のカラムにアクセスできます。
|
||||||
|
|
||||||
|
1. 管理者アカウントを使用して、デフォルトの役割で行とカラムの両方を制限する新しいユーザーを作成
|
||||||
|
|
||||||
|
```sql
|
||||||
|
CREATE USER row_and_column_user IDENTIFIED BY 'password' DEFAULT ROLE A_rows_users;
|
||||||
|
```
|
||||||
|
|
||||||
|
2. `A_rows_users` 役割に対する以前の権限を削除
|
||||||
|
|
||||||
|
```sql
|
||||||
|
REVOKE SELECT(id, column1, column2) ON db1.table1 FROM A_rows_users;
|
||||||
|
```
|
||||||
|
|
||||||
|
3. `A_row_users` 役割に `column1` のみの選択を許可
|
||||||
|
|
||||||
|
```sql
|
||||||
|
GRANT SELECT(id, column1) ON db1.table1 TO A_rows_users;
|
||||||
|
```
|
||||||
|
|
||||||
|
4. `row_and_column_user` でClickHouseクライアントにログイン
|
||||||
|
|
||||||
|
```
|
||||||
|
clickhouse-client --user row_and_column_user --password password;
|
||||||
|
```
|
||||||
|
|
||||||
|
5. すべてのカラムでテスト:
|
||||||
|
|
||||||
|
```sql
|
||||||
|
SELECT *
|
||||||
|
FROM db1.table1
|
||||||
|
```
|
||||||
|
|
||||||
|
```response
|
||||||
|
Query id: 8cdf0ff5-e711-4cbe-bd28-3c02e52e8bc4
|
||||||
|
|
||||||
|
0 rows in set. Elapsed: 0.005 sec.
|
||||||
|
|
||||||
|
Received exception from server (version 22.3.2):
|
||||||
|
Code: 497. DB::Exception: Received from localhost:9000.
|
||||||
|
DB::Exception: row_and_column_user: Not enough privileges.
|
||||||
|
To execute this query it's necessary to have grant
|
||||||
|
SELECT(id, column1, column2) ON db1.table1. (ACCESS_DENIED)
|
||||||
|
```
|
||||||
|
|
||||||
|
6. 制限されたカラムでテスト:
|
||||||
|
|
||||||
|
```sql
|
||||||
|
SELECT
|
||||||
|
id,
|
||||||
|
column1
|
||||||
|
FROM db1.table1
|
||||||
|
```
|
||||||
|
|
||||||
|
```response
|
||||||
|
Query id: 5e30b490-507a-49e9-9778-8159799a6ed0
|
||||||
|
|
||||||
|
┌─id─┬─column1─┐
|
||||||
|
│ 1 │ A │
|
||||||
|
│ 2 │ A │
|
||||||
|
└────┴─────────┘
|
||||||
|
```
|
||||||
|
|
||||||
|
## トラブルシューティング
|
||||||
|
|
||||||
|
権限が交差または結合して予期しない結果を生む場合があります。次のコマンドを使用して管理者アカウントを使用して問題を絞り込むことができます。
|
||||||
|
|
||||||
|
### ユーザーの権限と役割のリスト
|
||||||
|
|
||||||
|
```sql
|
||||||
|
SHOW GRANTS FOR row_and_column_user
|
||||||
|
```
|
||||||
|
|
||||||
|
```response
|
||||||
|
Query id: 6a73a3fe-2659-4aca-95c5-d012c138097b
|
||||||
|
|
||||||
|
┌─GRANTS FOR row_and_column_user───────────────────────────┐
|
||||||
|
│ GRANT A_rows_users, column1_users TO row_and_column_user │
|
||||||
|
└──────────────────────────────────────────────────────────┘
|
||||||
|
```
|
||||||
|
|
||||||
|
### ClickHouse の役割のリスト
|
||||||
|
|
||||||
|
```sql
|
||||||
|
SHOW ROLES
|
||||||
|
```
|
||||||
|
|
||||||
|
```response
|
||||||
|
Query id: 1e21440a-18d9-4e75-8f0e-66ec9b36470a
|
||||||
|
|
||||||
|
┌─name────────────┐
|
||||||
|
│ A_rows_users │
|
||||||
|
│ column1_users │
|
||||||
|
└─────────────────┘
|
||||||
|
```
|
||||||
|
|
||||||
|
### ポリシーの表示
|
||||||
|
|
||||||
|
```sql
|
||||||
|
SHOW ROW POLICIES
|
||||||
|
```
|
||||||
|
|
||||||
|
```response
|
||||||
|
Query id: f2c636e9-f955-4d79-8e80-af40ea227ebc
|
||||||
|
|
||||||
|
┌─name───────────────────────────────────┐
|
||||||
|
│ A_row_filter ON db1.table1 │
|
||||||
|
│ allow_other_users_filter ON db1.table1 │
|
||||||
|
└────────────────────────────────────────┘
|
||||||
|
```
|
||||||
|
|
||||||
|
### ポリシーがどのように定義されているかと現在の権限を表示
|
||||||
|
|
||||||
|
```sql
|
||||||
|
SHOW CREATE ROW POLICY A_row_filter ON db1.table1
|
||||||
|
```
|
||||||
|
|
||||||
|
```response
|
||||||
|
Query id: 0d3b5846-95c7-4e62-9cdd-91d82b14b80b
|
||||||
|
|
||||||
|
┌─CREATE ROW POLICY A_row_filter ON db1.table1────────────────────────────────────────────────┐
|
||||||
|
│ CREATE ROW POLICY A_row_filter ON db1.table1 FOR SELECT USING column1 = 'A' TO A_rows_users │
|
||||||
|
└─────────────────────────────────────────────────────────────────────────────────────────────┘
|
||||||
|
```
|
||||||
|
|
||||||
|
## ロール、ポリシー、およびユーザーを管理するためのコマンドの例
|
||||||
|
|
||||||
|
次のコマンドを使用して:
|
||||||
|
|
||||||
|
- 権限の削除
|
||||||
|
- ポリシーの削除
|
||||||
|
- ユーザーを役割から解除
|
||||||
|
- ユーザーと役割の削除
|
||||||
|
<br />
|
||||||
|
|
||||||
|
:::tip
|
||||||
|
これらのコマンドは管理者ユーザーまたは `default` ユーザーとして実行してください
|
||||||
|
:::
|
||||||
|
|
||||||
|
### 役割からの権限を削除
|
||||||
|
|
||||||
|
```sql
|
||||||
|
REVOKE SELECT(column1, id) ON db1.table1 FROM A_rows_users;
|
||||||
|
```
|
||||||
|
|
||||||
|
### ポリシーを削除
|
||||||
|
|
||||||
|
```sql
|
||||||
|
DROP ROW POLICY A_row_filter ON db1.table1;
|
||||||
|
```
|
||||||
|
|
||||||
|
### ユーザーを役割から解除
|
||||||
|
|
||||||
|
```sql
|
||||||
|
REVOKE A_rows_users FROM row_user;
|
||||||
|
```
|
||||||
|
|
||||||
|
### 役割を削除
|
||||||
|
|
||||||
|
```sql
|
||||||
|
DROP ROLE A_rows_users;
|
||||||
|
```
|
||||||
|
|
||||||
|
### ユーザーを削除
|
||||||
|
|
||||||
|
```sql
|
||||||
|
DROP USER row_user;
|
||||||
|
```
|
||||||
|
|
||||||
|
## 要約
|
||||||
|
|
||||||
|
このドキュメントでは、SQLユーザーと役割の作成の基本を示し、ユーザーおよび役割の権限を設定および変更する手順を提供しました。それぞれの詳細情報については、ユーザーガイドおよびリファレンスドキュメントを参照してください。
|
BIN
docs/ja/_snippets/images/aws-rds-mysql.png
Normal file
After Width: | Height: | Size: 52 KiB |
BIN
docs/ja/_snippets/images/cloud-advanced-scaling.png
Normal file
After Width: | Height: | Size: 46 KiB |
BIN
docs/ja/_snippets/images/cloud-backup-list.png
Normal file
After Width: | Height: | Size: 37 KiB |
BIN
docs/ja/_snippets/images/cloud-backup-new-service.png
Normal file
After Width: | Height: | Size: 30 KiB |
BIN
docs/ja/_snippets/images/cloud-backup-restore.png
Normal file
After Width: | Height: | Size: 17 KiB |
BIN
docs/ja/_snippets/images/cloud-connect-button.png
Normal file
After Width: | Height: | Size: 27 KiB |
BIN
docs/ja/_snippets/images/cloud-connect-to-sql-console.png
Normal file
After Width: | Height: | Size: 20 KiB |
BIN
docs/ja/_snippets/images/cloud-load-data-sample.png
Normal file
After Width: | Height: | Size: 39 KiB |
BIN
docs/ja/_snippets/images/cloud-select-a-service.png
Normal file
After Width: | Height: | Size: 26 KiB |
BIN
docs/ja/_snippets/images/cloud-service-actions-menu.png
Normal file
After Width: | Height: | Size: 28 KiB |
BIN
docs/ja/_snippets/images/cloud-service-settings.png
Normal file
After Width: | Height: | Size: 10 KiB |
BIN
docs/ja/_snippets/images/cloud-sign-in-or-trial.png
Normal file
After Width: | Height: | Size: 27 KiB |
BIN
docs/ja/_snippets/images/cmek-performance.png
Normal file
After Width: | Height: | Size: 69 KiB |
BIN
docs/ja/_snippets/images/cmek1.png
Normal file
After Width: | Height: | Size: 54 KiB |
BIN
docs/ja/_snippets/images/cmek2.png
Normal file
After Width: | Height: | Size: 61 KiB |
BIN
docs/ja/_snippets/images/cmek3.png
Normal file
After Width: | Height: | Size: 13 KiB |
BIN
docs/ja/_snippets/images/connect1.png
Normal file
After Width: | Height: | Size: 14 KiB |
BIN
docs/ja/_snippets/images/connect2.png
Normal file
After Width: | Height: | Size: 39 KiB |
BIN
docs/ja/_snippets/images/connect3.png
Normal file
After Width: | Height: | Size: 19 KiB |
BIN
docs/ja/_snippets/images/connect4.png
Normal file
After Width: | Height: | Size: 31 KiB |
BIN
docs/ja/_snippets/images/connection-details-https.png
Normal file
After Width: | Height: | Size: 32 KiB |
BIN
docs/ja/_snippets/images/connection-details-native.png
Normal file
After Width: | Height: | Size: 32 KiB |
BIN
docs/ja/_snippets/images/createservice1.png
Normal file
After Width: | Height: | Size: 54 KiB |
BIN
docs/ja/_snippets/images/createservice2.png
Normal file
After Width: | Height: | Size: 55 KiB |
BIN
docs/ja/_snippets/images/createservice3.png
Normal file
After Width: | Height: | Size: 54 KiB |
BIN
docs/ja/_snippets/images/createservice4.png
Normal file
After Width: | Height: | Size: 43 KiB |
BIN
docs/ja/_snippets/images/gcp-authorized-network.png
Normal file
After Width: | Height: | Size: 108 KiB |
BIN
docs/ja/_snippets/images/ip-allow-list-add-current-ip.png
Normal file
After Width: | Height: | Size: 17 KiB |
BIN
docs/ja/_snippets/images/ip-allow-list-check-list.png
Normal file
After Width: | Height: | Size: 28 KiB |
BIN
docs/ja/_snippets/images/mysql1.png
Normal file
After Width: | Height: | Size: 128 KiB |
BIN
docs/ja/_snippets/images/mysql2.png
Normal file
After Width: | Height: | Size: 58 KiB |
BIN
docs/ja/_snippets/images/mysql3.png
Normal file
After Width: | Height: | Size: 21 KiB |
BIN
docs/ja/_snippets/images/mysql4.png
Normal file
After Width: | Height: | Size: 50 KiB |
BIN
docs/ja/_snippets/images/mysql5.png
Normal file
After Width: | Height: | Size: 138 KiB |
BIN
docs/ja/_snippets/images/openapi1.png
Normal file
After Width: | Height: | Size: 38 KiB |
BIN
docs/ja/_snippets/images/openapi2.png
Normal file
After Width: | Height: | Size: 92 KiB |
BIN
docs/ja/_snippets/images/openapi3.png
Normal file
After Width: | Height: | Size: 62 KiB |
BIN
docs/ja/_snippets/images/openapi4.png
Normal file
After Width: | Height: | Size: 46 KiB |
BIN
docs/ja/_snippets/images/openapi5.png
Normal file
After Width: | Height: | Size: 76 KiB |
BIN
docs/ja/_snippets/images/s3/s3-1.png
Normal file
After Width: | Height: | Size: 50 KiB |
BIN
docs/ja/_snippets/images/s3/s3-2.png
Normal file
After Width: | Height: | Size: 59 KiB |
BIN
docs/ja/_snippets/images/s3/s3-3.png
Normal file
After Width: | Height: | Size: 48 KiB |
BIN
docs/ja/_snippets/images/s3/s3-4.png
Normal file
After Width: | Height: | Size: 35 KiB |
BIN
docs/ja/_snippets/images/s3/s3-5.png
Normal file
After Width: | Height: | Size: 47 KiB |
BIN
docs/ja/_snippets/images/s3/s3-6.png
Normal file
After Width: | Height: | Size: 43 KiB |
BIN
docs/ja/_snippets/images/s3/s3-7.png
Normal file
After Width: | Height: | Size: 6.3 KiB |
BIN
docs/ja/_snippets/images/s3/s3-8.png
Normal file
After Width: | Height: | Size: 18 KiB |
BIN
docs/ja/_snippets/images/s3/s3-9.png
Normal file
After Width: | Height: | Size: 47 KiB |
BIN
docs/ja/_snippets/images/s3/s3-a.png
Normal file
After Width: | Height: | Size: 98 KiB |
BIN
docs/ja/_snippets/images/s3/s3-b.png
Normal file
After Width: | Height: | Size: 12 KiB |
BIN
docs/ja/_snippets/images/s3/s3-c.png
Normal file
After Width: | Height: | Size: 12 KiB |
BIN
docs/ja/_snippets/images/s3/s3-d.png
Normal file
After Width: | Height: | Size: 41 KiB |
BIN
docs/ja/_snippets/images/s3/s3-e.png
Normal file
After Width: | Height: | Size: 62 KiB |
BIN
docs/ja/_snippets/images/s3/s3-f.png
Normal file
After Width: | Height: | Size: 49 KiB |
BIN
docs/ja/_snippets/images/s3/s3-g.png
Normal file
After Width: | Height: | Size: 50 KiB |
BIN
docs/ja/_snippets/images/s3/s3-h.png
Normal file
After Width: | Height: | Size: 63 KiB |
6
docs/ja/about-us/_category_.yml
Normal file
@ -0,0 +1,6 @@
|
|||||||
|
label: 'About Us'
|
||||||
|
collapsible: true
|
||||||
|
collapsed: true
|
||||||
|
link:
|
||||||
|
type: generated-index
|
||||||
|
title: About Us
|
512
docs/ja/about-us/adopters.md
Normal file
@ -0,0 +1,512 @@
|
|||||||
|
---
|
||||||
|
slug: /ja/about-us/adopters
|
||||||
|
sidebar_label: 導入企業
|
||||||
|
title: ClickHouse 導入企業
|
||||||
|
sidebar_position: 60
|
||||||
|
description: ClickHouse を導入している企業とその成功事例の一覧
|
||||||
|
---
|
||||||
|
|
||||||
|
以下は、ClickHouse を導入している企業とその成功事例の一覧です。これらの情報は公開されている資料から収集されたものであり、現在の状況と異なる場合があります。貴社での ClickHouse 導入事例を共有し、[リストに追加](https://github.com/ClickHouse/clickhouse-docs/blob/main/docs/en/about-us/adopters.md)していただけると幸いです。ただし、共有に際しては NDA(秘密保持契約)に抵触しないことをご確認ください。他社の公開情報の更新も有益です。
|
||||||
|
|
||||||
|
<div class="adopters-table">
|
||||||
|
|
||||||
|
| Company | Industry | Usecase | Cluster Size | (Un)Compressed Data Size<abbr title="of single replica"><sup>\*</sup></abbr> | Reference |
|
||||||
|
|---------|----------|---------|--------------|------------------------------------------------------------------------------|-----------|
|
||||||
|
| [1Flow](https://1flow.ai/) | Feedback automation | - | — | — | ClickHouse Cloud user |
|
||||||
|
| [2gis](https://2gis.ru) | Maps | Monitoring | — | — | [Talk in Russian, July 2019](https://youtu.be/58sPkXfq6nw) |
|
||||||
|
| [3xpl](https://3xpl.com/) | Software & Technology | Blockchain Explorer | — | — | [Reddit, February 2023](https://www.reddit.com/r/ethereum/comments/1159pdg/new_ethereum_explorer_by_3xpl_no_ads_super_fast/) |
|
||||||
|
| [5CNetwork](https://www.5cnetwork.com/) | Software | Analytics | — | — | [Community Slack](https://clickhouse.com/slack) |
|
||||||
|
| [ASO.dev](https://aso.dev/) | Software & Technology | App store optimisation | — | — | [Twitter, April 2023](https://twitter.com/gorniv/status/1642847791226445828) |
|
||||||
|
| [AdGreetz](https://www.adgreetz.com/) | Software & Technology | AdTech & MarTech | — | — | [Blog, April 2023](https://clickhouse.com/blog/adgreetz-processes-millions-of-daily-ad-impressions) |
|
||||||
|
| [AdGuard](https://adguard.com/) | Anti-Ads | AdGuard DNS | — | 1,000,000 DNS requests per second from over 50 million users | [Official Website, August 2022](https://adguard.com/en/blog/adguard-dns-2-0-goes-open-source.html) |
|
||||||
|
| [AdScribe](http://www.adscribe.tv/) | Ads | TV Analytics | — | — | [A quote from CTO](https://altinity.com/24x7-support/) |
|
||||||
|
| [Adapty](https://adapty.io/) | Subscription Analytics | Main product | — | — | [Twitter, November 2021](https://twitter.com/iwitaly/status/1462698148061659139) |
|
||||||
|
| [Adevinta](https://www.adevinta.com/) | Software & Technology | Online Classifieds | — | — | [Blog, April 2023](https://clickhouse.com/blog/serving-real-time-analytics-across-marketplaces-at-adevinta) |
|
||||||
|
| [Admiral](https://getadmiral.com/) | Martech | Engagement Management | — | — | [Webinar Slides, June 2020](https://altinity.com/presentations/2020/06/16/big-data-in-real-time-how-clickhouse-powers-admirals-visitor-relationships-for-publishers) |
|
||||||
|
| [Admixer](https://admixer.com/) | Media & Entertainment | Ad Analytics | — | — | [Blog Post](https://clickhouse.com/blog/admixer-aggregates-over-1-billion-unique-users-a-day-using-clickhouse) |
|
||||||
|
| [Aggregations.io](https://aggregations.io/) | Real-time analytics | Main product | - | - | [Twitter](https://twitter.com/jsneedles/status/1734606200199889282) |
|
||||||
|
| [Ahrefs](https://ahrefs.com/) | SEO | Analytics | Main cluster is 100k+ CPU cores, 800TB RAM. | 110PB nvme storage, uncompressed data size on main cluster is 1EB. | [Job listing](https://ahrefs.com/jobs/data-scientist-search) |
|
||||||
|
| [Airfold](https://www.airfold.co/) | API platform | Main Product | - | - | [Documentation](https://docs.airfold.co/workspace/pipes) |
|
||||||
|
| [Aiven](https://aiven.io/) | Cloud data platform | Managed Service | - | - | [Blog post](https://aiven.io/blog/introduction-to-clickhouse) |
|
||||||
|
| [Akamai](https://www.akamai.com/) | Software & Technology | CDN | — | — | [LinkedIn](https://www.linkedin.com/in/david-piatek-bb27368/) |
|
||||||
|
| [Akvorado](https://demo.akvorado.net/) | Network Monitoring | Main Product | — | — | [Documentation](https://demo.akvorado.net/docs/intro) |
|
||||||
|
| [AlgoNode](https://algonode.io/) | Software & Technology | Algorand Hosting | — | — | [Twitter, April 2023](https://twitter.com/AlgoNode_io/status/1650594948998213632) |
|
||||||
|
| [Alibaba Cloud](https://cn.aliyun.com/) | Cloud | E-MapReduce | — | — | [Official Website](https://help.aliyun.com/document_detail/212195.html) |
|
||||||
|
| [Alibaba Cloud](https://cn.aliyun.com/) | Cloud | Managed Service | — | — | [Official Website](https://help.aliyun.com/product/144466.html) |
|
||||||
|
| [Aloha Browser](https://alohabrowser.com/) | Mobile App | Browser backend | — | — | [Slides in Russian, May 2019](https://presentations.clickhouse.com/meetup22/aloha.pdf) |
|
||||||
|
| [Altinity](https://altinity.com/) | Cloud, SaaS | Main product | — | — | [Official Website](https://altinity.com/) |
|
||||||
|
| [Amadeus](https://amadeus.com/) | Travel | Analytics | — | — | [Press Release, April 2018](https://www.altinity.com/blog/2018/4/5/amadeus-technologies-launches-investment-and-insights-tool-based-on-machine-learning-and-strategy-algorithms) |
|
||||||
|
| [AMP](https://useamp.com/) | Software & Technology | e-Commerce Metrics | — | — | [Twitter Post, May 2024](https://x.com/pc_barnes/status/1793846059724357832) [Meetup Slides](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup122/Talk%20Track%201%20-%20AMP's%20data%20journey%20from%20OSS%20to%20ClickHouse%20Cloud%20-%20Chris%20Lawrence%20.pdf) |
|
||||||
|
| [Android Hub](https://bestforandroid.com/) | Blogging, Analytics, Advertising data | — | — | — | [Official Website](https://bestforandroid.com/)|
|
||||||
|
| [AnswerAI](https://www.answerai.co.uk/) | Software & Technology | AI Customer Support | — | — | [Twitter, May 2024](https://twitter.com/TomAnswerAi/status/1791062219678998880) |
|
||||||
|
| [Anton](https://anton.tools/) | Software & Technology | Blockchain Indexer | — | — | [GitHub](https://github.com/tonindexer/anton) |
|
||||||
|
| [Antrea](https://antrea.io/) | Software & Technology | Kubernets Network Security | — | — | [Documentation](https://antrea.io/docs/main/docs/network-flow-visibility/) |
|
||||||
|
| [ApiRoad](https://apiroad.net/) | API marketplace | Analytics | — | — | [Blog post, November 2018, March 2020](https://pixeljets.com/blog/clickhouse-vs-elasticsearch/) |
|
||||||
|
| [Apitally](https://apitally.io/) | Software & Technology | API Monitoring | — | — | [Twitter, March 2024](https://twitter.com/simongurcke/status/1766005582971170926) |
|
||||||
|
| [Appsflyer](https://www.appsflyer.com) | Mobile analytics | Main product | — | — | [Talk in Russian, July 2019](https://www.youtube.com/watch?v=M3wbRlcpBbY) |
|
||||||
|
| [Aptabase](https://aptabase.com/) | Analytics | Privacy-first / open-source Firebase Analytics alternative | — | — | [GitHub Repository](https://github.com/aptabase/aptabase/tree/main/etc/clickhouse) |
|
||||||
|
| [ArenaData](https://arenadata.tech/) | Data Platform | Main product | — | — | [Slides in Russian, December 2019](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup38/indexes.pdf) |
|
||||||
|
| [Argedor](https://www.argedor.com/en/clickhouse/) | ClickHouse support | — | — | — | [Official website](https://www.argedor.com/en/clickhouse/) |
|
||||||
|
| [Atani](https://atani.com/en/) | Software & Technology | Crypto Platform | — | — | [CTO LinkedIn](https://www.linkedin.com/in/fbadiola/) |
|
||||||
|
| [Autoblocks](https://autoblocks.ai) | Software & Technology | LLM Monitoring & Deployment | — | — | [Twitter, August 2023](https://twitter.com/nolte_adam/status/1690722237953794048) |
|
||||||
|
| [Aviso](https://www.aviso.com/) | AI Platform | Reporting | — | — | ClickHouse Cloud user |
|
||||||
|
| [Avito](https://avito.ru/) | Classifieds | Monitoring | — | — | [Meetup, April 2020](https://www.youtube.com/watch?v=n1tm4j4W8ZQ) |
|
||||||
|
| [Axis Communications](https://www.axis.com/en-ca) | Video surveillance | Main product | - | - | [Blog post](https://engineeringat.axis.com/schema-changes-clickhouse/) |
|
||||||
|
| [AzurePrice](https://azureprice.net/) | Analytics | Main Product | — | — | [Blog, November 2022](https://blog.devgenius.io/how-i-migrate-to-clickhouse-and-speedup-my-backend-7x-and-decrease-cost-by-6x-part-1-2553251a9059) |
|
||||||
|
| [AzurGames](https://azurgames.com/) | Gaming | Analytics | — | — | [AWS Blog, Aug 2024](https://aws.amazon.com/blogs/gametech/azur-games-migrates-all-game-analytics-data-to-clickhouse-cloud-on-aws/) |
|
||||||
|
| [B2Metric](https://b2metric.com/) | Marketing | Analytics | — | — | [ProductHunt, July 2023](https://www.producthunt.com/posts/b2metric-decision-intelligence?bc=1) |
|
||||||
|
| [Backpack Exchange](https://backpack.exchange/) | FinTech | Analytics | — | — | [Meetup, June 2024](https://clickhouse.com/videos/tokyo-meetup-orchestrating-multibillion-row-database-migration-to-clickhouse) |
|
||||||
|
| [BIGO](https://www.bigo.sg/) | Video | Computing Platform | — | — | [Blog Article, August 2020](https://www.programmersought.com/article/44544895251/) |
|
||||||
|
| [Badoo](https://badoo.com) | Dating | Timeseries | — | 1.6 mln events/sec (2018) | [Slides in Russian, December 2019](https://presentations.clickhouse.com/meetup38/forecast.pdf) |
|
||||||
|
| [Baidu](https://www.baidu.com/) | Internet services | Data warehousing | - | - | [GitHub](https://github.com/ClickHouse/ClickHouse/pull/60361) |
|
||||||
|
| [Baselime](https://baselime.io/) | Software & Technology | Observability for Serverless | — | — | [Official website](https://baselime.io/) |
|
||||||
|
| [Basic RUM](https://www.basicrum.com/) | Software & Technology | Real User Monitoring | — | — | [Official website](https://www.basicrum.com/) |
|
||||||
|
| [Beehiiv](https://www.beehiiv.com/) | Marketing | Analytics | — | — | [Blog, Aug 2024](https://clickhouse.com/blog/data-hive-the-story-of-beehiivs-journey-from-postgres-to-clickhouse) |
|
||||||
|
| [Beeline](https://beeline.ru/) | Telecom | Data Platform | — | — | [Blog post, July 2021](https://habr.com/en/company/beeline/blog/567508/) |
|
||||||
|
| [Beetested](https://www.beetested.com/) | Software & Technology | Game Testing | — | — | [Case Study, June 2023](https://double.cloud/resources/case-studies/beetested-analyze-millions-of-gamers-emotions-with-doublecloud/) |
|
||||||
|
| [Benocs](https://www.benocs.com/) | Network Telemetry and Analytics | Main Product | — | — | [Meetup Video, December 2022](https://www.youtube.com/watch?v=48pAVShkeCY&list=PL0Z2YDlm0b3iNDUzpY1S3L_iV4nARda_U&index=12) [Slides, December 2022](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup66/Self%20repairing%20processing%20using%20ClickHouse.pdf) [Blog Post, March 2022](https://clickhouse.com/blog/-indexing-for-data-streams-benocs-telco/) [Slides in English, October 2017](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup9/lpm.pdf) |
|
||||||
|
| [Bento](https://bento.me/en/home) | Software & Technology | Personal Portfolio | — | — | [Twitter, May 2023](https://twitter.com/gubmee/status/1653405962542219264) |
|
||||||
|
| [Better Stack](https://betterstack.com/) | Cloud, SaaS | Log Management | - | - | [Official Website](https://betterstack.com/logtail) |
|
||||||
|
| [BiliBili](https://www.bilibili.com/) | Video sharing | — | — | — | [Blog post, June 2021](https://chowdera.com/2021/06/20210622012241476b.html) |
|
||||||
|
| [Binom](https://binom.org/) | Analytics | Website analytics | — | — | [Twitter, 2023](https://twitter.com/BinomTracker/status/1722948130948206940) |
|
||||||
|
| [Bitquery](https://bitquery.io/) | Software & Technology | Blockchain Data Company | — | — | [HackerNews, December 2020](https://bitquery.io/blog/blockchain-intelligence-system) |
|
||||||
|
| [Bloomberg](https://www.bloomberg.com/) | Finance, Media | Monitoring | — | — | [Meetup Video, December 2022](https://www.youtube.com/watch?v=HmJTIrGyVls&list=PL0Z2YDlm0b3iNDUzpY1S3L_iV4nARda_U&index=9) [Slides, December 2022](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup67/ClickHouse%20for%20Financial%20Analytics%20-%20Bloomberg.pdf) |
|
||||||
|
| [Bloxy](https://bloxy.info) | Blockchain | Analytics | — | — | [Slides in Russian, August 2018](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup17/4_bloxy.pptx) |
|
||||||
|
| [Bonree](https://www.bonree.com/) | Software & Technology | Performance Monitoring & Observability | — | — | ClickHouse Meetup in Hangzhou, May 2024 |
|
||||||
|
| [Bonside](https://www.bonside.com/) | FinTech | - | — | — | [HackerNews, July 2023](https://news.ycombinator.com/item?id=36619722) |
|
||||||
|
| [Botify](https://www.botify.com/) | SaaS | SEO | — | — | [Blog Article, September 2022](https://tech.marksblogg.com/billion-taxi-rides-doublecloud-clickhouse.html) |
|
||||||
|
| [Braintrust](https://www.usebraintrust.com/) | Software & Technology | Real-time Analytics | — | — | [Written Blog from Meetup Video, July 2024](https://clickhouse.com/blog/building-better-ai-products-faster-how-braintrust-uses-clickhouse-for-real-time-data-analysis) |
|
||||||
|
| [ByConity](https://byconity.github.io/)| Software & Technology | Big Data Analysis Engine | — | — | [GitHub](https://github.com/ByConity/ByConity) |
|
||||||
|
| [Bytedance](https://www.bytedance.com) | Social platforms | — | — | — | [The ClickHouse Meetup East, October 2020](https://www.youtube.com/watch?v=ckChUkC3Pns) |
|
||||||
|
| [CARTO](https://carto.com/) | Business Intelligence | Geo analytics | — | — | [Geospatial processing with ClickHouse](https://carto.com/blog/geospatial-processing-with-clickhouse/) |
|
||||||
|
| [CERN](http://public.web.cern.ch/public/) | Research | Experiment | — | — | [Press release, April 2012](https://www.yandex.com/company/press_center/press_releases/2012/2012-04-10/) |
|
||||||
|
| [CHEQ](https://cheq.ai/) | Software & Technology | GTM Security | — | — | [Meetup Video, January 2023](https://www.youtube.com/watch?v=rxIO6w4er3k&list=PL0Z2YDlm0b3iNDUzpY1S3L_iV4nARda_U&index=7) [Slides, January 2023](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup68/ClickHouse%20Meetup%20-%20CHEQ.pptx.pdf) |
|
||||||
|
| [Campaign Deputy](https://campaigndeputy.com/) | SaaS | Analytics, Logs | — | — | [Twitter, February 2023](https://twitter.com/joshabartley/status/1627669208074014721), [Tweet, July 2023](https://twitter.com/joshabartley/status/1677008728711651331) |
|
||||||
|
| [Canopus Networks](https://canopusnetworks.com/) | AI for telcos | Real-time analytics | - | - | [Meetup Presentation](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup126/Talk%20Track%201%20-%20Canopus%20Networks.pdf) |
|
||||||
|
| [Capgo.app](https://capgo.app/) | App development | Real-time statistics | - | - | [Twitter](https://twitter.com/martindonadieu/status/1735728943406219736) |
|
||||||
|
| [CardsMobile](https://cardsmobile.ru/) | Finance | Analytics | — | — | [VC.ru](https://vc.ru/s/cardsmobile/143449-rukovoditel-gruppy-analiza-dannyh) |
|
||||||
|
| [Castle](https://castle.io/) | Fraud Detection | Main product | — | — | [Community Slack](https://clickhouse.com/slack) |
|
||||||
|
| [Cato Networks](https://www.catonetworks.com/) | Network Security | Security event analytics | — | 8B (4TB) new events per day | [Full Stack Developers Israel, Jan 2023](https://www.youtube.com/watch?v=Is4TC2gf5EM) |
|
||||||
|
| [CDN77](https://www.cdn77.com/) | Software & Technology | Content Delivery Network | — | — | [GitHub Comment, April 2024](https://github.com/ClickHouse/ClickHouse/issues/61093#issuecomment-2070150654) |
|
||||||
|
| [Chainbase](https://chainbase.online/) | Blockchain | Main product | — | — | [Documentation](https://docs.chainbase.online/r/data-cloud-studio/data-cloud-api) |
|
||||||
|
| [ChatLayer](https://chatlayer.ai/) | AI virtual assistants | Analytics | — | — | [Press Release, December 2021](https://aiven.io/blog/aiven-for-clickhouse-now-generally-available) |
|
||||||
|
| [Checkly](https://www.checklyhq.com/) | Software Development | Analytics | — | — | [Twitter, October 2021](https://twitter.com/tim_nolet/status/1445810665743081474?s=20) |
|
||||||
|
| [ChelPipe Group](https://chelpipegroup.com/) | Analytics | — | — | — | [Blog post, June 2021](https://vc.ru/trade/253172-tyazhelomu-proizvodstvu-user-friendly-sayt-internet-magazin-trub-dlya-chtpz) |
|
||||||
|
| [Chroma](https://www.trychroma.com/) | Software & Technology | AI-native embedded database | — | — | [GitHub Repository](https://github.com/chroma-core/chroma) [Twitter, February 2023](https://twitter.com/atroyn/status/1625605732644298752) |
|
||||||
|
| [CipherStash](https://cipherstash.com/) | Software & Technology | Analytics | — | — | [Meetup Presentation](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup126/Talk%20Track%203%20-%20CipherStash.pdf) |
|
||||||
|
| [Cisco](http://cisco.com/) | Networking | Traffic analysis | — | — | [Lightning talk, October 2019](https://youtu.be/-hI1vDR2oPY?t=5057) |
|
||||||
|
| [Citadel Securities](https://www.citadelsecurities.com/) | Finance | — | — | — | [Contribution, March 2019](https://github.com/ClickHouse/ClickHouse/pull/4774) |
|
||||||
|
| [Citymobil](https://city-mobil.ru) | Taxi | Analytics | — | — | [Blog Post in Russian, March 2020](https://habr.com/en/company/citymobil/blog/490660/) |
|
||||||
|
| [Clearbit](https://clearbit.com/) | AI | Product usage | — | — | ClickHouse Cloud user |
|
||||||
|
| [ClickFunnels](https://www.clickfunnels.com/) | Website Builder | | — | — | ClickHouse Cloud user |
|
||||||
|
| [ClickVisual](https://clickvisual.net/) | Software | Logging Platform | — | — | [Blog Post, May 2022](https://golangexample.com/a-light-weight-log-visual-analytic-platform-for-clickhouse/) |
|
||||||
|
| [Clog](https://www.hybridlogic.co.uk/) | Software & Technology | Logging | — | — | [Blog, February 2023](https://www.hybridlogic.co.uk/2023/02/clog/) |
|
||||||
|
| [Cloudflare](https://cloudflare.com) | CDN | Traffic analysis | 36 servers | — | [Blog post, May 2017](https://blog.cloudflare.com/how-cloudflare-analyzes-1m-dns-queries-per-second/), [Blog post, March 2018](https://blog.cloudflare.com/http-analytics-for-6m-requests-per-second-using-clickhouse/) |
|
||||||
|
| [CloudRaft](https://www.cloudraft.io/) | Software & Technology | Consulting Services | — | — | [Twitter, May 2024](https://x.com/anjuls/status/1792048331805606156) |
|
||||||
|
| [Codegiant](https://codegiant.io/) | Security | Main product | — | — | [Blog, December 2023](https://blog.codegiant.io/clickhouse-in-codegiant-observability-ecosystem/) |
|
||||||
|
| [Cognitiv](https://cognitiv.ai/) | AdTech | Offline Feature Store | — | — | [Blog, Aug 2024](https://clickhouse.com/blog/transforming-ad-tech-how-cognitiv-uses-clickhouse-to-build-better-machine-learning-models) |
|
||||||
|
| [Coinhall](https://coinhall.org/) | Web3 | Blockchain Data Platform | — | — | [Blog, Aug 2024](https://clickhouse.com/blog/trade-secrets-how-coinhall-uses-clickhouse-to-power-its-blockchain-data-platform) |
|
||||||
|
| [Coinpaprika](https://coinpaprika.com/) | Software & Technology | Cryptocurrency Market Data Analysis | — | — | [Blog, May 2023](https://clickhouse.com/blog/coinpaprika-aggregates-pricing-data) |
|
||||||
|
| [Comcast](https://corporate.comcast.com/) | Media | CDN Traffic Analysis | — | — | [ApacheCon 2019 Talk](https://www.youtube.com/watch?v=e9TZ6gFDjNg) |
|
||||||
|
| [Common Room](https://www.commonroom.io/) | Marketing SaaS | Real-Time Analytics | — | — | [Seattle Meetup, March 2024](https://www.youtube.com/watch?v=liTgGiTuhJE) |
|
||||||
|
| [Constructor](https://constructor.io/) | E-commerce Search | E-commerce Search | — | — | ClickHouse Cloud user |
|
||||||
|
| [Contentsquare](https://contentsquare.com) | Web analytics | Main product | — | — | [Meetup Video, January 2023](https://www.youtube.com/watch?v=zvuCBAl2T0Q&list=PL0Z2YDlm0b3iNDUzpY1S3L_iV4nARda_U&index=5) [Blog Post, October 2022](https://clickhouse.com/blog/contentsquare-migration-from-elasticsearch-to-clickhouse) [Blog post in French, November 2018](http://souslecapot.net/2018/11/21/patrick-chatain-vp-engineering-chez-contentsquare-penser-davantage-amelioration-continue-que-revolution-constante/) |
|
||||||
|
| [Coroot](https://coroot.com/) | Software & Technology | Observability | — | — | [Twitter, July 2023](https://twitter.com/coroot_com/status/1680993372385804288?s=20) |
|
||||||
|
| [Corsearch](https://corsearch.com/) | Marketing SaaS (Brand Protection) | Main Datastore | — | — | [Seattle Meetup, March 2023](https://www.youtube.com/watch?v=BuS8jFL9cvw&list=PL0Z2YDlm0b3iNDUzpY1S3L_iV4nARda_U&index=10) |
|
||||||
|
| [Corunet](https://coru.net/) | Analytics | Main product | — | — | [Slides in English, April 2019](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup21/predictive_models.pdf) |
|
||||||
|
| [Covalent](https://www.covalenthq.com/) | Financial - Crypto | Blockchain analysis | — | — | ClickHouse Cloud user |
|
||||||
|
| [CraiditX 氪信](https://www.creditx.com) | Finance AI | Analysis | — | — | [Slides in English, November 2019](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup33/udf.pptx) |
|
||||||
|
| [Craigslist](https://sfbay.craigslist.org/) | Classifieds | Rate limiting (Redis replacement) | — | — | [SF Meetup, March 2024](https://www.youtube.com/watch?v=wRwqrbUjRe4&list=PL0Z2YDlm0b3iNDUzpY1S3L_iV4nARda_U&index=9) |
|
||||||
|
| [Crazypanda](https://crazypanda.ru/en/) | Games | | — | — | Live session on ClickHouse meetup |
|
||||||
|
| [Criteo](https://www.criteo.com/) | Retail | Main product | — | — | [Slides in English, October 2018](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup18/3_storetail.pptx) |
|
||||||
|
| [Cryptology](https://cryptology.com/) | Digital Assets Trading Platform | — | — | — | [Job advertisement, March 2021](https://career.habr.com/companies/cryptology/vacancies) |
|
||||||
|
| [Culver Max Entertainment/Sony Pictures](https://www.sonypicturesnetworks.com/overview) | Television/Entertainment | Media streaming analytics | — | — | ClickHouse Cloud user |
|
||||||
|
| [Cumul.io](https://www.cumul.io) | Software & Technology | Customer Analytics | — | — | [Blog Post, June 2022](https://clickhouse.com/blog/optimizing-your-customer-facing-analytics-experience-with-cumul-io-and-clickhouse) |
|
||||||
|
| [DB Pilot](https://www.dbpilot.io/)| Software & Technology | Database GUI | — | — | [Twitter, August 2023](https://twitter.com/dennis_hellweg/status/1701349566354686143) |
|
||||||
|
| [DENIC](https://www.denic.de/) | Software & Technology | Data Science Analytics | — | — | [Blog Post, May 2022](https://clickhouse.com/blog/denic-improves-query-times-by-10x-with-clickhouse) |
|
||||||
|
| [DNSMonster](https://dnsmonster.dev/) | Software & Technology | DNS Monitoring | — | — | [GitHub Repository](https://github.com/mosajjal/dnsmonster) |
|
||||||
|
| [Darwinium](https://www.darwinium.com/) | Software & Technology | Security and Fraud Analytics | — | — | [Blog Post, July 2022](https://clickhouse.com/blog/fast-feature-rich-and-mutable-clickhouse-powers-darwiniums-security-and-fraud-analytics-use-cases) |
|
||||||
|
| [Dashdive](https://www.dashdive.com/) | Infrastructure management | Analytics | — | — | [Hackernews, 2024](https://news.ycombinator.com/item?id=39178753) |
|
||||||
|
| [Dassana](https://lake.dassana.io/) | Cloud data platform | Main product | - | - | [Blog Post, Jan 2023](https://clickhouse.com/blog/clickhouse-powers-dassanas-security-data-lake) [Direct reference, April 2022](https://news.ycombinator.com/item?id=31111432) |
|
||||||
|
| [Datafold](https://www.datafold.com/) | Data Reliability Platform | — | — | — | [Job advertisement, April 2022](https://www.datafold.com/careers) |
|
||||||
|
| [Dataliance for China Telecom](https://www.chinatelecomglobal.com/) | Telecom | Analytics | — | — | [Slides in Chinese, January 2018](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup12/telecom.pdf) |
|
||||||
|
| [DeepFlow](https://deepflow.io) | Software & Technology | Observability | — | — | [GitHub](https://github.com/deepflowio/deepflow) |
|
||||||
|
| [DeepL](https://www.deepl.com/) | Machine Learning | — | — | — | [Blog Post, July 2022](https://clickhouse.com/blog/deepls-journey-with-clickhouse) [Video, October 2021](https://www.youtube.com/watch?v=WIYJiPwxXdM&t=1182s) |
|
||||||
|
| [Deepglint 格灵深瞳](https://www.deepglint.com/) | AI, Computer Vision | OLAP | — | — | [Official Website](https://www.deepglint.com/) |
|
||||||
|
| [Deeplay](https://deeplay.io/eng/) | Gaming Analytics | — | — | — | [Job advertisement, 2020](https://career.habr.com/vacancies/1000062568) |
|
||||||
|
| [Depot](https://depot.dev/) | Software & Technology | CI & Build Acceleration | — | — | [Twitter, April 2024](https://twitter.com/jacobwgillespie/status/1778463642150695048) |
|
||||||
|
| [Deutsche Bank](https://db.com) | Finance | BI Analytics | — | — | [Meetup Video, December 2022](https://www.youtube.com/watch?v=O3GJ6jag3Hc&list=PL0Z2YDlm0b3iNDUzpY1S3L_iV4nARda_U&index=11) [Slides in English, October 2019](https://bigdatadays.ru/wp-content/uploads/2019/10/D2-H3-3_Yakunin-Goihburg.pdf) |
|
||||||
|
| [DevHubStack](http://devhubstack.com/) | Software & Technology | Community Management | — | — | [Twitter, May 2024](https://twitter.com/thedevhubstack/status/1790655455229771789) |
|
||||||
|
| [Didi](https://web.didiglobal.com/) | Transportation & Ride Sharing | Observability | 400+ logging, 40 tracing | PBs/day / 40GB/s write throughput, 15M queries/day, 200 QPS peak | [Blog, Apr 2024](https://clickhouse.com/blog/didi-migrates-from-elasticsearch-to-clickHouse-for-a-new-generation-log-storage-system) |
|
||||||
|
| [DigiCert](https://www.digicert.com) | Network Security | DNS Platform | — | over 35 billion events per day | [Job posting, Aug 2022](https://www.indeed.com/viewjob?t=Senior+Principal+Software+Engineer+Architect&c=DigiCert&l=Lehi,+UT&jk=403c35f96c46cf37&rtk=1g9mnof7qk7dv800) |
|
||||||
|
| [Disney+](https://www.disneyplus.com/) | Video Streaming | Analytics | — | 395 TiB | [Meetup Video, December 2022](https://www.youtube.com/watch?v=CVVp6N8Xeoc&list=PL0Z2YDlm0b3iNDUzpY1S3L_iV4nARda_U&index=8) [Slides, December 2022](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup67/Disney%20plus%20ClickHouse.pdf) |
|
||||||
|
| [Dittofeed](https://dittofeed.com/) | Software & Technology | Open Source Customer Engagement | — | — | [Hackernews, June 2023](https://news.ycombinator.com/item?id=36061344) |
|
||||||
|
| [Diva-e](https://www.diva-e.com) | Digital consulting | Main Product | — | — | [Slides in English, September 2019](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup29/ClickHouse-MeetUp-Unusual-Applications-sd-2019-09-17.pdf) |
|
||||||
|
| [Dolphin Emulator](https://dolphin-emu.org/) | Games | Analytics | — | — | [Twitter, Sept 2022](https://twitter.com/delroth_/status/1567300096160665601) |
|
||||||
|
| [DotSentry](https://forum.polkadot.network/t/dotsentry-ecosystem-wide-monitoring-solution/8210) | Software & Technology | Monitoring for Polkadot Ecosystem | — | — | [Forum Post, May 2024](https://forum.polkadot.network/t/dotsentry-ecosystem-wide-monitoring-solution/8210) |
|
||||||
|
| [DrDroid](https://www.drdroid.io/)| Software & Technology | Monitoring | — | — | [Slack, August 2023](https://clickhousedb.slack.com/archives/C04N3AU38DV/p1694151014185729) |
|
||||||
|
| [Duckbill Group](https://www.duckbillgroup.com/)| Software & Technology | — | — | — | [Twitter, May 2024](https://twitter.com/mike_julian/status/1789737184192315876) |
|
||||||
|
| [eBay](https://www.ebay.com/) | E-commerce | Logs, Metrics and Events | — | — | [Official website, Sep 2020](https://tech.ebayinc.com/engineering/ou-online-analytical-processing/) |
|
||||||
|
| [Ecommpay](https://ecommpay.com/) | Payment Processing | Logs | — | — | [Video, Nov 2019](https://www.youtube.com/watch?v=d3GdZTOWGLk) |
|
||||||
|
| [Ecwid](https://www.ecwid.com/) | E-commerce SaaS | Metrics, Logging | — | — | [Slides in Russian, April 2019](https://nastachku.ru/var/files/1/presentation/backend/2_Backend_6.pdf) |
|
||||||
|
| [Effodio](https://www.effodio.com/) | Observability, Root cause analysis | Event storage | - | - | [Blog, 2024](https://peng.fyi/post/factorial-growth-of-clickhouse-with-clause/)|
|
||||||
|
| [Egg](https://github.com/ducc/egg) | Error Aggregation | Main Product | — | — | [GitHub repository](https://github.com/ducc/egg) |
|
||||||
|
| [Engage](https://engage.so/) | Software & Technology | Customer Engagement | — | — | [Twitter Post, May 2024](https://x.com/kehers/status/1793935987778724038) |
|
||||||
|
| [Ensemble](https://ensembleanalytics.io/) | Analytics | Analytics | — | — | [Official website, Sep 2020](https://ensembleanalytics.io/blog/why-we-went-all-in-clickhouse) |
|
||||||
|
| [EventBunker.io](https://www.eventbunker.io/) | Serverless Data Processing | — | — | — | [Twitter, April 2021](https://twitter.com/Halil_D_/status/1379839133472985091) |
|
||||||
|
| [ExitLag](http://www.exitlag.com/) | Software & Technology | Gaming Data Routing | — | — | [Blog, June 2023](https://clickhouse.com/blog/boosting-game-performance-exitlag-quest-for-a-better-data-management-system) |
|
||||||
|
| [ExitLag](https://www.exitlag.com/) | Software & Technology | Optimized Gaming Experience | — | — | [ClickHouse Blog, June 2023](https://clickhouse.com/blog/boosting-game-performance-exitlag-quest-for-a-better-data-management-system) |
|
||||||
|
| [Exness](https://www.exness.com/) | Trading | Metrics, Logging | — | — | [Talk in Russian, May 2019](https://youtu.be/_rpU-TvSfZ8?t=3215) |
|
||||||
|
| [Explo](https://www.explo.co/) | Analytics | - | — | — | [Integrations Page, August 2022](https://www.explo.co/integrations/clickhouse) |
|
||||||
|
| [Fastly](https://www.fastly.com/) | Internet Services | Metrics (Graphite replacement) | — | — | [Boston Meetup, Dec 2023](https://clickhouse.com/videos/scaling-graphite-with-clickhouse) |
|
||||||
|
| [FastNetMon](https://fastnetmon.com/) | DDoS Protection | Main Product | | — | [Official website](https://fastnetmon.com/docs-fnm-advanced/fastnetmon-advanced-traffic-persistency/) |
|
||||||
|
| [Fastnear](https://fastnear.com/) | Infrastructure | Main product | — | — | [Twitter, 2024](https://twitter.com/ekuzyakov/status/1762500731154698421) |
|
||||||
|
| [FeatBit](https://www.featbit.co/) | Software & Technology | Feature Flag Management | — | — | [GitHub, August 2023](https://github.com/featbit/featbit) |
|
||||||
|
| [FinBox](https://finbox.in/)| Software & Technology | Financial Services | — | — | [Slack](https://clickhousedb.slack.com/archives/C04N3AU38DV/p1688198501884219) |
|
||||||
|
| [Fingerprint](https://fingerprint.com/) | Fraud detection | Fraud detection | — | — | [Meetup](https://www.linkedin.com/posts/system29a_clickhouse-meetup-in-berlin-tue-may-16-activity-7063805876570050561-UE-n/) |
|
||||||
|
| [Firebolt](https://www.firebolt.io/) | Analytics | Main product | - | - | [VLDB 2022 paper](https://www.firebolt.io/content/firebolt-vldb-cdms-2022), [VLDB 2022 slides](https://cdmsworkshop.github.io/2022/Slides/Fri_C2.5_MoshaPasumansky.pdf) |
|
||||||
|
| [Fl0](https://www.fl0.com/) | Cloud | Server management | - | - | [Meetup presentation](https://presentations.clickhouse.com/?path=meetup94) |
|
||||||
|
| [Flipkart](https://www.flipkart.com/) | e-Commerce | — | — | — | [Talk in English, July 2020](https://youtu.be/GMiXCMFDMow?t=239) |
|
||||||
|
| [Flipt](https://www.flipt.io/) | Software | Software development management | - | - | [Blog, 2024](https://www.flipt.io/blog/analytics-with-clickhouse) |
|
||||||
|
| [FortiSIEM](https://www.fortinet.com/) | Information Security | Supervisor and Worker | — | — | [Documentation](https://help.fortinet.com/fsiem/6-6-0/Online-Help/HTML5_Help/clickhouse_config.htm) |
|
||||||
|
| [Fortis Games](https://fortisgames.com/) | Game studio | Online data analytics | - | — | [Blog post, July 2023](https://thenewstack.io/a-real-time-data-platform-for-player-driven-game-experiences/) |
|
||||||
|
| [Foxway](https://www.foxway.com/en/) | Software & Technology | e-Commerce | — | — | [ClickHouse Meetup, April 2024](https://twitter.com/ClickHouseDB/status/1782833838886121492) |
|
||||||
|
| [Friendly Captcha](https://friendlycaptcha.com) | Bot Protection | — | — | — | [Job Posting, Aug 2022](https://news.ycombinator.com/item?id=32311825) |
|
||||||
|
| [FunCorp](https://fun.co/rp) | Games | | — | 14 bn records/day as of Jan 2021 | [Article](https://www.altinity.com/blog/migrating-from-redshift-to-clickhouse) |
|
||||||
|
| [Futurra Group](https://futurragroup.com/) | Analytics | — | — | — | [Article in Russian, December 2021](https://dou.ua/forums/topic/35587/) |
|
||||||
|
| [G-Core Labs](https://gcorelabs.com/) | Security | Main product | — | — | [Job posting, May 2022](https://careers.gcorelabs.com/jobs/Careers) |
|
||||||
|
| [Galaxy-Future](https://www.galaxy-future.com/en/home) | Software & Technology | Metric Monitoring & Measurement | — | — | [CudgX GitHub Repository](https://github.com/galaxy-future/cudgx) |
|
||||||
|
| [Geniee](https://geniee.co.jp) | Ad network | Main product | — | — | [Blog post in Japanese, July 2017](https://tech.geniee.co.jp/entry/2017/07/20/160100) |
|
||||||
|
| [Genotek](https://www.genotek.ru/) | Bioinformatics | Main product | — | — | [Video, August 2020](https://youtu.be/v3KyZbz9lEE) |
|
||||||
|
| [Gigapipe](https://gigapipe.com/) | Managed ClickHouse | Main product | — | — | [Official website](https://gigapipe.com/) |
|
||||||
|
| [Gigasheet](https://gigasheet.co/) | Analytics | Main product | — | — | Direct Reference, February 2022|
|
||||||
|
| [GitLab](https://gitlab.com/) | Code and DevOps | APM | — | — | [Official website](https://gitlab.com/gitlab-org/incubation-engineering/apm/apm) |
|
||||||
|
| [Glaber](https://glaber.io/) | Monitoring | Main product | — | — | [Website](https://glaber.io/) |
|
||||||
|
| [Glenrose Group](https://www.glenrosegroup.com/) | Expense management | — | — | — | [Twitter](https://twitter.com/EncodedRose/status/1706145758897180783) |
|
||||||
|
| [Gluten](https://github.com/oap-project/gluten) | Software & Technology | Spark performance | — | — | [Github, July 2023](https://github.com/oap-project/gluten) |
|
||||||
|
| [Goldsky](https://goldsky.com/) | Software & Technology | Blockchain data analytics | - | — | [Documentation, July 2023](https://docs.goldsky.com/) |
|
||||||
|
| [Good Job Games](https://goodjobgames.com/) | Games | Event Processing | — | — | [Job Posting, Aug 2022](https://news.ycombinator.com/item?id=32313170) |
|
||||||
|
| [Goodpeople](https://twitter.com/_suzychoi/status/1702113350258180245) | Human Resources | OLAP | — | — | [Twitter, 2023](https://twitter.com/_suzychoi/status/1702113350258180245) |
|
||||||
|
| [Gorgias](https://www.gorgias.com/) | Software & Technology | eCommerce Helpdesk Analytics | — | — | [ClickHouse Slack, April 2023](https://clickhousedb.slack.com/archives/C04N3AU38DV/p1682502827729909) |
|
||||||
|
| [Grafbase](https://grafbase.com/) | Software & Technology | GraphQL API Management | — | — | [Blog, June 2023](https://grafbase.com/blog/how-to-build-your-own-realtime-analytics-dashboards) |
|
||||||
|
| [GraphCDN](https://graphcdn.io/) | CDN | Traffic Analytics | — | — | [Blog Post in English, August 2021](https://altinity.com/blog/delivering-insight-on-graphql-apis-with-clickhouse-at-graphcdn/) |
|
||||||
|
| [GraphJSON](https://www.graphjson.com) | Cloud analytics platform | Main product | - | - | [Official Website, November 2021](https://www.graphjson.com/guides/about) |
|
||||||
|
| [GraphQL Hive](https://graphql-hive.com/) | Software Development | Traffic analysis | — | — | [Source code](https://github.com/kamilkisiela/graphql-hive) |
|
||||||
|
| [Groundcover](https://groundcover.com/) | Observability | Kubernetes Observability | - | — | [Documentation, July 2023](https://docs.groundcover.com/docs/learn-more/architecture) |
|
||||||
|
| [Grouparoo](https://www.grouparoo.com) | Data Warehouse Integrations | Main product | — | — | [Official Website, August 2021](https://www.grouparoo.com/integrations) |
|
||||||
|
| [Growthbook](https://www.growthbook.io) | Open Source Feature Flagging | Integration | — | — | [Official Website, July 2022](https://www.growthbook.io) |
|
||||||
|
| [Gumlet](https://www.gumlet.com/) | CDN | Analytics | — | — | [Meetup Presentation](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup133/Talk%20Track%202%20-%20Gumlet.pdf) |
|
||||||
|
| [HUYA](https://www.huya.com/) | Video Streaming | Analytics | — | — | [Slides in Chinese, October 2018](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup19/7.%20ClickHouse万亿数据分析实践%20李本旺(sundy-li)%20虎牙.pdf) |
|
||||||
|
| [Haibo 海博科技](https://www.botech.com.cn/) | Big Data | OLAP | — | — | [Personal reference](https://github.com/ClickHouse/clickhouse-docs/pull/279) |
|
||||||
|
| [Helicone](https://helicone.ai) | Software & Technology | LLM monitoring | — | — | [Meetup, August 2023](https://clickhouse.com/blog/helicones-migration-from-postgres-to-clickhouse-for-advanced-llm-monitoring) |
|
||||||
|
| [Hewlett-Packard](https://www.hp.com) | Software & Technology | - | — | — | [LinkedIn post, November 2023](https://www.indeed.com/viewjob?t=Machine+Learning+Engineer&c=Hewlett-Packard+CDS+GmbH&l=Houston,+TX&jk=109385f349350746&rtk=1hg3128s9kkf6800) |
|
||||||
|
| [Hi-Fi](https://hi.fi/) | Software & Technology | Music Industry Analytics | — | — | [Blog Post, January 2023](https://clickhouse.com/blog/hifis-migration-from-bigquery-to-clickhouse) |
|
||||||
|
| [Highlight](https://www.highlight.io/) | Software & Technology | Monitoring | — | — | [Hacker News, February 2023](https://news.ycombinator.com/item?id=34897645), [GitHub](https://github.com/highlight/highlight/tree/87f7e3882b88e9019d690847a134231e943890fe/backend/clickhouse) |
|
||||||
|
| [HockeyStack](https://hockeystack.com/) | Analytics platform | OLAP | — | — | [Blog](https://hockeystack.com/blog/a-new-database/) |
|
||||||
|
| [Honeybadger](https://www.honeybadger.io/) | Software | Error tracking | - | - | [Mastadon 2024](https://hachyderm.io/@wood/111904268945097226) |
|
||||||
|
| [Hookdeck](https://hookdeck.com/) | Software & Technology | Webhook | — | — | [Twitter, June 2023](https://twitter.com/mkherlakian/status/1666214460824997889) |
|
||||||
|
| [Hopsteiner](https://www.hopsteiner.com/) | Agriculture | - | — | — | [Job post, July 2023](https://www.indeed.com/viewjob?t=Systems+Administrator&c=S+S+STEINER&l=Yakima,+WA&jk=5b9b7336de0577d5&rtk=1h45ruu32j30q800&from=rss) |
|
||||||
|
| [Horizon](https://horizon.io/)| Software & Technology | Gaming Analytics | — | — | [Twitter, July 2023](https://twitter.com/peterk/status/1677099027110805504) |
|
||||||
|
| [Hubalz](https://hubalz.com) | Web analytics | Main product | — | — | [Twitter, July 2023](https://twitter.com/Derinilkcan/status/1676197439152312321) |
|
||||||
|
| [Hydrolix](https://www.hydrolix.io/) | Cloud data platform | Main product | — | — | [Documentation](https://docs.hydrolix.io/guide/query) |
|
||||||
|
| [HyperDx](https://www.hyperdx.io/) | Software & Technology | Open Telemetry | — | — | [HackerNews, May 2023](https://news.ycombinator.com/item?id=35881942) |
|
||||||
|
| [Hystax](https://hystax.com) | Cloud Operations | Observability Analytics | - | - | [Blog](https://hystax.com/clickhouse-for-real-time-cost-saving-analytics-how-to-stop-hammering-screws-and-use-an-electric-screwdriver/) |
|
||||||
|
| [IBM](https://www.ibm.com) | APM Platform | Ex-Instana | — | — | See Instana |
|
||||||
|
| [IBM QRadar](https://www.ibm.com) | IBM QRadar Log Insights | Main Product | — | — | [IBM Blog](https://www.ibm.com/blog/closing-breach-window-from-data-to-action/) |
|
||||||
|
| [ICA](https://www.the-ica.com/) | FinTech | Risk Management | — | — | [Blog Post in English, Sep 2020](https://altinity.com/blog/clickhouse-vs-redshift-performance-for-fintech-risk-management?utm_campaign=ClickHouse%20vs%20RedShift&utm_content=143520807&utm_medium=social&utm_source=twitter&hss_channel=tw-3894792263) |
|
||||||
|
| [Idealista](https://www.idealista.com) | Real Estate | Analytics | — | — | [Blog Post in English, April 2019](https://clickhouse.com/blog/en/clickhouse-meetup-in-madrid-on-april-2-2019) |
|
||||||
|
| [Improvado](https://improvado.io/) | Revenue Operations | Data Stack | — | — | [Blog Post, December 2021](https://improvado.io/blog/clickhouse-warehousing-pricing) |
|
||||||
|
| [INCREFF](https://www.increff.com/) | Retail Technology | Business Intelligence | — | — | [Meetup Presentation](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup133/Talk%20Track%203%20-%20Scaling%20BI%20at%20Increff%20with%20Clickhouse.pdf) |
|
||||||
|
| [Inigo](https://inigo.io/) | Software & Technology | GraphQL Gateway | — | — | [Blog, March 2023](https://inigo.io/blog/materialized_views_and_clickhouse) [Blog, June 2023](https://clickhouse.com/blog/harnessing-the-power-of-materialized-views-and-clickhouse-for-high-performance-analytics-at-inigo) |
|
||||||
|
| [Infobaleen](https://infobaleen.com) | AI markting tool | Analytics | — | — | [Official site](https://infobaleen.com) |
|
||||||
|
| [Infovista](https://www.infovista.com/) | Networks | Analytics | — | — | [Slides in English, October 2019](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup30/infovista.pdf) |
|
||||||
|
| [Inngest](https://www.inngest.com/) | Software & Technology | Serverless queues and jobs | — | — | [TechCrunch, July 2023](https://techcrunch.com/2023/07/12/inngest-helps-developers-build-their-backend-workflows-raises-3m/) |
|
||||||
|
| [InnoGames](https://www.innogames.com) | Games | Metrics, Logging | — | — | [Slides in Russian, September 2019](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup28/graphite_and_clickHouse.pdf) |
|
||||||
|
| [Instabug](https://instabug.com/) | APM Platform | Main product | — | — | [Blog Post, May 2022](https://clickhouse.com/blog/10x-improved-response-times-cheaper-to-operate-and-30-storage-reduction-why-instabug-chose-clickhouse-for-apm) |
|
||||||
|
| [Instacart](https://instacart.com/) | Delivery | Data Engineering and Infrastructure | — | — | [Blog Post, May 2022](https://www.instacart.com/company/how-its-made/data-engineering-and-infrastructure-at-instacart-with-engineering-manager-abhi-kalakuntla/) |
|
||||||
|
| [Instana](https://www.instana.com) | APM Platform | Main product | — | — | [Twitter post](https://twitter.com/mieldonkers/status/1248884119158882304) |
|
||||||
|
| [Integros](https://integros.com) | Platform for video services | Analytics | — | — | [Slides in Russian, May 2019](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup22/strategies.pdf) |
|
||||||
|
| [inwt](https://www.inwt-statistics.com/) | Software & Technology | Data Science | — | — | [Blog Post, December 2023](https://www.inwt-statistics.com/blog/business_case_air_pollution_forecast) |
|
||||||
|
| [Ippon Technologies](https://ippon.tech) | Technology Consulting | — | — | — | [Talk in English, July 2020](https://youtu.be/GMiXCMFDMow?t=205) |
|
||||||
|
| [Ivi](https://www.ivi.ru/) | Online Cinema | Analytics, Monitoring | — | — | [Article in Russian, Jan 2018](https://habr.com/en/company/ivi/blog/347408/) |
|
||||||
|
| [Jerry](https://getjerry.com/) | Automotive SaaS | Analytics (Migrate from Redshift) | — | — | [Blog, May 2024](https://juicefs.com/en/blog/user-stories/read-write-separation) |
|
||||||
|
| [Jinshuju 金数据](https://jinshuju.net) | BI Analytics | Main product | — | — | [Slides in Chinese, October 2019](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup24/3.%20金数据数据架构调整方案Public.pdf) |
|
||||||
|
| [Jitsu](https://jitsu.com) | Cloud Software | Data Pipeline | — | — | [Documentation](https://jitsu.com/docs/destinations-configuration/clickhouse-destination), [Hacker News post](https://news.ycombinator.com/item?id=29106082) |
|
||||||
|
| [JuiceFS](https://juicefs.com/) | Storage | Shopping Cart | - | - | [Blog](https://juicefs.com/blog/en/posts/shopee-clickhouse-with-juicefs/) |
|
||||||
|
| [June](https://www.june.so/) | Product analytics | Main product | - | - | [Job post](https://www.ycombinator.com/companies/june/jobs/SHd7fFLYG-founding-engineer) |
|
||||||
|
| [Juspay](https://juspay.in/) | Software & Technology | Payments | — | — | [Blog, March 2023](https://clickhouse.com/blog/juspay-analyzes-payment-transactions-in-real-time-with-clickhouse) |
|
||||||
|
| [KGK Global](https://www.kgk-global.com/en/) | Vehicle monitoring | — | — | — | [Press release, June 2021](https://zoom.cnews.ru/news/item/530921) |
|
||||||
|
| [KMK Online](https://www.kmkonline.co.id/) | Digital Services | Streaming analytics | — | — | ClickHouse Cloud user |
|
||||||
|
| [Kaiko](https://www.kaiko.com/) | Digital Assets Data Provider | — | — | — | [Job advertisement, April 2022](https://kaiko.talentlyft.com/) |
|
||||||
|
| [Kakaocorp](https://www.kakaocorp.com/) | Internet company | — | — | — | [if(kakao)2020](https://tv.kakao.com/channel/3693125/cliplink/414129353), [if(kakao)2021](https://if.kakao.com/session/24) |
|
||||||
|
| [Klaviyo](https://www.klaviyo.com/) | E-Commerce Marketing Automation Platform| — | 128 nodes | — | [Klaviyo Engineering Blog, Jan 2023](https://klaviyo.tech/adaptive-concurrency-control-for-mixed-analytical-workloads-51350439aeec) , [Klaviyo Engineering Blog, July 2023](https://klaviyo.tech/taking-the-first-sip-an-overview-of-klaviyos-segmentation-improvement-project-7db997f36b39) |
|
||||||
|
| [Knock.app](https://knock.app/) | Software | Notifications management | - | - | [Twitter, 2024](https://twitter.com/cjbell_/status/1759989849577181356)|
|
||||||
|
| [Kodiak Data](https://www.kodiakdata.com/) | Clouds | Main product | — | — | [Slides in Engish, April 2018](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup13/kodiak_data.pdf) |
|
||||||
|
| [Kontur](https://kontur.ru) | Software Development | Metrics | — | — | [Talk in Russian, November 2018](https://www.youtube.com/watch?v=U4u4Bd0FtrY) |
|
||||||
|
| [Kopo Kopo](https://kopokopo.co.ke/) | FinTech | Metrics | — | — | ClickHouse Cloud user |
|
||||||
|
| [Kuaishou](https://www.kuaishou.com/) | Video | — | — | — | [ClickHouse Meetup, October 2018](https://clickhouse.com/blog/en/2018/clickhouse-community-meetup-in-beijing-on-october-28-2018/) |
|
||||||
|
| [Kujiale 酷家乐](https://www.kujiale.com/) | VR smart interior design platform. | Use in log monitoring platform. | Main cluster is 800+ CPU cores, 4000+ GB RAM. | SSD 140+ TB, HDD 280+ TB. | [Blog, July 2023](https://juejin.cn/post/7251786922615111740/) |
|
||||||
|
| [Kyligence](https://kyligence.io/) | Managed Service | Main Product | — | — | [Website](https://kyligence.io/all-inclusive-olap/) |
|
||||||
|
| [LANCOM Systems](https://www.lancom-systems.com/) | Network Solutions | Traffic analysis | - | - | [ClickHouse Operator for Kubernetes](https://www.lancom-systems.com/), [Hacker News post](https://news.ycombinator.com/item?id=29413660) |
|
||||||
|
| [Langchain](https://www.langchain.com/) | Software & Technology | LLM Monitoring | - | - | [Blog, Apr 2024](https://clickhouse.com/blog/langchain-why-we-choose-clickhouse-to-power-langchain) |
|
||||||
|
| [Langtrace AI](https://www.langtrace.ai/) | Software & Technology | LLM Monitoring | - | - | [Twitter, May 2024](https://x.com/karthikkalyan90/status/1790483625743716703) |
|
||||||
|
| [Lago](https://www.getlago.com/) | Billing automation | - | — | — | [GitHub Wiki post](https://github.com/getlago/lago/wiki/How-ClickHouse-saved-our-events-engine-problem) |
|
||||||
|
| [Lagon](https://lagon.app/) | Software Development | Serverless Functions | — | — | [Twitter, 2023](https://twitter.com/tomlienard/status/1702759256909394010) |
|
||||||
|
| [Laudspeaker](https://laudspeaker.com/) | Software & Technology | Open Source Messaging | — | — | [GitHub](https://github.com/laudspeaker/laudspeaker) |
|
||||||
|
| [Lawrence Berkeley National Laboratory](https://www.lbl.gov) | Research | Traffic analysis | 5 servers | 55 TiB | [Slides in English, April 2019](https://www.smitasin.com/presentations/2019-04-17_DOE-NSM.pdf) |
|
||||||
|
| [Lever](https://www.lever.co/) | Talent Management | Recruiting | - | - | [Hacker News post](https://news.ycombinator.com/item?id=29558544) |
|
||||||
|
| [LifeStreet](https://lifestreet.com/) | Ad network | Main product | 75 servers (3 replicas) | 5.27 PiB | [Blog post in Russian, February 2017](https://habr.com/en/post/322620/) |
|
||||||
|
| [LimeChat](https://www.limechat.ai/) | Mobile chat | Whatsapp Commerce | - | - | [LinkedIn 2024](https://www.linkedin.com/pulse/scaling-analytics-clickhouse-story-nikhil-gupta-gezcc/)|
|
||||||
|
| [LiteLLM](https://github.com/BerriAI/litellm) | Software | API management | | - | [GitHub](https://github.com/BerriAI/litellm/blob/e7b88c2134a013f527304de29358238a5593f91f/cookbook/misc/clickhouse_insert_logs.py#L4) |
|
||||||
|
| [Little Red Book (Xiaohongshu)](http://www.xiaohongshu.com/) | Social Media | Data warehouse | — | — | [Presentation, March 2023](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup71/LittleRedBook.pdf) |
|
||||||
|
| [LogfireAI](https://logfire.ai/) | Software & Technology | Monitoring & Observability | — | — | [Twitter, March 2024](https://twitter.com/logfire_ai/status/1765947119200841883) |
|
||||||
|
| [LogSnag](https://logsnag.com/) | Software & Technology | Realtime Monitoring | — | — | [Interview, December 2022](https://founderbeats.com/shayan-on-building-and-growing-logsnag-as-a-solo-founder) |
|
||||||
|
| [Logtail](https://betterstack.com/logtail) | Cloud, SaaS | Log Management | - | - | [Official Website](https://betterstack.com/logtail) |
|
||||||
|
| [Loja Integrada](https://lojaintegrada.com.br/) | E-Commerce | — | — | — | [Case Study, March 2023](https://double.cloud/resources/case-studies/lojaintegrada-and-pagali-switch-to-doublecloud-to-make-running-clickhouse-easier) |
|
||||||
|
| [Lookforsale](https://lookforsale.ru/) | E-Commerce | — | — | — | [Job Posting, December 2021](https://telegram.me/javascript_jobs/587318) |
|
||||||
|
| [Loopme](https://loopme.com/) | AdTech | Analytics | — | — | [Blog, Aug 2024](https://clickhouse.com/blog/measuring-brand-impact-how-loopme-uses-clickhouse-to-deliver-better-brand-advertising-outcomes) |
|
||||||
|
| [Luabase](https://luabase.com/) | Software | Analytics | — | — | [Hacker News, April 2022](https://news.ycombinator.com/item?id=31040190) |
|
||||||
|
| [Lyft](https://lyft.com) | Rideshare | - | — | — | [Twitter, July 2023](https://twitter.com/riteshvaryani/status/1685160430606639104) |
|
||||||
|
| [MAXILECT](https://maxilect.com/) | Ad Tech, Blockchain, ML, AI | — | — | — | [Job advertisement, 2021](https://www.linkedin.com/feed/update/urn:li:activity:6780842017229430784/) |
|
||||||
|
| [MGID](https://www.mgid.com/) | Ad network | Web-analytics | — | — | [Blog post in Russian, April 2020](http://gs-studio.com/news-about-it/32777----clickhouse---c) |
|
||||||
|
| [MUX](https://mux.com/) | Online Video | Video Analytics | — | — | [Talk in English, August 2019](https://altinity.com/presentations/2019/8/13/how-clickhouse-became-the-default-analytics-database-for-mux/) |
|
||||||
|
| [Mail.ru Cloud Solutions](https://mcs.mail.ru/) | Cloud services | Main product | — | — | [Article in Russian](https://mcs.mail.ru/help/db-create/clickhouse#) |
|
||||||
|
| [Marfeel](https://www.marfeel.com/) | Mobile SaaS | — | — | — | Job offer, Apr 2022 |
|
||||||
|
| [Marilyn](https://tech.mymarilyn.ru) | Advertising | Statistics | — | — | [Talk in Russian, June 2017](https://www.youtube.com/watch?v=iXlIgx2khwc) |
|
||||||
|
| [MasMovil](https://www.masmovil.es/) | Telecom | Telecom services | - | - | [Blog](https://clickhouse.com/blog/how-grupo-masmovil-monitors-radio-access-networks-with-clickhouse) |
|
||||||
|
| [Match Systems](https://matchsystems.com/) | Software & Technology | Blockchain Intelligence & AML | — | — | [Job Posting, March 2024](https://telegra-ph.translate.goog/Senior-Database-Administrator-11-28?_x_tr_sl=ru&_x_tr_tl=en&_x_tr_hl=en&_x_tr_pto=wapp) |
|
||||||
|
| [Mello](https://mellodesign.ru/) | Marketing | Analytics | 1 server | — | [Article, October 2020](https://vc.ru/marketing/166180-razrabotka-tipovogo-otcheta-skvoznoy-analitiki) |
|
||||||
|
| [Memfault](https://https://memfault.com/) | Software & Technology | IOT Monitoring | — | — | [Job Listing, August 2023](https://www.ycombinator.com/companies/memfault/jobs/zALzwIe-backend-engineer-systems-data) |
|
||||||
|
| [cBioPortal](https://www.cbioportal.org/) | Healthcare | Datstore backing portal for cancer genomics | — | — | [NYC Meetup, Dec 2023](https://clickhouse.com/videos/fast-answers-in-cancer-research) |
|
||||||
|
| [MessageBird](https://www.messagebird.com) | Telecommunications | Statistics | — | — | [Slides in English, November 2018](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup20/messagebird.pdf) |
|
||||||
|
| [Metoda](https://metoda.com/) | Software & Technology | Advertisting | — | — | [ClickHouse Meetup, September 2022](https://www.youtube.com/watch?v=uS5uA-aZSlQ&t=1770s) |
|
||||||
|
| [MetricFire](https://www.metricfire.com) | Managed Service | Monitoring | — | — | [Blog, November 2022](https://www.metricfire.com/blog/using-clickhouse-with-metricfire) |
|
||||||
|
| [Microsoft - Clarity](https://clarity.microsoft.com/) | Web Analytics | Clarity (Main Product) | — | — | [Meetup Video, January 2023](https://www.youtube.com/watch?v=rUVZlquVGw0&list=PL0Z2YDlm0b3iNDUzpY1S3L_iV4nARda_U&index=2) [A question on GitHub](https://github.com/ClickHouse/ClickHouse/issues/21556) |
|
||||||
|
| [Microsoft - Titan](https://www.microsoft.com/) | Software & Technology | Internal Data Analytics (Titan) | — | — | [Meetup Video, January 2023](https://www.youtube.com/watch?v=r1ZqjU8ZbNs&list=PL0Z2YDlm0b3iNDUzpY1S3L_iV4nARda_U&index=2) |
|
||||||
|
| [Middleware](https://middleware.io/) | Software | Cloud management | - | - | [SF Meetup, March 2024](https://www.youtube.com/watch?v=xCLMuXJWx80&list=PL0Z2YDlm0b3iNDUzpY1S3L_iV4nARda_U&index=10) |
|
||||||
|
| [MindsDB](https://www.mindsdb.com/) | Machine Learning | Main Product | — | — | [Official Website](https://www.mindsdb.com/blog/machine-learning-models-as-tables-in-ch) |
|
||||||
|
| [Modeo](https://modeo.ai/) | Software & Technology | Data Engineering | — | — | [Blog, June 2023](https://clickhouse.com/blog/driving-sustainable-data-management-with-clickhouse-introducing-stash-by-modeo) |
|
||||||
|
| [moosejs](https://www.moosejs.com/) | Software & Technology | Open-source developer framework | — | — | [Blog Post, May 2024](https://www.fiveonefour.com/blog/product-update-2) |
|
||||||
|
| [Motodata](https://www.motadata.com/) | Monitoring | Main Product | — | — | [Official Website](https://www.motadata.com/docs) |
|
||||||
|
| [Muse Group](https://mu.se/) | Music Software | Performance Monitoring | — | — | [Blog post in Russian, January 2021](https://habr.com/en/post/647079/) |
|
||||||
|
| [MyScale](https://myscale.com/) | Software & Technology | AI Database | — | — | [Docs](https://docs.myscale.com/en/overview/) |
|
||||||
|
| [NANO Corp](https://nanocorp.fr/en/) | Software & Technology | NOC as a Service | — | — | [Blog Post, July 2022](https://clickhouse.com/blog/from-experimentation-to-production-the-journey-to-supercolumn) |
|
||||||
|
| [NGINX](https://nginx.com/) | Application Delivery Network | NGINX Management Suite | — | — | [Documentation](https://docs.nginx.com/nginx-management-suite/admin-guides/getting-started/prerequisites/configure-clickhouse/) |
|
||||||
|
| [NIC Labs](https://niclabs.cl/) | Network Monitoring | RaTA-DNS | — | — | [Blog post, March 2021](https://niclabs.cl/ratadns/2021/03/Clickhouse) |
|
||||||
|
| [Nixys](https://nixys.io/) | Software & Technology | DevOps, SRE and DevSecOps | — | — | [Blog Post, March 2024](https://habr-com.translate.goog/ru/companies/nixys/articles/801029/?_x_tr_hist=true/ru/companies/nixys/articles/801029/?_x_tr_sl=ru&_x_tr_tl=en&_x_tr_hl=en&_x_tr_pto=wapp&_x_tr_hist=true) |
|
||||||
|
| [NLMK](https://nlmk.com/en/) | Steel | Monitoring | — | — | [Article in Russian, Jan 2022](https://habr.com/en/company/nlmk/blog/645943/) |
|
||||||
|
| [NOC Project](https://getnoc.com/) | Network Monitoring | Analytics | Main Product | — | [Official Website](https://getnoc.com/features/big-data/) |
|
||||||
|
| [Nansen](https://www.nansen.ai/) | Finance - Crypto | Analytics | — | — | [Press release](https://clickhouse.com/blog/clickhouse-cloud-on-google-cloud-platform-gcp-is-generally-available) |
|
||||||
|
| [Narrative](https://www.trynarrative.com/) | Software & Technology | AI Automation | — | — | [Hacker News, May 2024](https://news.ycombinator.com/item?id=40225998) |
|
||||||
|
| [Nationale Databank Wegverkeers](https://www.ndw.nu/) | Software & Technology | Road Traffic Monitoring | — | — | [Presentation at Foss4G, August 2019](https://av.tib.eu/media/43434) |
|
||||||
|
| [Nebius](https://nebius.com/il/docs/managed-clickhouse/) | SaaS | Main product | — | — | [Official website](https://nebius.com/il/docs/managed-clickhouse/) |
|
||||||
|
| [Neocom](https://www.neocom.ai/) | AI SaaS | Main product | - | - | [Job listing](https://news.ycombinator.com/item?id=38497724) |
|
||||||
|
| [Neocom](https://www.neocom.ai/) | Software & Technology | Sales Platform | — | — | [Hacker News, September 2023](https://news.ycombinator.com/item?id=37359122) |
|
||||||
|
| [NeonDB](https://neon.tech/) | Cloud | Postgres management | - | - | [Blog, 2024](https://double.cloud/resources/case-studies/neon-increases-data-granularity-with-managed-clickhouse/) |
|
||||||
|
| [NetMeta](https://github.com/monogon-dev/NetMeta/blob/main/README.md) | Observability | Main Product | — | — | [Twitter, December 2022](https://twitter.com/leolukde/status/1605643470239977475) |
|
||||||
|
| [Netflix](https://www.netflix.com/) | Software & Technology | Video Streaming | — | — | [Twitter, June 2023](https://twitter.com/clickhousedb/status/1673803621220360193) |
|
||||||
|
| [Netskope](https://www.netskope.com/) | Network Security | — | — | — | [Job advertisement, March 2021](https://www.mendeley.com/careers/job/senior-software-developer-backend-developer-1346348) |
|
||||||
|
| [Nexpath Networks](https://www.nexpath.net/) | Software & Technology | Network Analysis | — | — | [Slides, September 2021](https://opensips.org/events/Summit-2021Distributed/assets/presentations/2021-jon-abrams-big-telco-data-with-clickhouse.pdf) [Video, September 2021](https://www.youtube.com/watch?v=kyu_wDcO0S4&t=3840s) |
|
||||||
|
| [NineData](https://www.ninedata.cloud/) | Software & Technology | DMaaS | — | — | ClickHouse Meetup in Hangzhou, May 2024 |
|
||||||
|
| [Noction](https://www.noction.com) | Network Technology | Main Product | — | — | [Official Website](https://www.noction.com/news/irp-3-11-remote-triggered-blackholing-capability) |
|
||||||
|
| [Notionlytics](https://notionlytics.com/) | Software & Technology | Page analytics for Notion | — | — | [Twitter, July 2023](https://twitter.com/MaxPrilutskiy/status/1675428469403004928) |
|
||||||
|
| [Ntop](https://www.ntop.org/) | Network Monitoning | Monitoring | — | — | [Official website, January 2022](https://www.ntop.org/ntop/historical-traffic-analysis-at-scale-using-clickhouse-with-ntopng/) |
|
||||||
|
| [Nuna Inc.](https://www.nuna.com/) | Health Data Analytics | — | — | — | [Talk in English, July 2020](https://youtu.be/GMiXCMFDMow?t=170) |
|
||||||
|
| [Nutanix](https://www.nutanix.com/) | Software & Technology | Main Product | — | — | [Slides, March 2024](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup102/2-Unified_data_platform_with_clickhouse_by_Sachidanad_Gaurav_Nutanix.pdf) |
|
||||||
|
| [Oden](https://oden.io/) | Software & Technology | Manufacturing | — | — | [Meetup, April 2023](https://www.youtube.com/watch?v=pAKGJDOO6lo) |
|
||||||
|
| [Odoscope](https://www.odoscope.com/) | Software & Technology | Customer Engagement Platform | — | — | [Awards Submission, February 2023](https://ecommercegermanyawards.com/vote/164051) |
|
||||||
|
| [Ok.ru](https://ok.ru) | Social Network | — | 72 servers | 810 TB compressed, 50bn rows/day, 1.5 TB/day | [SmartData conference, October 2021](https://assets.ctfassets.net/oxjq45e8ilak/4JPHkbJenLgZhBGGyyonFP/57472ec6987003ec4078d0941740703b/____________________ClickHouse_______________________.pdf) |
|
||||||
|
| [Omnicomm](https://omnicomm.ru/) | Transportation Monitoring | — | — | — | [Facebook post, October 2021](https://www.facebook.com/OmnicommTeam/posts/2824479777774500) |
|
||||||
|
| [OneAPM](https://www.oneapm.com/) | Monitoring and Data Analysis | Main product | — | — | [Slides in Chinese, October 2018](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup19/8.%20clickhouse在OneAPM的应用%20杜龙.pdf) |
|
||||||
|
| [OneUptime](https://oneuptime.com/) | Observability platform | Analytics | — | — | [GitHub repository](https://github.com/OneUptime/oneuptime) |
|
||||||
|
| [Onepixel.link](https://onepixel.link/) | Software | URL shorterner | - | - | [Twitter, 2024](https://twitter.com/championswimmer/status/1759195487134220415) |
|
||||||
|
| [Ongage](https://www.ongage.com/) | Marketing | Analytics | — | — | [Blog](https://clickhouse.com/blog/ongages-strategic-shift-to-clickhouse-for-real-time-email-marketing) |
|
||||||
|
| [Ookla](https://www.ookla.com/) | Software & Technology | Network Intelligence | — | — | [Presentation at J on the Beach, June 2023](https://www.youtube.com/watch?v=OZ0XpfDM8J0) |
|
||||||
|
| [OONI](https://ooni.org/) | Open Observatory of Network Interference (OONI) | Main product | — | — | [Blog, May 2023]( https://clickhouse.com/blog/ooni-analyzes-internet-censorship-data-with-clickhouse)[Twitter August 2022](https://twitter.com/OpenObservatory/status/1558014810746265600?s=20&t=hvcDU-LIrgCApP0rZCzuoA) |
|
||||||
|
| [Open Targets](https://www.opentargets.org/) | Genome Research | Genome Search | — | — | [Twitter, October 2021](https://twitter.com/OpenTargets/status/1452570865342758913?s=20), [Blog](https://blog.opentargets.org/graphql/) |
|
||||||
|
| [OpenLIT](https://openlit.io/) | Software & Technology | OTEL Monitoring with AI | — | — | [GitHub](https://github.com/openlit/openlit) |
|
||||||
|
| [OpenMeter](https://openmeter.io) | Expense Management | Main product | — | — | [Offical blog post, 2023](https://openmeter.io/blog/how-openmeter-uses-clickhouse-for-usage-metering#heading-querying-historical-usage) |
|
||||||
|
| [OpenReplay](https://openreplay.com/) | Product Analytics | Session Replay | — | — | [Docs](https://docs.openreplay.com/en/deployment/openreplay-admin/) |
|
||||||
|
| [Opensee](https://opensee.io/) | Financial Analytics | Main product | - | - | [Blog Post, February 2022](https://clickhouse.com/blog/opensee-analyzing-terabytes-of-financial-data-a-day-with-clickhouse/) [Blog Post, December 2021](https://opensee.io/news/from-moscow-to-wall-street-the-remarkable-journey-of-clickhouse/) |
|
||||||
|
| [Oppo](https://www.oppo.com/cn/) | Hardware | Consumer Electronics Company | — | — | ClickHouse Meetup in Chengdu, April 2024 |
|
||||||
|
| [OpsVerse](https://opsverse.io/) | Observability | — | — | — | [Twitter, 2022](https://twitter.com/OpsVerse/status/1584548242100219904) |
|
||||||
|
| [Opstrace](https://opstrace.com/) | Observability | — | — | — | [Source code](https://gitlab.com/gitlab-org/opstrace/jaeger-clickhouse/-/blob/main/README.md) |
|
||||||
|
| [Oxide](https://oxide.computer/) | Hardware & Software | Server Control Plane | — | — | [GitHub Repository](https://github.com/oxidecomputer/omicron) |
|
||||||
|
| [OZON](https://corp.ozon.com/) | E-commerce | — | — | — | [Official website](https://job.ozon.ru/vacancy/razrabotchik-clickhouse-ekspluatatsiya-40991870/) |
|
||||||
|
| [PITS Globale Datenrettungsdienste](https://www.pitsdatenrettung.de/) | Data Recovery | Analytics | — | — | |
|
||||||
|
| [PRANA](https://prana-system.com/en/) | Industrial predictive analytics | Main product | — | — | [News (russian), Feb 2021](https://habr.com/en/news/t/541392/) |
|
||||||
|
| [Pace](https://www.paceapp.com/) | Marketing & Sales | Internal app | — | — | ClickHouse Cloud user |
|
||||||
|
| [Panelbear](https://panelbear.com/) | Analytics | Monitoring and Analytics | — | — | [Tech Stack, November 2020](https://panelbear.com/blog/tech-stack/) |
|
||||||
|
| [Papermark](https://www.papermark.io/) | Software & Technology | Document Sharing & Analytics | — | — | [Twitter, September 2023](https://twitter.com/mfts0/status/1698670144367567263) |
|
||||||
|
| [Percent 百分点](https://www.percent.cn/) | Analytics | Main Product | — | — | [Slides in Chinese, June 2019](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup24/4.%20ClickHouse万亿数据双中心的设计与实践%20.pdf) |
|
||||||
|
| [Percona](https://www.percona.com/) | Performance analysis | Percona Monitoring and Management | — | — | [Official website, Mar 2020](https://www.percona.com/blog/2020/03/30/advanced-query-analysis-in-percona-monitoring-and-management-with-direct-clickhouse-access/) |
|
||||||
|
| [Phare](https://phare.io/) | Uptime Monitoring | Main Product | — | — | [Official website, Aug 2023](https://phare.io/changelog/monthly-changelog-13) |
|
||||||
|
| [PheLiGe](https://phelige.com/about) | Software & Technology | Genetic Studies | — | — | [Academic Paper, November 2020](https://academic.oup.com/nar/article/49/D1/D1347/6007654?login=false) |
|
||||||
|
| [PingCAP](https://pingcap.com/) | Analytics | Real-Time Transactional and Analytical Processing | - | - | [GitHub, TiFlash/TiDB](https://github.com/pingcap/tiflash) |
|
||||||
|
| [Pirsch](https://pirsch.io/) | Software & Technology | Web Analytics | — | — | [Hacker News, April 2023](https://news.ycombinator.com/item?id=35692201) |
|
||||||
|
| [Piwik PRO](https://piwik.pro/) | Web Analytics | — | — | — | [Official website, Dec 2018](https://piwik.pro/blog/piwik-pro-clickhouse-faster-efficient-reports/) |
|
||||||
|
| [Plane](https://plane.so/)| Software & Technology | Project Management | — | — | [Twitter, September 2023](https://twitter.com/vamsi_kurama/status/1699593472704176441) |
|
||||||
|
| [Plausible](https://plausible.io/) | Analytics | Main Product | — | — | [Blog Post, December 2021](https://clickhouse.com/blog/plausible-analytics-uses-click-house-to-power-their-privacy-friendly-google-analytics-alternative) [Twitter, June 2020](https://twitter.com/PlausibleHQ/status/1273889629087969280) |
|
||||||
|
| [PoeticMetric](https://www.poeticmetric.com/) | Metrics | Main Product | — | — | Community Slack, April 2022 |
|
||||||
|
| [Portkey AI](https://portkey.ai/) | LLMOps | Main Product | — | — | [LinkedIn post, August 2023](https://www.linkedin.com/feed/update/urn:li:activity:7094676373826330626/) |
|
||||||
|
| [PostHog](https://posthog.com/) | Product Analytics | Main Product | — | — | [Release Notes, October 2020](https://posthog.com/blog/the-posthog-array-1-15-0), [Blog, November 2021](https://posthog.com/blog/how-we-turned-clickhouse-into-our-eventmansion) |
|
||||||
|
| [Postmates](https://postmates.com/) | Delivery | — | — | — | [Talk in English, July 2020](https://youtu.be/GMiXCMFDMow?t=188) |
|
||||||
|
| [Pragma Innovation](http://www.pragma-innovation.fr/) | Telemetry and Big Data Analysis | Main product | — | — | [Slides in English, October 2018](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup18/4_pragma_innovation.pdf) |
|
||||||
|
| [Prefect](https://www.prefect.io/) | Software & Technology | Main Product | — | — | [Blog, May 2024](https://clickhouse.com/blog/prefect-event-driven-workflow-orchestration-powered-by-clickhouse) |
|
||||||
|
| [Propel](https://www.propeldata.com/) | Analytics | Main product | — | — | [Blog, January 2024](https://www.propeldata.com/blog/how-to-store-json-in-clickhouse-the-right-way) |
|
||||||
|
| [Property Finder](https://www.propertyfinder.com/) | Real Estate | - | — | — | ClickHouse Cloud user |
|
||||||
|
| [QINGCLOUD](https://www.qingcloud.com/) | Cloud services | Main product | — | — | [Slides in Chinese, October 2018](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup19/4.%20Cloud%20%2B%20TSDB%20for%20ClickHouse%20张健%20QingCloud.pdf) |
|
||||||
|
| [Qrator](https://qrator.net) | DDoS protection | Main product | — | — | [Blog Post, March 2019](https://blog.qrator.net/en/clickhouse-ddos-mitigation_37/) |
|
||||||
|
| [Qualified](https://www.qualified.com/) | Sales Pipeline Management | Data and Messaging layers | — | — | [Job posting, Nov 2022](https://news.ycombinator.com/item?id=33425109) |
|
||||||
|
| [Qube Research & Technologies](https://www.qube-rt.com/) | FinTech | Analysis | — | — | ClickHouse Cloud user |
|
||||||
|
| [QuickCheck](https://quickcheck.ng/) | FinTech | Analytics | — | — | [Blog post, May 2022](https://clickhouse.com/blog/how-quickcheck-uses-clickhouse-to-bring-banking-to-the-unbanked/) |
|
||||||
|
| [R-Vision](https://rvision.pro/en/) | Information Security | — | — | — | [Article in Russian, December 2021](https://www.anti-malware.ru/reviews/R-Vision-SENSE-15) |
|
||||||
|
| [RELEX](https://relexsolutions.com) | Supply Chain Planning | Forecasting | — | — | [Meetup Video, December 2022](https://www.youtube.com/watch?v=wyOSMR8l-DI&list=PL0Z2YDlm0b3iNDUzpY1S3L_iV4nARda_U&index=16) [Slides, December 2022](https://presentations.clickhouse.com/meetup65/CRUDy%20OLAP.pdf) |
|
||||||
|
| [Raiffeisenbank](https://www.rbinternational.com/) | Banking | Analytics | — | — | [Lecture in Russian, December 2020](https://cs.hse.ru/announcements/421965599.html) |
|
||||||
|
| [Railway](https://railway.app/) | Software & Technology | PaaS Software Tools | — | — | [Changelog, May 2023](https://railway.app/changelog/2023-05-19-horizontal-scaling#logs-are-getting-faster) |
|
||||||
|
| [Rambler](https://rambler.ru) | Internet services | Analytics | — | — | [Talk in Russian, April 2018](https://medium.com/@ramblertop/разработка-api-clickhouse-для-рамблер-топ-100-f4c7e56f3141) |
|
||||||
|
| [Ramp](https://ramp.com/) | Financial Services | Real-Time Analytics, Fraud Detection | — | — | [NYC Meetup, March 2024](https://www.youtube.com/watch?v=7BtUgUb4gCs) |
|
||||||
|
| [Rapid Delivery Analytics](https://rda.team/) | Retail | Analytics | — | — | ClickHouse Cloud user |
|
||||||
|
| [Releem](https://releem.com/) | Databases | MySQL management| - | - | [Blog 2024](https://releem.com/blog/whats-new-at-releem-june-2023) |
|
||||||
|
| [Replica](https://replicahq.com) | Urban Planning | Analytics | — | — | [Job advertisement](https://boards.greenhouse.io/replica/jobs/5547732002?gh_jid=5547732002) |
|
||||||
|
| [Request Metrics](https://requestmetrics.com/) | Software & Technology | Observability | — | — | [Hacker News, May 2023](https://news.ycombinator.com/item?id=35982281) |
|
||||||
|
| [Resmo](https://replicahq.com) | Software & Technology | Cloud Security & Asset Management | 1 c7g.xlarge node,
|
||||||
|
| [Retell](https://retell.cc/) | Speech synthesis | Analytics | — | — | [Blog Article, August 2020](https://vc.ru/services/153732-kak-sozdat-audiostati-na-vashem-sayte-i-zachem-eto-nuzhno) |
|
||||||
|
| [Rivet](https://rivet.gg/) | Software & Technology | Gamer Server Scaling | — | — | [HackerNews, August 2023](https://news.ycombinator.com/item?id=37188659) |
|
||||||
|
| [Rokt](https://www.rokt.com/) | Software & Technology | eCommerce | — | — | [Meetup Video, December 2022](https://www.youtube.com/watch?v=BEP07Edor-0&list=PL0Z2YDlm0b3iNDUzpY1S3L_iV4nARda_U&index=10) [Slides, December 2022](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup67/Building%20the%20future%20of%20reporting%20at%20Rokt.pdf) |
|
||||||
|
| [Rollbar](https://www.rollbar.com) | Software Development | Main Product | — | — | [Official Website](https://www.rollbar.com) |
|
||||||
|
| [Rspamd](https://rspamd.com/) | Antispam | Analytics | — | — | [Official Website](https://rspamd.com/doc/modules/clickhouse.html) |
|
||||||
|
| [RuSIEM](https://rusiem.com/en) | SIEM | Main Product | — | — | [Official Website](https://rusiem.com/en/products/architecture) |
|
||||||
|
| [RunReveal](https://runreveal.com/) | SIEM | Main Product | — | — | [SF Meetup, Nov 2023](https://www.youtube.com/watch?v=rVZ9JnbzHTQ&list=PL0Z2YDlm0b3iNDUzpY1S3L_iV4nARda_U&index=25) |
|
||||||
|
| [S7 Airlines](https://www.s7.ru) | Airlines | Metrics, Logging | — | — | [Talk in Russian, March 2019](https://www.youtube.com/watch?v=nwG68klRpPg&t=15s) |
|
||||||
|
| [SEMrush](https://www.semrush.com/) | Marketing | Main product | — | — | [Slides in Russian, August 2018](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup17/5_semrush.pdf) |
|
||||||
|
| [SESCO Trading](https://www.sescotrading.com/) | Financial | Analysis | — | — | ClickHouse Cloud user |
|
||||||
|
| [SGK](http://www.sgk.gov.tr/wps/portal/sgk/tr) | Government Social Security | Analytics | — | — | [Slides in English, November 2019](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup35/ClickHouse%20Meetup-Ramazan%20POLAT.pdf) |
|
||||||
|
| [SMI2](https://smi2.ru/) | News | Analytics | — | — | [Blog Post in Russian, November 2017](https://habr.com/ru/company/smi2/blog/314558/) |
|
||||||
|
| [SQLPad](https://getsqlpad.com/en/introduction/) | Software & Technology | Web-based SQL editor. | — | — | [GitHub, March 2023](https://github.com/sqlpad/sqlpad/blob/master/server/package.json#L43) |
|
||||||
|
| [Santiment](https://www.santiment.net) | Behavioral analytics for the crypto market | Main Product | — | — | [Github repo](https://github.com/santiment/sanbase2) |
|
||||||
|
| [Sber](https://www.sberbank.com/index) | Banking, Fintech, Retail, Cloud, Media | — | 128 servers | >1 PB | [Job advertisement, March 2021](https://career.habr.com/vacancies/1000073536) |
|
||||||
|
| [Scale8](https://scale8.com) | Tag Management and Analytics | Main product | - | - | [Source Code](https://github.com/scale8/scale8) |
|
||||||
|
| [Scarf](https://about.scarf.sh/) | Open source analytics | Main product | - | - | [Tweet](https://x.com/avi_press/status/1803954179179974747) |
|
||||||
|
| [Scireum GmbH](https://www.scireum.de/) | e-Commerce | Main product | — | — | [Talk in German, February 2020](https://www.youtube.com/watch?v=7QWAn5RbyR4) |
|
||||||
|
| [ScrapingBee](https://www.scrapingbee.com/) | Software & Technology | Web scraping API | — | — | [Twitter, January 2024](https://twitter.com/PierreDeWulf/status/1745464855723986989) |
|
||||||
|
| [ScratchDB](https://scratchdb.com/) | Software & Technology | Serverless Analytics | — | — | [GitHub](https://github.com/scratchdata/ScratchDB) |
|
||||||
|
| [Segment](https://segment.com/) | Data processing | Main product | 9 * i3en.3xlarge nodes 7.5TB NVME SSDs, 96GB Memory, 12 vCPUs | — | [Slides, 2019](https://slides.com/abraithwaite/segment-clickhouse) |
|
||||||
|
| [sembot.io](https://sembot.io/) | Shopping Ads | — | — | — | A comment on LinkedIn, 2020 |
|
||||||
|
| [Sendinblue](https://www.sendinblue.com/) | Software & Technology | Segmentation | 100 nodes | — | [Blog, February 2023](https://engineering.sendinblue.com/segmentation-to-target-the-right-audience/) |
|
||||||
|
| [Sentio](https://www.sentio.xyz/) | Software & Technology | Observability | — | — | [Twitter, April 2023](https://twitter.com/qiaokan/status/1650736518955438083) |
|
||||||
|
| [Sentry](https://sentry.io/) | Software Development | Main product | — | — | [Blog Post in English, May 2019](https://blog.sentry.io/2019/05/16/introducing-snuba-sentrys-new-search-infrastructure) |
|
||||||
|
| [seo.do](https://seo.do/) | Analytics | Main product | — | — | [Slides in English, November 2019](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup35/CH%20Presentation-%20Metehan%20Çetinkaya.pdf) |
|
||||||
|
| [Serverless](https://www.serverless.com/) | Serverless Apps | Metrics | — | — | ClickHouse Cloud user |
|
||||||
|
| [ServiceNow](https://www.servicenow.com/) | Managed Services | Qualitative Mobile Analytics | — | — | [Meetup Video, January 2023](https://www.youtube.com/watch?v=b4Pmpx3iRK4&list=PL0Z2YDlm0b3iNDUzpY1S3L_iV4nARda_U&index=6) [Slides, January 2023](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup68/Appsee%20Remodeling%20-%20ClickHouse.pdf) |
|
||||||
|
| [Sewer AI](https://www.sewerai.com/) | Software & Technology | - | — | — | ClickHouse Cloud user |
|
||||||
|
| [Shopee](https://www.shopee.com/) | E-Commerce | Distributed Tracing | - | - | [Meetup Video, April 2024](https://youtu.be/_BVy-V2wy9s?feature=shared) [Slides, April 2024](https://github.com/ClickHouse/clickhouse-presentations/blob/2b0ef2914ff594c0a0f8800d5150e5b31323be98/meetup105/Shopee%20-%20Distributed%20Tracing%20in%20ClickHouse.pdf) [Blog Post, June 2024](https://clickhouse.com/blog/seeing-the-big-picture-shopees-journey-to-distributed-tracing-with-clickhouse) |
|
||||||
|
| [SigNoz](https://signoz.io/) | Observability Platform | Main Product | — | — | [Source code](https://github.com/SigNoz/signoz) |
|
||||||
|
| [Sina](http://english.sina.com/index.html) | News | — | — | — | [Slides in Chinese, October 2018](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup19/6.%20ClickHouse最佳实践%20高鹏_新浪.pdf) |
|
||||||
|
| [Sinch](https://www.sinch.com/) | Software & Technology | Customer Communications Cloud | — | — | [HackerNews, May 2023](https://news.ycombinator.com/item?id=36042104) |
|
||||||
|
| [Sipfront](https://www.sipfront.com/) | Software Development | Analytics | — | — | [Twitter, October 2021](https://twitter.com/andreasgranig/status/1446404332337913895?s=20) |
|
||||||
|
| [SiteBehaviour Analytics](https://www.sitebehaviour.com/) | Software| Analytics | - | - | [Twitter, 2024](https://twitter.com/developer_jass/status/1763023792970883322)|
|
||||||
|
| [slido](https://www.slido.com/) | Software & Technology | Q&A and Polling | — | — | [Meetup, April 2023](https://www.linkedin.com/events/datameetup-3-spotlightondataeng7048914766324473856/about/) |
|
||||||
|
| [Solarwinds](https://www.solarwinds.com/) | Software & Technology | Main product | — | — | [Talk in English, March 2018](https://www.youtube.com/watch?v=w8eTlqGEkkw) |
|
||||||
|
| [Sonrai Security](https://sonraisecurity.com/) | Cloud Security | - | — | — | Slack comments |
|
||||||
|
| [Spark New Zealand](https://www.spark.co.nz/) | Telecommunications | Security Operations | — | — | [Blog Post, Feb 2020](https://blog.n0p.me/2020/02/2020-02-05-dnsmonster/) |
|
||||||
|
| [Spec](https://www.specprotected.com/) | Software & Technology | Online Fraud Detection | — | — | [HackerNews, August 2023](https://news.ycombinator.com/item?id=36965317)
|
||||||
|
| [spectate](https://spectate.net/)| Software & Technology | Monitoring & Incident Management | — | — | [Twitter, August 2023](https://twitter.com/BjarnBronsveld/status/1700458569861112110) |
|
||||||
|
| [Splio](https://splio.com/en/) | Software & Technology | Individuation Marketing | — | — | [Slack, September 2023](https://clickhousedb.slack.com/archives/C04N3AU38DV/p1693995069023669) |
|
||||||
|
| [Splitbee](https://splitbee.io) | Analytics | Main Product | — | — | [Blog Post, Mai 2021](https://splitbee.io/blog/new-pricing) |
|
||||||
|
| [Splunk](https://www.splunk.com/) | Business Analytics | Main product | — | — | [Slides in English, January 2018](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup12/splunk.pdf) |
|
||||||
|
| [Spotify](https://www.spotify.com) | Music | Experimentation | — | — | [Slides, July 2018](https://www.slideshare.net/glebus/using-clickhouse-for-experimentation-104247173) |
|
||||||
|
| [Staffbase](https://staffbase.com/en/) | Software & Technology | Internal Communications | — | — | [ClickHouse Slack, April 2023](https://clickhousedb.slack.com/archives/C04N3AU38DV/p1682781081062859) |
|
||||||
|
| [Staffcop](https://www.staffcop.ru/) | Information Security | Main Product | — | — | [Official website, Documentation](https://www.staffcop.ru/sce43) |
|
||||||
|
| [Statsig](https://statsig.com/) | Software & Technology | Real-time analytics | — | — | [Video](https://clickhouse.com/videos/statsig) |
|
||||||
|
| [Streamkap](https://streamkap.com/) | Data Platform | - | — | — | [Video](https://clickhouse.com/videos/switching-from-elasticsearch-to-clickhouse) |
|
||||||
|
| [Suning](https://www.suning.com/) | E-Commerce | User behaviour analytics | — | — | [Blog article](https://www.sohu.com/a/434152235_411876) |
|
||||||
|
| [Superology](https://superology.com/) | Software & Technology | Customer Analytics | — | — | [Blog Post, June 2022](https://clickhouse.com/blog/collecting-semi-structured-data-from-kafka-topics-using-clickhouse-kafka-engine) |
|
||||||
|
| [Superwall](https://superwall.me/) | Monetization Tooling | Main product | — | — | [Word of mouth, Jan 2022](https://github.com/ClickHouse/ClickHouse/pull/33573) |
|
||||||
|
| [SwarmFarm Robotics](https://www.swarmfarm.com/) | Agriculture & Technology | Main Product | — | — | [Meetup Slides](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup122/Talk%20Track%202%20-%20Harvesting%20Big%20Data%20at%20SwarmFarm%20Robotics%20-%20Angus%20Ross.pdf) |
|
||||||
|
| [Swetrix](https://swetrix.com) | Analytics | Main Product | — | — | [Source code](https://github.com/swetrix/swetrix-api) |
|
||||||
|
| [Swift Navigation](https://www.swiftnav.com/) | Geo Positioning | Data Pipelines | — | — | [Job posting, Nov 2022](https://news.ycombinator.com/item?id=33426590) |
|
||||||
|
| [Synerise](https://synerise.com/) | ML&AI | Feature Store | - | - | [Presentation, April 2020](https://www.slideshare.net/AndrzejMichaowski/feature-store-solving-antipatterns-in-mlsystems-232829863) |
|
||||||
|
| [Synpse](https://synpse.net/) | Application Management | Main Product | - | - | [Twitter, January 2022](https://twitter.com/KRusenas/status/1483571168363880455) |
|
||||||
|
| [Synq](https://www.synq.io) | Software & Technology | Main Product | — | — | [Blog Post, July 2023](https://clickhouse.com/blog/building-a-unified-data-platform-with-clickhouse) |
|
||||||
|
| [sumsub](https://sumsub.com/) | Software & Technology | Verification platform | — | — | [Meetup, July 2022](https://www.youtube.com/watch?v=F74bBGSMwGo) |
|
||||||
|
| [TURBOARD](https://www.turboard.com/) | BI Analytics | — | — | — | [Official website](https://www.turboard.com/blogs/clickhouse) |
|
||||||
|
| [TeamApt](https://www.teamapt.com/) | FinTech | Data Processing | — | — | [Official Website](https://www.teamapt.com/) |
|
||||||
|
| [Teamtailor](https://www.teamtailor.com/en/) | Recruitment Software | - | — | — | ClickHouse Cloud user |
|
||||||
|
| [Tekion](https://tekion.com/) | Automotive Retail | Clickstream Analytics | — | — | [Blog Post, June 2024](https://clickhouse.com/blog/tekion-adopts-clickhouse-cloud-to-power-application-performance-and-metrics-monitoring) |
|
||||||
|
| [Tencent Music Entertainment (TME)](https://www.tencentmusic.com/) | BigData | Data processing | — | — | [Blog in Chinese, June 2020](https://cloud.tencent.com/developer/article/1637840) |
|
||||||
|
| [Tencent](https://www.tencent.com) | Big Data | Data processing | — | — | [Slides in Chinese, October 2018](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup19/5.%20ClickHouse大数据集群应用_李俊飞腾讯网媒事业部.pdf) |
|
||||||
|
| [Tencent](https://www.tencent.com) | Messaging | Logging | — | — | [Talk in Chinese, November 2019](https://youtu.be/T-iVQRuw-QY?t=5050) |
|
||||||
|
| [Teralytics](https://www.teralytics.net/) | Mobility | Analytics | — | — | [Tech blog](https://www.teralytics.net/knowledge-hub/visualizing-mobility-data-the-scalability-challenge) |
|
||||||
|
| [Tesla](https://www.tesla.com/) | Electric vehicle and clean energy company | — | — | — | [Vacancy description, March 2021](https://news.ycombinator.com/item?id=26306170) |
|
||||||
|
| [The Guild](https://the-guild.dev/) | API Platform | Monitoring | — | — | [Blog Post, November 2022](https://clickhouse.com/blog/100x-faster-graphql-hive-migration-from-elasticsearch-to-clickhouse) [Blog](https://the-guild.dev/blog/graphql-hive-and-clickhouse) |
|
||||||
|
| [Theia](https://theia.so/) | Software & Technology | Threat Intelligence | — | — | [Twitter, July 2023](https://twitter.com/jreynoldsdev/status/1680639586999980033) |
|
||||||
|
| [ThirdWeb](https://thirdweb.com/) | Software & Technology | Blockchain analysis | — | — | ClickHouse Cloud user |
|
||||||
|
| [Timeflow](https://timeflow.systems) | Software | Analytics | — | — | [Blog](https://timeflow.systems/why-we-moved-from-druid-to-clickhouse/ ) |
|
||||||
|
| [Timeplus](https://www.timeplus.com/) | Software & Technology | Streaming Analytics | — | — | [Meetup, August 2023](https://www.meetup.com/clickhouse-silicon-valley-meetup-group/events/294472987/) |
|
||||||
|
| [Tinybird](https://www.tinybird.co/) | Real-time Data Products | Data processing | — | — | [Official website](https://www.tinybird.co/) |
|
||||||
|
| [TrackingPlan](https://www.trackingplan.com/) | Marketing & Sales | Monitoring | — | — | ClickHouse Cloud user |
|
||||||
|
| [Traffic Stars](https://trafficstars.com/) | AD network | — | 300 servers in Europe/US | 1.8 PiB, 700 000 insert rps (as of 2021) | [Slides in Russian, May 2018](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup15/lightning/ninja.pdf) |
|
||||||
|
| [Trillabit](https://www.trillabit.com/home) | Software & Technology | Business Intelligence | — | — | [Blog, January 2023](https://clickhouse.com/blog/trillabit-utilizes-the-power-of-clickhouse-for-fast-scalable-results-within-their-self-service-search-driven-analytics-offering) |
|
||||||
|
| [Trip.com](https://trip.com/) | Travel Services | Logging | — | — | [Meetup, March 2023](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup71/Trip.com.pdf) |
|
||||||
|
| [Turkcell](https://www.turkcell.com.tr/) | Telecom | BI Analytics | 2 nodes | 2TB per day, 100TB in total | [YouTube Video](https://www.youtube.com/watch?v=ckvPBgXl82Q) |
|
||||||
|
| [Tweeq](https://tweeq.sa/en) | Fintech | Spending Account | - | - | [Engineering Blog, May 2024](https://engineering.tweeq.sa/tweeq-data-platform-journey-and-lessons-learned-clickhouse-dbt-dagster-and-superset-fa27a4a61904) |
|
||||||
|
| [URLsLab](https://www.urlslab.com/) | Software & Technology | WordPress Plugin | — | — | [Twitter, July 2023](https://twitter.com/Yasha_br/status/1680224776302784514) , [Twitter, September 2023](https://twitter.com/Yasha_br/status/1698724654339215812) |
|
||||||
|
| [UTMSTAT](https://hello.utmstat.com/) | Analytics | Main product | — | — | [Blog post, June 2020](https://vc.ru/tribuna/133956-striming-dannyh-iz-servisa-skvoznoy-analitiki-v-clickhouse) |
|
||||||
|
| [Uber](https://www.uber.com) | Taxi | Logging | — | — | [Slides, February 2020](https://presentations.clickhouse.com/meetup40/uber.pdf) |
|
||||||
|
| [Uptrace](https://uptrace.dev/) | Software | Tracing Solution | — | — | [Official website, March 2021](https://uptrace.dev/open-source/) |
|
||||||
|
| [UseTech](https://usetech.com/) | Software Development | — | — | — | [Job Posting, December 2021](https://vk.com/wall136266658_2418) |
|
||||||
|
| [Usermaven](https://usermaven.com/) | Product Analytics | Main Product | — | — | [HackerNews, January 2023](https://news.ycombinator.com/item?id=34404706) |
|
||||||
|
| [VKontakte](https://vk.com) | Social Network | Statistics, Logging | — | — | [Slides in Russian, August 2018](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup17/3_vk.pdf) |
|
||||||
|
| [VKontech](https://vkontech.com/) | Distributed Systems | Migrating from MongoDB | - | - | [Blog, January 2022](https://vkontech.com/migrating-your-reporting-queries-from-a-general-purpose-db-mongodb-to-a-data-warehouse-clickhouse-performance-overview/) |
|
||||||
|
| [VMware](https://www.vmware.com/) | Cloud | VeloCloud, SDN | — | — | [Product documentation](https://docs.vmware.com/en/vRealize-Operations-Manager/8.3/com.vmware.vcom.metrics.doc/GUID-A9AD72E1-C948-4CA2-971B-919385AB3CA8.html) |
|
||||||
|
| [Valueleaf Services Pvt.Ltd](http://valueleaf.com/) | Software & Technology | Martech platform, Ads platform and Loan aggregator platform | — | — | [ClickHouse Slack, April 2023](https://clickhousedb.slack.com/archives/C04N3AU38DV/p1681122299263959) |
|
||||||
|
| [Vantage](https://www.vantage.sh/) | Software & Technology | Cloud Cost Management | — | — | [Meetup, April 2023](https://www.youtube.com/watch?v=gBgXcHM_ldc) , [ClickHouse Blog, June 2023](https://clickhouse.com/blog/nyc-meetup-report-vantages-journey-from-redshift-and-postgres-to-clickhouse) |
|
||||||
|
| [Velvet](https://www.usevelvet.com/) | Database management | Main product | - | - | [Job listing](https://news.ycombinator.com/item?id=38492272) |
|
||||||
|
| [Vercel](https://vercel.com/) | Traffic and Performance Analytics | — | — | — | Direct reference, October 2021 |
|
||||||
|
| [Vexo](https://www.vexo.co/) | App development | Analytics | — | — | [Twitter, December 2023](https://twitter.com/FalcoAgustin/status/1737161334213546279) |
|
||||||
|
| [Vidazoo](https://www.vidazoo.com/) | Advertising | Analytics | — | — | ClickHouse Cloud user |
|
||||||
|
| [Vimeo](https://vimeo.com/) | Video hosting | Analytics | - | - | [Blog post](https://medium.com/vimeo-engineering-blog/clickhouse-is-in-the-house-413862c8ac28) |
|
||||||
|
| [Visiology](https://visiology.com/) | Business intelligence | Analytics | - | - | [Company website](https://visiology.com/) |
|
||||||
|
| [Voltmetrix](https://voltmetrix.com/) | Database management | Main product | - | - | [Blog post](https://voltmetrix.com/blog/voltmetrix-iot-manufacturing-use-case/) |
|
||||||
|
| [Voltus](https://www.voltus.co/) | Energy | — | — | — | [Blog Post, Aug 2022](https://medium.com/voltus-engineering/migrating-kafka-to-amazon-msk-1f3a7d45b5f2) |
|
||||||
|
| [W3 Analytics](https://w3analytics.hottoshotto.com/) | Blockchain | Dashboards for NFT analytics | — | — | [Community Slack, July 2023](https://clickhousedb.slack.com/archives/CU170QE9H/p1689907164648339) |
|
||||||
|
| [WSPR Live](https://wspr.live/) | Software & Technology | WSPR Spot Data | — | — | [Twitter, April 2023](https://twitter.com/HB9VQQ/status/1652723207475015680) |
|
||||||
|
| [Waitlyst](https://waitlyst.co/) | Software & Technology | AI Customer Journey Management | — | — | [Twitter, June 2023](https://twitter.com/aaronkazah/status/1668261900554051585) |
|
||||||
|
| [Walmart Labs](https://www.walmartlabs.com/) | Internet, Retail | — | — | — | [Talk in English, July 2020](https://youtu.be/GMiXCMFDMow?t=144) |
|
||||||
|
| [WanShanData](http://wanshandata.com/home) | Software & Technology | Main Product | — | — | [Meetup Slides in Chinese](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup56/wanshandata.pdf) |
|
||||||
|
| [Wargaming](https://wargaming.com/en/) | Games | | — | — | [Interview](https://habr.com/en/post/496954/) |
|
||||||
|
| [WebGazer](https://www.webgazer.io/) | Uptime Monitoring | Main Product | — | — | Community Slack, April 2022 |
|
||||||
|
| [Weights & Biases](https://wandb.ai/site) | Software & Technology | LLM Monitoring | — | — | [Twitter, April 2024](https://x.com/ClickHouseDB/status/1780264997228011986) |
|
||||||
|
| [Wildberries](https://www.wildberries.ru/) | E-commerce | | — | — | [Official website](https://it.wildberries.ru/) |
|
||||||
|
| [Wisebits](https://wisebits.com/) | IT Solutions | Analytics | — | — | [Slides in Russian, May 2019](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup22/strategies.pdf) |
|
||||||
|
| [Workato](https://www.workato.com/) | Automation Software | — | — | — | [Talk in English, July 2020](https://youtu.be/GMiXCMFDMow?t=334) |
|
||||||
|
| [Wowza](https://www.wowza.com/) | Video Platform | Streaming Analytics | — | — | ClickHouse Cloud user |
|
||||||
|
| [Wundergraph](https://wundergraph.com/) | Software & Technology | API Platform | — | — | [Twitter, February 2023](https://twitter.com/dustindeus/status/1628757807913750531) |
|
||||||
|
| [Xata](https://xata.io/) | Software & Technology | SaaS observability dashboard | — | — | [Twitter, March 2024](https://x.com/tudor_g/status/1770517054971318656) |
|
||||||
|
| [Xenoss](https://xenoss.io/) | Martech, Adtech development | — | — | — | [Official website](https://xenoss.io/big-data-solution-development)|
|
||||||
|
| [Xiaoxin Tech](http://www.xiaoxintech.cn/) | Education | Common purpose | — | — | [Slides in English, November 2019](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup33/sync-clickhouse-with-mysql-mongodb.pptx) |
|
||||||
|
| [Ximalaya](https://www.ximalaya.com/) | Audio sharing | OLAP | — | — | [Slides in English, November 2019](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup33/ximalaya.pdf) |
|
||||||
|
| [YTsaurus](https://ytsaurus.tech/) | Distributed Storage and Processing | Main product | - | - | [Main website](https://ytsaurus.tech/) |
|
||||||
|
| [Yandex Cloud](https://cloud.yandex.ru/services/managed-clickhouse) | Public Cloud | Main product | — | — | [Talk in Russian, December 2019](https://www.youtube.com/watch?v=pgnak9e_E0o) |
|
||||||
|
| [Yandex DataLens](https://cloud.yandex.ru/services/datalens) | Business Intelligence | Main product | — | — | [Slides in Russian, December 2019](https://presentations.clickhouse.com/meetup38/datalens.pdf) |
|
||||||
|
| [Yandex Market](https://market.yandex.ru/) | e-Commerce | Metrics, Logging | — | — | [Talk in Russian, January 2019](https://youtu.be/_l1qP0DyBcA?t=478) |
|
||||||
|
| [Yandex Metrica](https://metrica.yandex.com) | Web analytics | Main product | 630 servers in one cluster, 360 servers in another cluster, 1862 servers in one department | 133 PiB / 8.31 PiB / 120 trillion records | [Slides, February 2020](https://presentations.clickhouse.com/meetup40/introduction/#13) |
|
||||||
|
| [Yellowfin](https://www.yellowfinbi.com) | Analytics | Main product | - | - | [Integration](https://www.yellowfinbi.com/campaign/yellowfin-9-whats-new#el-30219e0e) |
|
||||||
|
| [Yotascale](https://www.yotascale.com/) | Cloud | Data pipeline | — | 2 bn records/day | [LinkedIn (Accomplishments)](https://www.linkedin.com/in/adilsaleem/) |
|
||||||
|
| [Your Analytics](https://www.your-analytics.org/) | Product Analytics | Main Product | — | - | [Twitter, November 2021](https://twitter.com/mikenikles/status/1459737241165565953) |
|
||||||
|
| [Zagrava Trading](https://zagravagames.com/en/) | — | — | — | — | [Job offer, May 2021](https://twitter.com/datastackjobs/status/1394707267082063874) |
|
||||||
|
| [Zappi](https://www.zappi.io/web/) | Software & Technology | Market Research | — | — | [Twitter Post, June 2024](https://x.com/HermanLangner/status/1805870318218580004)) |
|
||||||
|
| [Zerodha](https://zerodha.tech/) | Stock Broker | Logging | — | — | [Blog, March 2023](https://zerodha.tech/blog/logging-at-zerodha/) |
|
||||||
|
| [Zing Data](https://getzingdata.com/) | Software & Technology | Business Intelligence | — | — | [Blog, May 2023](https://clickhouse.com/blog/querying-clickhouse-on-your-phone-with-zing-data) |
|
||||||
|
| [Zipy](https://www.zipy.ai/) | Software & Technology | User session debug | — | — | [Blog, April 2023](https://www.zipy.ai/blog/deep-dive-into-clickhouse) |
|
||||||
|
| [Zomato](https://www.zomato.com/) | Online food ordering | Logging | — | — | [Blog, July 2023](https://www.zomato.com/blog/building-a-cost-effective-logging-platform-using-clickhouse-for-petabyte-scale) |
|
||||||
|
| [Zomato](https://www.zomato.com/ncr/golf-course-order-online) | Food & Beverage| Food Delivery | - | - | [Blog 2024](https://blog.zomato.com/building-a-cost-effective-logging-platform-using-clickhouse-for-petabyte-scale) |
|
||||||
|
| [АС "Стрела"](https://magenta-technology.ru/sistema-upravleniya-marshrutami-inkassacii-as-strela/) | Transportation | — | — | — | [Job posting, Jan 2022](https://vk.com/topic-111905078_35689124?post=3553) |
|
||||||
|
| [ДомКлик](https://domclick.ru/) | Real Estate | — | — | — | [Article in Russian, October 2021](https://habr.com/ru/company/domclick/blog/585936/) |
|
||||||
|
| [МКБ](https://mkb.ru/) | Bank | Web-system monitoring | — | — | [Slides in Russian, September 2019](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup28/mkb.pdf) |
|
||||||
|
| [ООО «МПЗ Богородский»](https://shop.okraina.ru/) | Agriculture | — | — | — | [Article in Russian, November 2020](https://cloud.yandex.ru/cases/okraina) |
|
||||||
|
| [ЦВТ](https://htc-cs.ru/) | Software Development | Metrics, Logging | — | — | [Blog Post, March 2019, in Russian](https://vc.ru/dev/62715-kak-my-stroili-monitoring-na-prometheus-clickhouse-i-elk) |
|
||||||
|
| [ЦФТ](https://cft.ru/) | Banking, Financial products, Payments | — | — | — | [Meetup in Russian, April 2020](https://team.cft.ru/events/162) |
|
||||||
|
| [Цифровой Рабочий](https://promo.croc.ru/digitalworker) | Industrial IoT, Analytics | — | — | — | [Blog post in Russian, March 2021](https://habr.com/en/company/croc/blog/548018/) |
|
||||||
|
</div>
|
38
docs/ja/about-us/cloud.md
Normal file
@ -0,0 +1,38 @@
|
|||||||
|
---
|
||||||
|
slug: /ja/about-us/cloud
|
||||||
|
sidebar_label: クラウドサービス
|
||||||
|
sidebar_position: 10
|
||||||
|
description: ClickHouse Cloud
|
||||||
|
---
|
||||||
|
|
||||||
|
# ClickHouse Cloud
|
||||||
|
|
||||||
|
ClickHouse Cloudは、人気のオープンソースOLAPデータベースであるClickHouseの元開発者によって作成されたクラウドオファリングです。
|
||||||
|
[無料トライアルを開始する](https://clickhouse.cloud/signUp)ことで、ClickHouse Cloudを体験できます。
|
||||||
|
|
||||||
|
### ClickHouse Cloudの利点:
|
||||||
|
|
||||||
|
ClickHouse Cloudを使用する利点のいくつかを以下に示します:
|
||||||
|
|
||||||
|
- **迅速な価値実現**: クラスターのサイズを調整することなく、すぐに構築を開始できます。
|
||||||
|
- **シームレスなスケーリング**: 自動スケーリングにより、ピーク時に過剰なプロビジョニングをしなくても、多様なワークロードに対応します。
|
||||||
|
- **サーバーレスオペレーション**: サイズ調整、スケーリング、セキュリティ、信頼性、アップグレードを私たちに任せてください。
|
||||||
|
- **透明な価格設定**: 使用した分だけを支払い、リソースの予約とスケーリングコントロールを利用できます。
|
||||||
|
- **所有コストの総額**: 最高の価格/パフォーマンス比と低管理オーバーヘッド。
|
||||||
|
- **広範なエコシステム**: お気に入りのデータコネクター、ビジュアライゼーションツール、SQL、および言語クライアントを持ち込むことができます。
|
||||||
|
|
||||||
|
以下のビデオで、始め方のウォークスルーをご覧いただけます:
|
||||||
|
|
||||||
|
<div class='vimeo-container'>
|
||||||
|
|
||||||
|
<iframe width="640" height="360" src="https://www.youtube.com/embed/uWNY0GLUkqc?si=xzj59FEuNxRY7wAb" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" referrerpolicy="strict-origin-when-cross-origin" allowfullscreen></iframe>
|
||||||
|
|
||||||
|
</div>
|
||||||
|
|
||||||
|
### ClickHouse CloudはどのバージョンのClickHouseを使用しますか?
|
||||||
|
|
||||||
|
Clickhouse Cloudは、サービスを継続的に新しいバージョンにアップグレードします。コアデータベースバージョンをオープンソースで公開した後、クラウドステージング環境で追加の検証を行い、通常6〜8週間で本番環境に展開します。展開はクラウドサービスプロバイダー、サービスタイプ、地域ごとに段階的に行われます。
|
||||||
|
|
||||||
|
定期的なリリーススケジュールに先立ち、更新を受け取るための「高速」リリースチャネルを提供しています。早期のアップグレードへのアクセスは、非本番環境でのみ推奨され、サポートチケットをログしてリクエストできます。
|
||||||
|
|
||||||
|
以前のバージョンの機能に依存している場合、サービスの互換性設定を使用して、元の動作に戻すことが可能な場合があります。
|
96
docs/ja/about-us/distinctive-features.md
Normal file
@ -0,0 +1,96 @@
|
|||||||
|
---
|
||||||
|
slug: /ja/about-us/distinctive-features
|
||||||
|
sidebar_label: ClickHouseはなぜユニークなのか?
|
||||||
|
sidebar_position: 50
|
||||||
|
description: 他のデータベース管理システムとは異なるClickHouseの特徴を理解する
|
||||||
|
---
|
||||||
|
|
||||||
|
# ClickHouseの特徴
|
||||||
|
|
||||||
|
## 真の列指向データベース管理システム
|
||||||
|
|
||||||
|
真の列指向DBMSでは、値に余分なデータが保存されません。これは、値の長さをその隣に「数値」として保存することを避けるために、固定長の値をサポートする必要があることを意味します。たとえば、10億個のUInt8型の値は圧縮されていないときに約1GBを消費するべきであり、これはCPUの使用に強く影響します。データを圧縮されずに(「ゴミ」がなく)コンパクトに保存することが重要で、というのも、データの解凍速度(CPU使用量)は圧縮されていないデータのボリュームに主に依存するからです。
|
||||||
|
|
||||||
|
これは、異なるカラムの値を別々に保存できるが、分析クエリを効果的に処理できないシステム、例えばHBase、BigTable、Cassandra、HyperTableなどとは対照的です。これらのシステムでは、1秒間に約10万行のスループットは得られますが、数億行は得られません。
|
||||||
|
|
||||||
|
最終的に、ClickHouseはデータベース管理システムであり、単一のデータベースではありません。実行時にテーブルやデータベースを作成し、データをロードし、サーバーを再構成せずにクエリを実行できます。
|
||||||
|
|
||||||
|
## データ圧縮 {#data-compression}
|
||||||
|
|
||||||
|
一部の列指向DBMSはデータ圧縮を使用しません。しかし、データ圧縮は優れたパフォーマンスを達成するための重要な要素です。
|
||||||
|
|
||||||
|
ディスクスペースとCPU消費の間のトレードオフを考慮した効率的な汎用圧縮コーデックに加え、ClickHouseは特定のデータ型に特化した[コーデック](/docs/ja/sql-reference/statements/create/table.md#specialized-codecs)を提供し、ClickHouseはタイムシリーズ型のような特定の用途に優れたデータベースと競争し、さらに優れます。
|
||||||
|
|
||||||
|
## データのディスクストレージ {#disk-storage-of-data}
|
||||||
|
|
||||||
|
データを主キーで物理的にソートして保持すると、特定の値または値の範囲に基づいてデータを数十ミリ秒未満の低遅延で抽出することが可能になります。SAP HANAやGoogle PowerDrillのような一部の列指向DBMSはRAMでのみ動作します。このアプローチではリアルタイム分析に必要以上のハードウェア予算を確保する必要があります。
|
||||||
|
|
||||||
|
ClickHouseは通常のハードドライブで動作するように設計されており、これはデータストレージあたりのGB単位のコストが低いことを意味しますが、利用可能な場合はSSDや追加のRAMも完全に使用します。
|
||||||
|
|
||||||
|
## 複数コアでの並列処理 {#parallel-processing-on-multiple-cores}
|
||||||
|
|
||||||
|
大きなクエリは自然に並列化され、現在のサーバーで利用可能なすべてのリソースを利用します。
|
||||||
|
|
||||||
|
## 複数サーバーでの分散処理 {#distributed-processing-on-multiple-servers}
|
||||||
|
|
||||||
|
上記の列指向DBMSのほとんどに分散クエリ処理のサポートはありません。
|
||||||
|
|
||||||
|
ClickHouseでは、データは異なるシャードに存在できます。各シャードは耐障害性のために使用されるレプリカのグループであることができます。すべてのシャードは、ユーザーにとって透明に並列でクエリを実行するために使用されます。
|
||||||
|
|
||||||
|
## SQLサポート {#sql-support}
|
||||||
|
|
||||||
|
ClickHouseは、ANSI SQL標準とほぼ互換性のある[SQL言語](/ja/sql-reference/)をサポートしています。
|
||||||
|
|
||||||
|
サポートされているクエリには、[GROUP BY](../sql-reference/statements/select/group-by.md)、[ORDER BY](../sql-reference/statements/select/order-by.md)、[FROM](../sql-reference/statements/select/from.md)でのサブクエリ、[JOIN](../sql-reference/statements/select/join.md)句、[IN](../sql-reference/operators/in.md)演算子、[ウィンドウ関数](../sql-reference/window-functions/index.md)やスカラーサブクエリが含まれます。
|
||||||
|
|
||||||
|
相関(依存)サブクエリは執筆時点ではサポートされていませんが、将来的には利用可能になる可能性があります。
|
||||||
|
|
||||||
|
## ベクター計算エンジン {#vector-engine}
|
||||||
|
|
||||||
|
データはカラムで保存されるだけでなく、ベクター(カラムの一部)によって処理され、高いCPU効率が達成されます。
|
||||||
|
|
||||||
|
## リアルタイムデータ挿入 {#real-time-data-updates}
|
||||||
|
|
||||||
|
ClickHouseは主キーを持つテーブルをサポートしています。主キーの範囲でクエリを迅速に実行するために、データはインクリメンタルにMergeTreeを使用してソートされます。これにより、データを継続的にテーブルに追加することができます。新しいデータが取り込まれた際にロックは取得されません。
|
||||||
|
|
||||||
|
## 主インデックス {#primary-index}
|
||||||
|
|
||||||
|
データが主キーで物理的にソートされていることで、特定の値または値の範囲に基づいてデータを数十ミリ秒未満の低遅延で抽出することが可能になります。
|
||||||
|
|
||||||
|
## 二次インデックス {#secondary-indexes}
|
||||||
|
|
||||||
|
他のデータベース管理システムとは異なり、ClickHouseの二次インデックスは特定の行や行範囲を指しません。代わりに、クエリのフィルタリング条件に一致しないすべての行があるデータ部分でそれを読み込まないようにデータベースに事前に知らせるため、[データスキッピングインデックス](../engines/table-engines/mergetree-family/mergetree.md#table_engine-mergetree-data_skipping-indexes)と呼ばれます。
|
||||||
|
|
||||||
|
## オンラインクエリへの適合性 {#suitable-for-online-queries}
|
||||||
|
|
||||||
|
ほとんどのOLAPデータベース管理システムは、1秒未満のレイテンシーでのオンラインクエリを目指していません。代替システムでは、数十秒から数分間のレポート生成時間が許容されることが多く、時にはさらに時間がかかり、オフラインでレポートを準備することを強いられることがあります(事前に、または「後で来てください」という形で)。
|
||||||
|
|
||||||
|
ClickHouseでは、「低遅延」とは、ユーザーインターフェースページが読み込まれるのと同時に、遅延なく、事前に回答を準備しようとせずにクエリを処理できることを意味します。言い換えれば、オンラインで。
|
||||||
|
|
||||||
|
## 近似計算のサポート {#support-for-approximated-calculations}
|
||||||
|
|
||||||
|
ClickHouseは、性能を犠牲にして精度をトレードオフする様々な方法を提供しています:
|
||||||
|
|
||||||
|
1. 異なる値の数、中央値、および分位数を近似計算するための集計関数。
|
||||||
|
2. データの一部(サンプル)に基づいてクエリを実行し、近似結果を得る。この場合、ディスクから取得されるデータの量は比例して少なくなります。
|
||||||
|
3. すべてのキーではなく、ランダムなキーの制限された数の集計を実行する。データ内のキー分布の条件によっては、少ないリソースで合理的に正確な結果を提供します。
|
||||||
|
|
||||||
|
## アダプティブジョインアルゴリズム {#adaptive-join-algorithm}
|
||||||
|
|
||||||
|
ClickHouseは、複数のテーブルを[JOIN](../sql-reference/statements/select/join.md)する際に、主にハッシュジョインアルゴリズムを選択し、複数の大きなテーブルがある場合にはマージジョインアルゴリズムにフォールバックします。
|
||||||
|
|
||||||
|
## データレプリケーションとデータ整合性のサポート {#data-replication-and-data-integrity-support}
|
||||||
|
|
||||||
|
ClickHouseは非同期マルチマスターレプリケーションを使用します。利用可能なレプリカに書き込まれた後、残りのすべてのレプリカがバックグラウンドでそのコピーを取得します。システムは異なるレプリカに同一のデータを保持します。ほとんどの障害からの回復は自動または複雑な場合には半自動で行われます。
|
||||||
|
|
||||||
|
詳細については、[データレプリケーション](../engines/table-engines/mergetree-family/replication.md)のセクションを参照してください。
|
||||||
|
|
||||||
|
## ロールベースのアクセス制御 {#role-based-access-control}
|
||||||
|
|
||||||
|
ClickHouseはSQLクエリを使用したユーザーアカウント管理を実装し、ANSI SQL標準および一般的なリレーショナルデータベース管理システムで見られる[ロールベースのアクセス制御の構成](/docs/ja/guides/sre/user-management/index.md)を可能にします。
|
||||||
|
|
||||||
|
## 欠点と考えられる機能 {#clickhouse-features-that-can-be-considered-disadvantages}
|
||||||
|
|
||||||
|
1. 本格的なトランザクションなし。
|
||||||
|
2. 高速かつ低遅延で既に挿入されたデータを修正または削除する能力の欠如。データを整理したり変更したりするためにバッチ削除や更新は利用可能ですが、例えば[GDPR](https://gdpr-info.eu)に準拠するために別の方法があります。
|
||||||
|
3. スパースなインデックスがClickHouseをポイントクエリでシングル行をキーによって取得するのにあまり効率的ではないようにします。
|
51
docs/ja/about-us/history.md
Normal file
@ -0,0 +1,51 @@
|
|||||||
|
---
|
||||||
|
slug: /ja/about-us/history
|
||||||
|
sidebar_label: ClickHouseの歴史
|
||||||
|
sidebar_position: 40
|
||||||
|
description: それが始まった場所...
|
||||||
|
---
|
||||||
|
|
||||||
|
# ClickHouseの歴史 {#clickhouse-history}
|
||||||
|
|
||||||
|
ClickHouseは当初、[世界で2番目に大きなウェブ解析プラットフォーム](http://w3techs.com/technologies/overview/traffic_analysis/all)である[Yandex.Metrica](https://metrica.yandex.com/)を支えるために開発され、そのシステムのコアコンポーネントとして今も使われています。データベースには13兆を超えるレコードがあり、1日あたり200億件以上のイベントが発生しています。ClickHouseは、非集約データから直接カスタムレポートをその場で生成することを可能にします。この記事では、ClickHouseの開発初期段階での目標について簡単に説明します。
|
||||||
|
|
||||||
|
Yandex.Metricaは、ヒット数やセッション数に基づいてカスタマイズされたレポートをその場で作成し、ユーザーによって定義された任意のセグメントを使用します。このためには、しばしばユニークユーザー数などの複雑な集約を構築する必要があります。レポート作成のための新しいデータはリアルタイムで到着します。
|
||||||
|
|
||||||
|
2014年4月時点で、Yandex.Metricaは1日あたり約120億件のイベント(ページビューやクリック)を追跡していました。これらすべてのイベントはカスタムレポートを構築するために保存されなければなりません。単一のクエリでは数百万行を数百ミリ秒以内でスキャンしなければならないこともあれば、数億行を数秒でスキャンすることもあります。
|
||||||
|
|
||||||
|
## Yandex.Metricaとその他のYandexサービスでの使用 {#usage-in-yandex-metrica-and-other-yandex-services}
|
||||||
|
|
||||||
|
ClickHouseは、Yandex.Metricaにおいて多目的に利用されています。 主なタスクは、非集約データを使用してオンラインモードでレポートを作成することです。それは374台のサーバークラスターを使用し、データベースに20.3兆行以上を保存します。圧縮データのボリュームは約2 PBで、重複とレプリカを考慮しない場合のことです。圧縮されていないデータ(TSV形式)のボリュームは約17 PBになります。
|
||||||
|
|
||||||
|
ClickHouseはまた、以下のプロセスにおいて重要な役割を果たしています:
|
||||||
|
|
||||||
|
- Yandex.Metricaからのセッション再生データの保存。
|
||||||
|
- 中間データの処理。
|
||||||
|
- Analyticsを使用したグローバルレポートの作成。
|
||||||
|
- Yandex.Metricaエンジンのデバッグのためにクエリを実行。
|
||||||
|
- APIとユーザーインターフェースからのログの解析。
|
||||||
|
|
||||||
|
現在、他のYandexサービスや部門の検索バーティカル、eコマース、広告、ビジネス分析、モバイル開発、パーソナルサービスなどで、数十件のClickHouseのインストールが見られます。
|
||||||
|
|
||||||
|
## 集約データと非集約データ {#aggregated-and-non-aggregated-data}
|
||||||
|
|
||||||
|
統計を効果的に計算するためには、データを集約しなければならないという意見が広まりつつあります。なぜなら、これによりデータの量が削減されるからです。
|
||||||
|
|
||||||
|
しかし、データ集約には多くの制約があります:
|
||||||
|
|
||||||
|
- 必要なレポートの事前定義リストが必要です。
|
||||||
|
- ユーザーはカスタムレポートを作成できません。
|
||||||
|
- 多数の異なるキーに対して集約する場合、データ量はほとんど削減されないため、集約は無意味です。
|
||||||
|
- 多数のレポートに対して、集約のバリエーションが多すぎる(組み合わせの爆発)。
|
||||||
|
- 高いカーディナリティ(たとえばURL)のキーを集約する場合、データ量はあまり削減されません(2倍未満)。
|
||||||
|
- このため、集約されたデータ量が縮小するどころか増加することがあります。
|
||||||
|
- ユーザーは我々が生成するすべてのレポートを閲覧するわけではありません。大部分の計算は無駄になります。
|
||||||
|
- さまざまな集約に対してデータの論理的一貫性が損なわれることがあります。
|
||||||
|
|
||||||
|
何も集約せず、非集約データとともに作業する場合、このアプローチにより計算量が削減されることがあります。
|
||||||
|
|
||||||
|
しかし、集約では作業の大部分がオフラインで比較的落ち着いて完了します。それに対照的に、オンライン計算ではユーザーが結果を待っているため、できるだけ早く計算する必要があります。
|
||||||
|
|
||||||
|
Yandex.Metricaには、Metrageというデータを集約するための専門システムがあり、大多数のレポートで使用されていました。 2009年から、Yandex.Metricaでは、レポートビルダーに以前使用されていたOLAPServerという非集約データのための専門的なOLAPデータベースも使用していました。OLAPServerは非集約データにはうまく機能しましたが、望ましいすべてのレポートで使用できない多くの制約がありました。これにはデータ型のサポート(数値のみ)がないことや、データをリアルタイムで増分更新できないこと(データを毎日書き換えることのみ可能)が含まれます。OLAPServerはDBMSではなく、専門的なDBです。
|
||||||
|
|
||||||
|
ClickHouseの初期目標は、OLAPServerの制約を撤廃し、すべてのレポートで非集約データを用いた作業の問題を解決することでしたが、長年にわたって成長を続け、広範囲の分析タスクに適した汎用データベース管理システムに成長しました。
|
9
docs/ja/about-us/intro.mdx
Normal file
@ -0,0 +1,9 @@
|
|||||||
|
---
|
||||||
|
slug: /ja/about-clickhouse
|
||||||
|
sidebar_label: 入出力フォーマット
|
||||||
|
title: ClickHouseとは?
|
||||||
|
---
|
||||||
|
|
||||||
|
import Content from '@site/docs/ja/intro.md';
|
||||||
|
|
||||||
|
<Content />
|
19
docs/ja/about-us/support.md
Normal file
@ -0,0 +1,19 @@
|
|||||||
|
---
|
||||||
|
slug: /ja/about-us/support
|
||||||
|
sidebar_label: サポート
|
||||||
|
title: ClickHouse Cloud サポートサービス
|
||||||
|
sidebar_position: 30
|
||||||
|
---
|
||||||
|
|
||||||
|
ClickHouseでは、ClickHouse Cloudのユーザーと顧客向けにサポートサービスを提供しています。我々の目標は、ClickHouse製品を体現するサポートサービスチームを構築することです。それは、比類ないパフォーマンス、使いやすさ、および例外的に迅速で高品質な結果を提供することを意味します。詳細については、[サポートサービスページ](https://clickhouse.com/support/program/)をご覧ください。
|
||||||
|
|
||||||
|
[クラウドコンソールにログイン](https://clickhouse.cloud/support)して、メニューオプションから **ヘルプ -> サポート** を選択すると、新しいサポートケースを開いて、送信したケースのステータスを確認できます。
|
||||||
|
|
||||||
|
また、[ステータスページ](https://status.clickhouse.com)に登録して、プラットフォームに影響を与えるインシデントについて迅速に通知を受け取ることができます。
|
||||||
|
|
||||||
|
:::note
|
||||||
|
サポートインシデントに関するサービスレベルアグリーメントは、サブスクリプション顧客のみが対象です。現在ClickHouse Cloudのユーザーでない場合は、質問にはお答えしますが、代わりに以下のコミュニティリソースをご活用いただくことをお勧めします:
|
||||||
|
|
||||||
|
- [ClickHouseコミュニティSlackチャンネル](https://clickhouse.com/slack)
|
||||||
|
- [その他のコミュニティオプション](https://github.com/ClickHouse/ClickHouse/blob/master/README.md#useful-links)
|
||||||
|
:::
|
152
docs/ja/architecture/cluster-deployment.md
Normal file
@ -0,0 +1,152 @@
|
|||||||
|
---
|
||||||
|
slug: /ja/architecture/cluster-deployment
|
||||||
|
sidebar_label: クラスターデプロイ
|
||||||
|
sidebar_position: 100
|
||||||
|
title: クラスターデプロイ
|
||||||
|
---
|
||||||
|
|
||||||
|
このチュートリアルでは、すでに[ローカルの ClickHouse サーバー](../getting-started/install.md)をセットアップしていることを前提としています。
|
||||||
|
|
||||||
|
このチュートリアルを通じて、シンプルな ClickHouse クラスターのセットアップ方法を学びます。小規模ですが、フォールトトレラントでスケーラブルです。その後、例のデータセットの1つを使用してデータを充填し、デモクエリを実行します。
|
||||||
|
|
||||||
|
## クラスターデプロイ {#cluster-deployment}
|
||||||
|
|
||||||
|
この ClickHouse クラスターは同質クラスターになります。以下の手順に従ってください:
|
||||||
|
|
||||||
|
1. クラスターのすべてのマシンに ClickHouse サーバーをインストールする
|
||||||
|
2. 設定ファイルにクラスターのコンフィグを設定する
|
||||||
|
3. 各インスタンスにローカルテーブルを作成する
|
||||||
|
4. [分散テーブル](../engines/table-engines/special/distributed.md)を作成する
|
||||||
|
|
||||||
|
[分散テーブル](../engines/table-engines/special/distributed.md)は、ClickHouse クラスター内のローカルテーブルへの「ビュー」の一種です。分散テーブルからの SELECT クエリは、クラスターのすべてのシャードのリソースを使用して実行されます。複数のクラスターに対して設定を指定し、それに応じて異なるクラスターにビューを提供するために複数の分散テーブルを作成できます。
|
||||||
|
|
||||||
|
以下は、3つのシャードとそれぞれ1つのレプリカを持つクラスターのコンフィグ例です:
|
||||||
|
|
||||||
|
```xml
|
||||||
|
<remote_servers>
|
||||||
|
<perftest_3shards_1replicas>
|
||||||
|
<shard>
|
||||||
|
<replica>
|
||||||
|
<host>example-perftest01j.clickhouse.com</host>
|
||||||
|
<port>9000</port>
|
||||||
|
</replica>
|
||||||
|
</shard>
|
||||||
|
<shard>
|
||||||
|
<replica>
|
||||||
|
<host>example-perftest02j.clickhouse.com</host>
|
||||||
|
<port>9000</port>
|
||||||
|
</replica>
|
||||||
|
</shard>
|
||||||
|
<shard>
|
||||||
|
<replica>
|
||||||
|
<host>example-perftest03j.clickhouse.com</host>
|
||||||
|
<port>9000</port>
|
||||||
|
</replica>
|
||||||
|
</shard>
|
||||||
|
</perftest_3shards_1replicas>
|
||||||
|
</remote_servers>
|
||||||
|
```
|
||||||
|
|
||||||
|
さらなるデモンストレーションのために、単一ノードデプロイメントチュートリアルで使用した `hits_v1` の `CREATE TABLE` クエリと同じクエリを使用して、新しいローカルテーブルを作成しますが、異なるテーブル名にします:
|
||||||
|
|
||||||
|
```sql
|
||||||
|
CREATE TABLE tutorial.hits_local (...) ENGINE = MergeTree() ...
|
||||||
|
```
|
||||||
|
|
||||||
|
分散テーブルを作成すると、クラスターのローカルテーブルに対するビューを提供します:
|
||||||
|
|
||||||
|
```sql
|
||||||
|
CREATE TABLE tutorial.hits_all AS tutorial.hits_local
|
||||||
|
ENGINE = Distributed(perftest_3shards_1replicas, tutorial, hits_local, rand());
|
||||||
|
```
|
||||||
|
|
||||||
|
一般的な方法として、クラスターのすべてのマシンに同様の分散テーブルを作成します。これにより、クラスターの任意のマシンで分散クエリを実行できます。また、[remote](../sql-reference/table-functions/remote.md) テーブル関数を使用して、特定の SELECT クエリに対する一時的な分散テーブルを作成するオプションもあります。
|
||||||
|
|
||||||
|
分散テーブルに対して [INSERT SELECT](../sql-reference/statements/insert-into.md) を実行し、テーブルを複数のサーバーに分散させてみましょう。
|
||||||
|
|
||||||
|
```sql
|
||||||
|
INSERT INTO tutorial.hits_all SELECT * FROM tutorial.hits_v1;
|
||||||
|
```
|
||||||
|
|
||||||
|
予想通り、計算量の多いクエリは1台のサーバーを使用するよりも3台のサーバーを使用することでN倍速く実行されます。
|
||||||
|
|
||||||
|
この場合、3つのシャードを持つクラスターを使用し、各シャードには1つのレプリカがあります。
|
||||||
|
|
||||||
|
本番環境での回復力を提供するために、各シャードには複数の可用性ゾーンまたはデータセンター(または少なくともラック)に広がる2〜3のレプリカを含めることをお勧めします。 ClickHouse は無制限の数のレプリカをサポートしていることに注意してください。
|
||||||
|
|
||||||
|
以下は、1つのシャードに3つのレプリカを含むクラスターのコンフィグ例です:
|
||||||
|
|
||||||
|
```xml
|
||||||
|
<remote_servers>
|
||||||
|
...
|
||||||
|
<perftest_1shards_3replicas>
|
||||||
|
<shard>
|
||||||
|
<replica>
|
||||||
|
<host>example-perftest01j.clickhouse.com</host>
|
||||||
|
<port>9000</port>
|
||||||
|
</replica>
|
||||||
|
<replica>
|
||||||
|
<host>example-perftest02j.clickhouse.com</host>
|
||||||
|
<port>9000</port>
|
||||||
|
</replica>
|
||||||
|
<replica>
|
||||||
|
<host>example-perftest03j.clickhouse.com</host>
|
||||||
|
<port>9000</port>
|
||||||
|
</replica>
|
||||||
|
</shard>
|
||||||
|
</perftest_1shards_3replicas>
|
||||||
|
</remote_servers>
|
||||||
|
```
|
||||||
|
|
||||||
|
ネイティブなレプリケーションを有効にするには、[ZooKeeper](http://zookeeper.apache.org/) が必要です。ClickHouse はすべてのレプリカのデータ整合性を保証し、障害後自動的に復元手続きを実行します。ZooKeeper クラスターを他のプロセス(ClickHouse を含む)が実行されていない別のサーバーにデプロイすることをお勧めします。
|
||||||
|
|
||||||
|
:::note Note
|
||||||
|
ZooKeeper は厳密には必須ではありません: 一部の簡単なケースでは、アプリケーションコードからすべてのレプリカにデータを書き込むことでデータを複製できます。このアプローチは**推奨されません**。なぜなら、この場合、ClickHouse はすべてのレプリカでのデータ整合性を保証できません。このため、データ整合性の責任はアプリケーションにあります。
|
||||||
|
:::
|
||||||
|
|
||||||
|
ZooKeeper の場所は設定ファイルで指定されます:
|
||||||
|
|
||||||
|
```xml
|
||||||
|
<zookeeper>
|
||||||
|
<node>
|
||||||
|
<host>zoo01.clickhouse.com</host>
|
||||||
|
<port>2181</port>
|
||||||
|
</node>
|
||||||
|
<node>
|
||||||
|
<host>zoo02.clickhouse.com</host>
|
||||||
|
<port>2181</port>
|
||||||
|
</node>
|
||||||
|
<node>
|
||||||
|
<host>zoo03.clickhouse.com</host>
|
||||||
|
<port>2181</port>
|
||||||
|
</node>
|
||||||
|
</zookeeper>
|
||||||
|
```
|
||||||
|
|
||||||
|
また、テーブル作成時に使用されるシャードとレプリカを識別するためのマクロを設定する必要があります:
|
||||||
|
|
||||||
|
```xml
|
||||||
|
<macros>
|
||||||
|
<shard>01</shard>
|
||||||
|
<replica>01</replica>
|
||||||
|
</macros>
|
||||||
|
```
|
||||||
|
|
||||||
|
レプリケートされたテーブルの作成時にレプリカが存在しない場合、新しい最初のレプリカがインスタンス化されます。すでにライブレプリカがある場合、新しいレプリカは既存のものからデータをクローンします。すべてのレプリケートされたテーブルを先に作成してからデータを挿入するか、あるいはデータ挿入中または後に他のレプリカを追加するかのいずれかのオプションがあります。
|
||||||
|
|
||||||
|
```sql
|
||||||
|
CREATE TABLE tutorial.hits_replica (...)
|
||||||
|
ENGINE = ReplicatedMergeTree(
|
||||||
|
'/clickhouse_perftest/tables/{shard}/hits',
|
||||||
|
'{replica}'
|
||||||
|
)
|
||||||
|
...
|
||||||
|
```
|
||||||
|
|
||||||
|
ここでは、[ReplicatedMergeTree](../engines/table-engines/mergetree-family/replication.md) テーブルエンジンを使用しています。パラメーターでは、シャードとレプリカ識別子を含む ZooKeeper パスを指定します。
|
||||||
|
|
||||||
|
```sql
|
||||||
|
INSERT INTO tutorial.hits_replica SELECT * FROM tutorial.hits_local;
|
||||||
|
```
|
||||||
|
|
||||||
|
レプリケーションはマルチマスターモードで動作します。データは任意のレプリカにロードでき、システムは他のインスタンスと自動的に同期します。レプリケーションは非同期であるため、ある時点で、すべてのレプリカが最近挿入されたデータを含むとは限りません。ただし、データのインゲストを許可するには、少なくとも1つのレプリカが稼働している必要があります。その他のレプリカは再アクティブ化するとデータを同期し、一貫性を修復します。この方法により、最近挿入されたデータが失われる可能性が低いという利点があります。
|
98
docs/ja/chdb/data-formats.md
Normal file
@ -0,0 +1,98 @@
|
|||||||
|
---
|
||||||
|
title: データ形式
|
||||||
|
sidebar_label: データ形式
|
||||||
|
slug: /ja/chdb/data-formats
|
||||||
|
description: chDBのデータ形式
|
||||||
|
keywords: [chdb, データ形式]
|
||||||
|
---
|
||||||
|
|
||||||
|
データ形式について言えば、chDBはClickHouseと100%機能互換です。
|
||||||
|
|
||||||
|
入力形式は、`File`、`URL`、または`S3`のようなファイル対応テーブルへの`INSERT`および`SELECT`に提供されるデータを解析するために使用されます。出力形式は、`SELECT`の結果を整理し、ファイル対応テーブルへの`INSERT`を実行するために使用されます。ClickHouseがサポートするデータ形式に加えて、chDBも以下をサポートしています:
|
||||||
|
|
||||||
|
- 出力形式としての`ArrowTable`、タイプはPythonの`pyarrow.Table`
|
||||||
|
- 入力および出力形式としての`DataFrame`、タイプはPythonの`pandas.DataFrame`。例については、[test_joindf.py](https://github.com/chdb-io/chdb/blob/main/tests/test_joindf.py)をご参照ください。
|
||||||
|
- 出力としての`Debug`(`CSV`のエイリアスとして)、ただしClickHouseからのデバッグ冗長出力を有効にしています。
|
||||||
|
|
||||||
|
ClickHouseがサポートするデータ形式は以下の通りです:
|
||||||
|
|
||||||
|
| Format | Input | Output |
|
||||||
|
|---------------------------------|-------|--------|
|
||||||
|
| TabSeparated | ✔ | ✔ |
|
||||||
|
| TabSeparatedRaw | ✔ | ✔ |
|
||||||
|
| TabSeparatedWithNames | ✔ | ✔ |
|
||||||
|
| TabSeparatedWithNamesAndTypes | ✔ | ✔ |
|
||||||
|
| TabSeparatedRawWithNames | ✔ | ✔ |
|
||||||
|
| TabSeparatedRawWithNamesAndTypes| ✔ | ✔ |
|
||||||
|
| Template | ✔ | ✔ |
|
||||||
|
| TemplateIgnoreSpaces | ✔ | ✗ |
|
||||||
|
| CSV | ✔ | ✔ |
|
||||||
|
| CSVWithNames | ✔ | ✔ |
|
||||||
|
| CSVWithNamesAndTypes | ✔ | ✔ |
|
||||||
|
| CustomSeparated | ✔ | ✔ |
|
||||||
|
| CustomSeparatedWithNames | ✔ | ✔ |
|
||||||
|
| CustomSeparatedWithNamesAndTypes| ✔ | ✔ |
|
||||||
|
| SQLInsert | ✗ | ✔ |
|
||||||
|
| Values | ✔ | ✔ |
|
||||||
|
| Vertical | ✗ | ✔ |
|
||||||
|
| JSON | ✔ | ✔ |
|
||||||
|
| JSONAsString | ✔ | ✗ |
|
||||||
|
| JSONStrings | ✔ | ✔ |
|
||||||
|
| JSONColumns | ✔ | ✔ |
|
||||||
|
| JSONColumnsWithMetadata | ✔ | ✔ |
|
||||||
|
| JSONCompact | ✔ | ✔ |
|
||||||
|
| JSONCompactStrings | ✗ | ✔ |
|
||||||
|
| JSONCompactColumns | ✔ | ✔ |
|
||||||
|
| JSONEachRow | ✔ | ✔ |
|
||||||
|
| PrettyJSONEachRow | ✗ | ✔ |
|
||||||
|
| JSONEachRowWithProgress | ✗ | ✔ |
|
||||||
|
| JSONStringsEachRow | ✔ | ✔ |
|
||||||
|
| JSONStringsEachRowWithProgress | ✗ | ✔ |
|
||||||
|
| JSONCompactEachRow | ✔ | ✔ |
|
||||||
|
| JSONCompactEachRowWithNames | ✔ | ✔ |
|
||||||
|
| JSONCompactEachRowWithNamesAndTypes | ✔ | ✔ |
|
||||||
|
| JSONCompactStringsEachRow | ✔ | ✔ |
|
||||||
|
| JSONCompactStringsEachRowWithNames | ✔ | ✔ |
|
||||||
|
| JSONCompactStringsEachRowWithNamesAndTypes | ✔ | ✔ |
|
||||||
|
| JSONObjectEachRow | ✔ | ✔ |
|
||||||
|
| BSONEachRow | ✔ | ✔ |
|
||||||
|
| TSKV | ✔ | ✔ |
|
||||||
|
| Pretty | ✗ | ✔ |
|
||||||
|
| PrettyNoEscapes | ✗ | ✔ |
|
||||||
|
| PrettyMonoBlock | ✗ | ✔ |
|
||||||
|
| PrettyNoEscapesMonoBlock | ✗ | ✔ |
|
||||||
|
| PrettyCompact | ✗ | ✔ |
|
||||||
|
| PrettyCompactNoEscapes | ✗ | ✔ |
|
||||||
|
| PrettyCompactMonoBlock | ✗ | ✔ |
|
||||||
|
| PrettyCompactNoEscapesMonoBlock | ✗ | ✔ |
|
||||||
|
| PrettySpace | ✗ | ✔ |
|
||||||
|
| PrettySpaceNoEscapes | ✗ | ✔ |
|
||||||
|
| PrettySpaceMonoBlock | ✗ | ✔ |
|
||||||
|
| PrettySpaceNoEscapesMonoBlock | ✗ | ✔ |
|
||||||
|
| Prometheus | ✗ | ✔ |
|
||||||
|
| Protobuf | ✔ | ✔ |
|
||||||
|
| ProtobufSingle | ✔ | ✔ |
|
||||||
|
| Avro | ✔ | ✔ |
|
||||||
|
| AvroConfluent | ✔ | ✗ |
|
||||||
|
| Parquet | ✔ | ✔ |
|
||||||
|
| ParquetMetadata | ✔ | ✗ |
|
||||||
|
| Arrow | ✔ | ✔ |
|
||||||
|
| ArrowStream | ✔ | ✔ |
|
||||||
|
| ORC | ✔ | ✔ |
|
||||||
|
| One | ✔ | ✗ |
|
||||||
|
| RowBinary | ✔ | ✔ |
|
||||||
|
| RowBinaryWithNames | ✔ | ✔ |
|
||||||
|
| RowBinaryWithNamesAndTypes | ✔ | ✔ |
|
||||||
|
| RowBinaryWithDefaults | ✔ | ✔ |
|
||||||
|
| Native | ✔ | ✔ |
|
||||||
|
| Null | ✗ | ✔ |
|
||||||
|
| XML | ✗ | ✔ |
|
||||||
|
| CapnProto | ✔ | ✔ |
|
||||||
|
| LineAsString | ✔ | ✔ |
|
||||||
|
| Regexp | ✔ | ✗ |
|
||||||
|
| RawBLOB | ✔ | ✔ |
|
||||||
|
| MsgPack | ✔ | ✔ |
|
||||||
|
| MySQLDump | ✔ | ✗ |
|
||||||
|
| Markdown | ✗ | ✔ |
|
||||||
|
|
||||||
|
詳細および例については、[ClickHouseの入力および出力データ形式](/docs/ja/interfaces/formats)をご覧ください。
|
367
docs/ja/chdb/getting-started.md
Normal file
@ -0,0 +1,367 @@
|
|||||||
|
---
|
||||||
|
title: chDBの使い始め
|
||||||
|
sidebar_label: 使い始め
|
||||||
|
slug: /ja/chdb/getting-started
|
||||||
|
description: chDBはClickHouseによってパワードされたプロセス内SQL OLAPエンジンです
|
||||||
|
keywords: [chdb, embedded, clickhouse-lite, in-process, in process]
|
||||||
|
---
|
||||||
|
|
||||||
|
# chDBの使い始め
|
||||||
|
|
||||||
|
このガイドでは、chDBのPythonバリアントをセットアップしていきます。まず、S3上のJSONファイルにクエリを実行し、それを基にchDBでテーブルを作成し、データに対するクエリを行います。さらに、クエリ結果をApache ArrowやPandasなど異なるフォーマットで取得する方法を学び、最終的にはPandas DataFrameに対してクエリを実行する方法を紹介します。
|
||||||
|
|
||||||
|
## セットアップ
|
||||||
|
|
||||||
|
まずは仮想環境を作成します:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
python -m venv .venv
|
||||||
|
source .venv/bin/activate
|
||||||
|
```
|
||||||
|
|
||||||
|
次にchDBをインストールします。バージョン2.0.3以上であることを確認してください:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
pip install "chdb>=2.0.2"
|
||||||
|
```
|
||||||
|
|
||||||
|
そして[ipython](https://ipython.org/)をインストールします:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
pip install ipython
|
||||||
|
```
|
||||||
|
|
||||||
|
このガイドの残りでは`ipython`を使ってコマンドを実行します。以下のコマンドで`ipython`を起動できます:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
ipython
|
||||||
|
```
|
||||||
|
|
||||||
|
さらに、PandasとApache Arrowを使用するので、それらのライブラリもインストールします:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
pip install pandas pyarrow
|
||||||
|
```
|
||||||
|
|
||||||
|
## S3上にあるJSONファイルにクエリ
|
||||||
|
|
||||||
|
次に、S3バケットに保存されているJSONファイルに対してクエリを行う方法を見てみましょう。[YouTubeの非表示データセット](https://clickhouse.com/docs/ja/getting-started/example-datasets/youtube-dislikes)には、2021年までのYouTube動画の非表示数が4億以上含まれています。このデータセットのJSONファイルの1つを使っていきます。
|
||||||
|
|
||||||
|
chdbをインポートします:
|
||||||
|
|
||||||
|
```python
|
||||||
|
import chdb
|
||||||
|
```
|
||||||
|
|
||||||
|
次のクエリで、JSONファイルの構造を調べることができます:
|
||||||
|
|
||||||
|
```python
|
||||||
|
chdb.query(
|
||||||
|
"""
|
||||||
|
DESCRIBE s3(
|
||||||
|
's3://clickhouse-public-datasets/youtube/original/files/' ||
|
||||||
|
'youtubedislikes_20211127161229_18654868.1637897329_vid.json.zst',
|
||||||
|
'JSONLines'
|
||||||
|
)
|
||||||
|
SETTINGS describe_compact_output=1
|
||||||
|
"""
|
||||||
|
)
|
||||||
|
```
|
||||||
|
|
||||||
|
```text
|
||||||
|
"id","Nullable(String)"
|
||||||
|
"fetch_date","Nullable(String)"
|
||||||
|
"upload_date","Nullable(String)"
|
||||||
|
"title","Nullable(String)"
|
||||||
|
"uploader_id","Nullable(String)"
|
||||||
|
"uploader","Nullable(String)"
|
||||||
|
"uploader_sub_count","Nullable(Int64)"
|
||||||
|
"is_age_limit","Nullable(Bool)"
|
||||||
|
"view_count","Nullable(Int64)"
|
||||||
|
"like_count","Nullable(Int64)"
|
||||||
|
"dislike_count","Nullable(Int64)"
|
||||||
|
"is_crawlable","Nullable(Bool)"
|
||||||
|
"is_live_content","Nullable(Bool)"
|
||||||
|
"has_subtitles","Nullable(Bool)"
|
||||||
|
"is_ads_enabled","Nullable(Bool)"
|
||||||
|
"is_comments_enabled","Nullable(Bool)"
|
||||||
|
"description","Nullable(String)"
|
||||||
|
"rich_metadata","Array(Tuple(
|
||||||
|
call Nullable(String),
|
||||||
|
content Nullable(String),
|
||||||
|
subtitle Nullable(String),
|
||||||
|
title Nullable(String),
|
||||||
|
url Nullable(String)))"
|
||||||
|
"super_titles","Array(Tuple(
|
||||||
|
text Nullable(String),
|
||||||
|
url Nullable(String)))"
|
||||||
|
"uploader_badges","Nullable(String)"
|
||||||
|
"video_badges","Nullable(String)"
|
||||||
|
```
|
||||||
|
|
||||||
|
また、そのファイル内の行数をカウントすることもできます:
|
||||||
|
|
||||||
|
```python
|
||||||
|
chdb.query(
|
||||||
|
"""
|
||||||
|
SELECT count()
|
||||||
|
FROM s3(
|
||||||
|
's3://clickhouse-public-datasets/youtube/original/files/' ||
|
||||||
|
'youtubedislikes_20211127161229_18654868.1637897329_vid.json.zst',
|
||||||
|
'JSONLines'
|
||||||
|
)"""
|
||||||
|
)
|
||||||
|
```
|
||||||
|
|
||||||
|
```text
|
||||||
|
336432
|
||||||
|
```
|
||||||
|
|
||||||
|
このファイルには30万以上のレコードが含まれています。
|
||||||
|
|
||||||
|
chDBはまだクエリパラメータの受け渡しをサポートしていませんが、パスを取り出してf-Stringを使って渡すことができます。
|
||||||
|
|
||||||
|
```python
|
||||||
|
path = 's3://clickhouse-public-datasets/youtube/original/files/youtubedislikes_20211127161229_18654868.1637897329_vid.json.zst'
|
||||||
|
```
|
||||||
|
|
||||||
|
```python
|
||||||
|
chdb.query(
|
||||||
|
f"""
|
||||||
|
SELECT count()
|
||||||
|
FROM s3('{path}','JSONLines')
|
||||||
|
"""
|
||||||
|
)
|
||||||
|
```
|
||||||
|
|
||||||
|
:::warning
|
||||||
|
これはプログラム内で定義された変数を使用する限りでは問題ありませんが、ユーザーから提供された入力で行うと、クエリがSQLインジェクションに対して脆弱になります。
|
||||||
|
:::
|
||||||
|
|
||||||
|
## 出力フォーマットの設定
|
||||||
|
|
||||||
|
デフォルトの出力フォーマットは`CSV`ですが、`output_format`パラメータを使って変更できます。chDBはClickHouseのデータフォーマットに加え、`DataFrame`など[chDB独自のフォーマット](data-formats.md)をサポートしており、Pandas DataFrameを返します:
|
||||||
|
|
||||||
|
```python
|
||||||
|
result = chdb.query(
|
||||||
|
f"""
|
||||||
|
SELECT is_ads_enabled, count()
|
||||||
|
FROM s3('{path}','JSONLines')
|
||||||
|
GROUP BY ALL
|
||||||
|
""",
|
||||||
|
output_format="DataFrame"
|
||||||
|
)
|
||||||
|
|
||||||
|
print(type(result))
|
||||||
|
print(result)
|
||||||
|
```
|
||||||
|
|
||||||
|
```text
|
||||||
|
<class 'pandas.core.frame.DataFrame'>
|
||||||
|
is_ads_enabled count()
|
||||||
|
0 False 301125
|
||||||
|
1 True 35307
|
||||||
|
```
|
||||||
|
|
||||||
|
また、Apache Arrowテーブルを取得したい場合は:
|
||||||
|
|
||||||
|
```python
|
||||||
|
result = chdb.query(
|
||||||
|
f"""
|
||||||
|
SELECT is_live_content, count()
|
||||||
|
FROM s3('{path}','JSONLines')
|
||||||
|
GROUP BY ALL
|
||||||
|
""",
|
||||||
|
output_format="ArrowTable"
|
||||||
|
)
|
||||||
|
|
||||||
|
print(type(result))
|
||||||
|
print(result)
|
||||||
|
```
|
||||||
|
|
||||||
|
```text
|
||||||
|
<class 'pyarrow.lib.Table'>
|
||||||
|
pyarrow.Table
|
||||||
|
is_live_content: bool
|
||||||
|
count(): uint64 not null
|
||||||
|
----
|
||||||
|
is_live_content: [[false,true]]
|
||||||
|
count(): [[315746,20686]]
|
||||||
|
```
|
||||||
|
|
||||||
|
## JSONファイルからテーブルの作成
|
||||||
|
|
||||||
|
次に、chDBでテーブルを作成する方法を見てみましょう。これを行うには、異なるAPIを使用する必要がありますので、まずそれをインポートします:
|
||||||
|
|
||||||
|
```python
|
||||||
|
from chdb import session as chs
|
||||||
|
```
|
||||||
|
|
||||||
|
次に、セッションを初期化します。セッションをディスクに保存したい場合は、ディレクトリ名を指定する必要があります。これを空にすると、データベースはメモリ上に配置され、Pythonのプロセスを終了すると消去されます。
|
||||||
|
|
||||||
|
```python
|
||||||
|
sess = chs.Session("gettingStarted.chdb")
|
||||||
|
```
|
||||||
|
|
||||||
|
次に、データベースを作成します:
|
||||||
|
|
||||||
|
```python
|
||||||
|
sess.query("CREATE DATABASE IF NOT EXISTS youtube")
|
||||||
|
```
|
||||||
|
|
||||||
|
次に、JSONファイルのスキーマに基づいて`dislikes`テーブルを`CREATE...EMPTY AS`技法を使って作成します。カラムの型をすべて`Nullable`にしないように[`schema_inference_make_columns_nullable`](/docs/ja/operations/settings/formats/#schema_inference_make_columns_nullable)設定を使用します。
|
||||||
|
|
||||||
|
```python
|
||||||
|
sess.query(f"""
|
||||||
|
CREATE TABLE youtube.dislikes
|
||||||
|
ORDER BY fetch_date
|
||||||
|
EMPTY AS
|
||||||
|
SELECT *
|
||||||
|
FROM s3('{path}','JSONLines')
|
||||||
|
SETTINGS schema_inference_make_columns_nullable=0
|
||||||
|
"""
|
||||||
|
)
|
||||||
|
```
|
||||||
|
|
||||||
|
その後、`DESCRIBE`句を使ってスキーマを確認できます:
|
||||||
|
|
||||||
|
```python
|
||||||
|
sess.query(f"""
|
||||||
|
DESCRIBE youtube.dislikes
|
||||||
|
SETTINGS describe_compact_output=1
|
||||||
|
"""
|
||||||
|
)
|
||||||
|
```
|
||||||
|
|
||||||
|
```text
|
||||||
|
"id","String"
|
||||||
|
"fetch_date","String"
|
||||||
|
"upload_date","String"
|
||||||
|
"title","String"
|
||||||
|
"uploader_id","String"
|
||||||
|
"uploader","String"
|
||||||
|
"uploader_sub_count","Int64"
|
||||||
|
"is_age_limit","Bool"
|
||||||
|
"view_count","Int64"
|
||||||
|
"like_count","Int64"
|
||||||
|
"dislike_count","Int64"
|
||||||
|
"is_crawlable","Bool"
|
||||||
|
"is_live_content","Bool"
|
||||||
|
"has_subtitles","Bool"
|
||||||
|
"is_ads_enabled","Bool"
|
||||||
|
"is_comments_enabled","Bool"
|
||||||
|
"description","String"
|
||||||
|
"rich_metadata","Array(Tuple(
|
||||||
|
call String,
|
||||||
|
content String,
|
||||||
|
subtitle String,
|
||||||
|
title String,
|
||||||
|
url String))"
|
||||||
|
"super_titles","Array(Tuple(
|
||||||
|
text String,
|
||||||
|
url String))"
|
||||||
|
"uploader_badges","String"
|
||||||
|
"video_badges","String"
|
||||||
|
```
|
||||||
|
|
||||||
|
次に、そのテーブルにデータを挿入します:
|
||||||
|
|
||||||
|
```python
|
||||||
|
sess.query(f"""
|
||||||
|
INSERT INTO youtube.dislikes
|
||||||
|
SELECT *
|
||||||
|
FROM s3('{path}','JSONLines')
|
||||||
|
SETTINGS schema_inference_make_columns_nullable=0
|
||||||
|
"""
|
||||||
|
)
|
||||||
|
```
|
||||||
|
|
||||||
|
これらのステップを1回の操作で行うこともできます。`CREATE...AS`技法を使って異なるテーブルを作成してみます:
|
||||||
|
|
||||||
|
```python
|
||||||
|
sess.query(f"""
|
||||||
|
CREATE TABLE youtube.dislikes2
|
||||||
|
ORDER BY fetch_date
|
||||||
|
AS
|
||||||
|
SELECT *
|
||||||
|
FROM s3('{path}','JSONLines')
|
||||||
|
SETTINGS schema_inference_make_columns_nullable=0
|
||||||
|
"""
|
||||||
|
)
|
||||||
|
```
|
||||||
|
|
||||||
|
## テーブルへのクエリ
|
||||||
|
|
||||||
|
最後に、テーブルにクエリを実行します:
|
||||||
|
|
||||||
|
```sql
|
||||||
|
df = sess.query("""
|
||||||
|
SELECT uploader, sum(view_count) AS viewCount, sum(like_count) AS likeCount, sum(dislike_count) AS dislikeCount
|
||||||
|
FROM youtube.dislikes
|
||||||
|
GROUP BY ALL
|
||||||
|
ORDER BY viewCount DESC
|
||||||
|
LIMIT 10
|
||||||
|
""",
|
||||||
|
"DataFrame"
|
||||||
|
)
|
||||||
|
df
|
||||||
|
```
|
||||||
|
|
||||||
|
```text
|
||||||
|
uploader viewCount likeCount dislikeCount
|
||||||
|
0 Jeremih 139066569 812602 37842
|
||||||
|
1 TheKillersMusic 109313116 529361 11931
|
||||||
|
2 LetsGoMartin- Canciones Infantiles 104747788 236615 141467
|
||||||
|
3 Xiaoying Cuisine 54458335 1031525 37049
|
||||||
|
4 Adri 47404537 279033 36583
|
||||||
|
5 Diana and Roma IND 43829341 182334 148740
|
||||||
|
6 ChuChuTV Tamil 39244854 244614 213772
|
||||||
|
7 Cheez-It 35342270 108 27
|
||||||
|
8 Anime Uz 33375618 1270673 60013
|
||||||
|
9 RC Cars OFF Road 31952962 101503 49489
|
||||||
|
```
|
||||||
|
|
||||||
|
例えば、次にDataFrameにlikesとdislikesの比率を計算するカラムを追加する場合、次のコードを書くことができます:
|
||||||
|
|
||||||
|
```python
|
||||||
|
df["likeDislikeRatio"] = df["likeCount"] / df["dislikeCount"]
|
||||||
|
```
|
||||||
|
|
||||||
|
## Pandas DataFrameへのクエリ
|
||||||
|
|
||||||
|
次に、そのDataFrameに対してchDBからクエリを実行できます:
|
||||||
|
|
||||||
|
```python
|
||||||
|
chdb.query(
|
||||||
|
"""
|
||||||
|
SELECT uploader, likeDislikeRatio
|
||||||
|
FROM Python(df)
|
||||||
|
""",
|
||||||
|
output_format="DataFrame"
|
||||||
|
)
|
||||||
|
```
|
||||||
|
|
||||||
|
```text
|
||||||
|
uploader likeDislikeRatio
|
||||||
|
0 Jeremih 21.473548
|
||||||
|
1 TheKillersMusic 44.368536
|
||||||
|
2 LetsGoMartin- Canciones Infantiles 1.672581
|
||||||
|
3 Xiaoying Cuisine 27.842182
|
||||||
|
4 Adri 7.627395
|
||||||
|
5 Diana and Roma IND 1.225857
|
||||||
|
6 ChuChuTV Tamil 1.144275
|
||||||
|
7 Cheez-It 4.000000
|
||||||
|
8 Anime Uz 21.173296
|
||||||
|
9 RC Cars OFF Road 2.051021
|
||||||
|
```
|
||||||
|
|
||||||
|
Pandas DataFrameへのクエリについての詳細は[Querying Pandas developer guide](guides/querying-pandas.md)で詳しく説明されています。
|
||||||
|
|
||||||
|
## 次のステップ
|
||||||
|
|
||||||
|
このガイドでchDBの概要が理解できたでしょうか。さらなる学習には、以下のデベロッパーガイドをご参照ください:
|
||||||
|
|
||||||
|
* [Pandas DataFrameへのクエリ](guides/querying-pandas.md)
|
||||||
|
* [Apache Arrowへのクエリ](guides/querying-apache-arrow.md)
|
||||||
|
* [JupySQLでのchDBの使用](guides/jupysql.md)
|
||||||
|
* [既存のclickhouse-localデータベースでのchDBの使用](guides/clickhouse-local.md)
|
127
docs/ja/chdb/guides/clickhouse-local.md
Normal file
@ -0,0 +1,127 @@
|
|||||||
|
---
|
||||||
|
title: clickhouse-localデータベースの使用方法
|
||||||
|
sidebar_label: clickhouse-localデータベースの使用方法
|
||||||
|
slug: /ja/chdb/guides/clickhouse-local
|
||||||
|
description: chDBでclickhouse-localデータベースを使用する方法を学びます。
|
||||||
|
keywords: [chdb, clickhouse-local]
|
||||||
|
---
|
||||||
|
|
||||||
|
[clickhouse-local](/ja/operations/utilities/clickhouse-local) は、ClickHouseの埋め込みバージョンを使用するCLIであり、サーバーをインストールすることなくClickHouseの機能を利用できるようにします。このガイドでは、chDBからclickhouse-localデータベースを使用する方法を学びます。
|
||||||
|
|
||||||
|
## セットアップ
|
||||||
|
|
||||||
|
最初に仮想環境を作成しましょう:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
python -m venv .venv
|
||||||
|
source .venv/bin/activate
|
||||||
|
```
|
||||||
|
|
||||||
|
次に、chDBをインストールします。
|
||||||
|
バージョン2.0.2以上であることを確認してください:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
pip install "chdb>=2.0.2"
|
||||||
|
```
|
||||||
|
|
||||||
|
続いて[ipython](https://ipython.org/)をインストールします:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
pip install ipython
|
||||||
|
```
|
||||||
|
|
||||||
|
このガイドの残りのコマンドを実行するために`ipython`を使用します。以下のコマンドで起動できます:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
ipython
|
||||||
|
```
|
||||||
|
|
||||||
|
## clickhouse-localのインストール
|
||||||
|
|
||||||
|
clickhouse-localのダウンロードとインストールは、[ClickHouseのダウンロードとインストール](https://clickhouse.com/docs/ja/install)と同じです。以下のコマンドを実行します:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
curl https://clickhouse.com/ | sh
|
||||||
|
```
|
||||||
|
|
||||||
|
データをディレクトリに保存してclickhouse-localを起動するには、`--path`を指定する必要があります:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
./clickhouse -m --path demo.chdb
|
||||||
|
```
|
||||||
|
|
||||||
|
## clickhouse-localにデータを取り込む
|
||||||
|
|
||||||
|
デフォルトのデータベースはメモリにデータを保存するだけなので、ディスクにデータを保持するには名前付きデータベースを作成する必要があります。
|
||||||
|
|
||||||
|
```sql
|
||||||
|
CREATE DATABASE foo;
|
||||||
|
```
|
||||||
|
|
||||||
|
次にテーブルを作成し、ランダムな数値を挿入します:
|
||||||
|
|
||||||
|
```sql
|
||||||
|
CREATE TABLE foo.randomNumbers
|
||||||
|
ORDER BY number AS
|
||||||
|
SELECT rand() AS number
|
||||||
|
FROM numbers(10_000_000);
|
||||||
|
```
|
||||||
|
|
||||||
|
データを確認するためにクエリを実行してみましょう:
|
||||||
|
|
||||||
|
```sql
|
||||||
|
SELECT quantilesExact(0, 0.5, 0.75, 0.99)(number) AS quants
|
||||||
|
FROM foo.randomNumbers
|
||||||
|
|
||||||
|
┌─quants────────────────────────────────┐
|
||||||
|
│ [69,2147776478,3221525118,4252096960] │
|
||||||
|
└───────────────────────────────────────┘
|
||||||
|
```
|
||||||
|
|
||||||
|
その後、CLIから`exit;`することを忘れないでください。ディレクトリに対するロックを保持できるのは一つのプロセスだけです。この操作を怠ると、chDBからデータベースに接続しようとしたときに次のエラーが発生します:
|
||||||
|
|
||||||
|
```text
|
||||||
|
ChdbError: Code: 76. DB::Exception: Cannot lock file demo.chdb/status. Another server instance in same directory is already running. (CANNOT_OPEN_FILE)
|
||||||
|
```
|
||||||
|
|
||||||
|
## clickhouse-localデータベースへの接続
|
||||||
|
|
||||||
|
`ipython`シェルに戻り、chDBから`session`モジュールをインポートします:
|
||||||
|
|
||||||
|
```python
|
||||||
|
from chdb import session as chs
|
||||||
|
```
|
||||||
|
|
||||||
|
`demo.chdb`を指すセッションを初期化します:
|
||||||
|
|
||||||
|
```
|
||||||
|
sess = chs.Session("demo.chdb")
|
||||||
|
```
|
||||||
|
|
||||||
|
次に、数値の分位を返す同じクエリを実行できます:
|
||||||
|
|
||||||
|
```python
|
||||||
|
sess.query("""
|
||||||
|
SELECT quantilesExact(0, 0.5, 0.75, 0.99)(number) AS quants
|
||||||
|
FROM foo.randomNumbers
|
||||||
|
""", "Vertical")
|
||||||
|
|
||||||
|
Row 1:
|
||||||
|
──────
|
||||||
|
quants: [0,9976599,2147776478,4209286886]
|
||||||
|
```
|
||||||
|
|
||||||
|
chDBからこのデータベースにデータを挿入することもできます:
|
||||||
|
|
||||||
|
```python
|
||||||
|
sess.query("""
|
||||||
|
INSERT INTO foo.randomNumbers
|
||||||
|
SELECT rand() AS number FROM numbers(10_000_000)
|
||||||
|
""")
|
||||||
|
|
||||||
|
Row 1:
|
||||||
|
──────
|
||||||
|
quants: [0,9976599,2147776478,4209286886]
|
||||||
|
```
|
||||||
|
|
||||||
|
その後、chDBまたはclickhouse-localから分位数クエリを再実行できます。
|
BIN
docs/ja/chdb/guides/images/players_per_rank.png
Normal file
After Width: | Height: | Size: 64 KiB |
420
docs/ja/chdb/guides/jupysql.md
Normal file
@ -0,0 +1,420 @@
|
|||||||
|
---
|
||||||
|
title: JupySQLとchDB
|
||||||
|
sidebar_label: JupySQL
|
||||||
|
slug: /ja/chdb/guides/jupysql
|
||||||
|
description: BunのためのchDBのインストール方法
|
||||||
|
keywords: [chdb, jupysql]
|
||||||
|
---
|
||||||
|
|
||||||
|
[JupySQL](https://jupysql.ploomber.io/en/latest/quick-start.html) は、JupyterノートブックやiPythonシェルでSQLを実行するためのPythonライブラリです。
|
||||||
|
このガイドでは、chDBとJupySQLを使ってデータをクエリする方法を学びます。
|
||||||
|
|
||||||
|
<div class='vimeo-container'>
|
||||||
|
<iframe width="560" height="315" src="https://www.youtube.com/embed/2wjl3OijCto?si=EVf2JhjS5fe4j6Cy" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" referrerpolicy="strict-origin-when-cross-origin" allowfullscreen></iframe>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
## セットアップ
|
||||||
|
|
||||||
|
まず、仮想環境を作成しましょう:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
python -m venv .venv
|
||||||
|
source .venv/bin/activate
|
||||||
|
```
|
||||||
|
|
||||||
|
次に、JupySQL、iPython、およびJupyter Labをインストールします:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
pip install jupysql ipython jupyterlab
|
||||||
|
```
|
||||||
|
|
||||||
|
iPythonでJupySQLを使用できるように、以下を実行して起動します:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
ipython
|
||||||
|
```
|
||||||
|
|
||||||
|
あるいは、Jupyter Labで以下を実行して起動できます:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
jupyter lab
|
||||||
|
```
|
||||||
|
|
||||||
|
:::note
|
||||||
|
Jupyter Labを使用している場合、ガイドの続きを行う前にノートブックを作成する必要があります。
|
||||||
|
:::
|
||||||
|
|
||||||
|
## データセットのダウンロード
|
||||||
|
|
||||||
|
[Jeff Sackmannのtennis_atp](https://github.com/JeffSackmann/tennis_atp) データセットを使用します。このデータセットは、選手とそのランキングに関するメタデータを含んでいます。
|
||||||
|
最初にランキングファイルをダウンロードしましょう:
|
||||||
|
|
||||||
|
```python
|
||||||
|
from urllib.request import urlretrieve
|
||||||
|
```
|
||||||
|
|
||||||
|
```python
|
||||||
|
files = ['00s', '10s', '20s', '70s', '80s', '90s', 'current']
|
||||||
|
base = "https://raw.githubusercontent.com/JeffSackmann/tennis_atp/master"
|
||||||
|
for file in files:
|
||||||
|
_ = urlretrieve(
|
||||||
|
f"{base}/atp_rankings_{file}.csv",
|
||||||
|
f"atp_rankings_{file}.csv",
|
||||||
|
)
|
||||||
|
```
|
||||||
|
|
||||||
|
## chDBとJupySQLの設定
|
||||||
|
|
||||||
|
次に、chDBの`dbapi`モジュールをインポートします:
|
||||||
|
|
||||||
|
```python
|
||||||
|
from chdb import dbapi
|
||||||
|
```
|
||||||
|
|
||||||
|
そして、chDB接続を作成します。
|
||||||
|
保存したデータはすべて`atp.chdb`ディレクトリに保存されます:
|
||||||
|
|
||||||
|
```python
|
||||||
|
conn = dbapi.connect(path="atp.chdb")
|
||||||
|
```
|
||||||
|
|
||||||
|
次に、`sql`マジックをロードし、chDBへの接続を作成します:
|
||||||
|
|
||||||
|
```python
|
||||||
|
%load_ext sql
|
||||||
|
%sql conn --alias chdb
|
||||||
|
```
|
||||||
|
|
||||||
|
次に、クエリの結果が切り捨てられないように表示制限を設定します:
|
||||||
|
|
||||||
|
```python
|
||||||
|
%config SqlMagic.displaylimit = None
|
||||||
|
```
|
||||||
|
|
||||||
|
## CSVファイルのデータクエリ
|
||||||
|
|
||||||
|
`atp_rankings`プレフィックスのついた複数のファイルをダウンロードしました。
|
||||||
|
`DESCRIBE`句を使ってスキーマを理解しましょう:
|
||||||
|
|
||||||
|
```python
|
||||||
|
%%sql
|
||||||
|
DESCRIBE file('atp_rankings*.csv')
|
||||||
|
SETTINGS describe_compact_output=1,
|
||||||
|
schema_inference_make_columns_nullable=0
|
||||||
|
```
|
||||||
|
|
||||||
|
```text
|
||||||
|
+--------------+-------+
|
||||||
|
| name | type |
|
||||||
|
+--------------+-------+
|
||||||
|
| ranking_date | Int64 |
|
||||||
|
| rank | Int64 |
|
||||||
|
| player | Int64 |
|
||||||
|
| points | Int64 |
|
||||||
|
+--------------+-------+
|
||||||
|
```
|
||||||
|
|
||||||
|
また、ファイルに対して直接`SELECT`クエリを書いてデータの内容を確認することもできます:
|
||||||
|
|
||||||
|
```python
|
||||||
|
%sql SELECT * FROM file('atp_rankings*.csv') LIMIT 1
|
||||||
|
```
|
||||||
|
|
||||||
|
```text
|
||||||
|
+--------------+------+--------+--------+
|
||||||
|
| ranking_date | rank | player | points |
|
||||||
|
+--------------+------+--------+--------+
|
||||||
|
| 20000110 | 1 | 101736 | 4135 |
|
||||||
|
+--------------+------+--------+--------+
|
||||||
|
```
|
||||||
|
|
||||||
|
データのフォーマットが少し不思議です。
|
||||||
|
この日付をきれいにし、`REPLACE`句を使ってクリーンな`ranking_date`を返します:
|
||||||
|
|
||||||
|
```python
|
||||||
|
%%sql
|
||||||
|
SELECT * REPLACE (
|
||||||
|
toDate(parseDateTime32BestEffort(toString(ranking_date))) AS ranking_date
|
||||||
|
)
|
||||||
|
FROM file('atp_rankings*.csv')
|
||||||
|
LIMIT 10
|
||||||
|
SETTINGS schema_inference_make_columns_nullable=0
|
||||||
|
```
|
||||||
|
|
||||||
|
```text
|
||||||
|
+--------------+------+--------+--------+
|
||||||
|
| ranking_date | rank | player | points |
|
||||||
|
+--------------+------+--------+--------+
|
||||||
|
| 2000-01-10 | 1 | 101736 | 4135 |
|
||||||
|
| 2000-01-10 | 2 | 102338 | 2915 |
|
||||||
|
| 2000-01-10 | 3 | 101948 | 2419 |
|
||||||
|
| 2000-01-10 | 4 | 103017 | 2184 |
|
||||||
|
| 2000-01-10 | 5 | 102856 | 2169 |
|
||||||
|
| 2000-01-10 | 6 | 102358 | 2107 |
|
||||||
|
| 2000-01-10 | 7 | 102839 | 1966 |
|
||||||
|
| 2000-01-10 | 8 | 101774 | 1929 |
|
||||||
|
| 2000-01-10 | 9 | 102701 | 1846 |
|
||||||
|
| 2000-01-10 | 10 | 101990 | 1739 |
|
||||||
|
+--------------+------+--------+--------+
|
||||||
|
```
|
||||||
|
|
||||||
|
## CSVファイルをchDBにインポート
|
||||||
|
|
||||||
|
これでこれらCSVファイルからのデータをテーブルに保存します。
|
||||||
|
デフォルトのデータベースではデータがディスクに保存されないので、最初に別のデータベースを作成する必要があります:
|
||||||
|
|
||||||
|
```python
|
||||||
|
%sql CREATE DATABASE atp
|
||||||
|
```
|
||||||
|
|
||||||
|
次に、CSVファイルのデータ構造から派生するスキーマを持つ`rankings`というテーブルを作成します:
|
||||||
|
|
||||||
|
```python
|
||||||
|
%%sql
|
||||||
|
CREATE TABLE atp.rankings
|
||||||
|
ENGINE=MergeTree
|
||||||
|
ORDER BY ranking_date AS
|
||||||
|
SELECT * REPLACE (
|
||||||
|
toDate(parseDateTime32BestEffort(toString(ranking_date))) AS ranking_date
|
||||||
|
)
|
||||||
|
FROM file('atp_rankings*.csv')
|
||||||
|
SETTINGS schema_inference_make_columns_nullable=0
|
||||||
|
```
|
||||||
|
|
||||||
|
テーブル内のデータを簡単に確認しましょう:
|
||||||
|
|
||||||
|
```python
|
||||||
|
%sql SELECT * FROM atp.rankings LIMIT 10
|
||||||
|
```
|
||||||
|
|
||||||
|
```text
|
||||||
|
+--------------+------+--------+--------+
|
||||||
|
| ranking_date | rank | player | points |
|
||||||
|
+--------------+------+--------+--------+
|
||||||
|
| 2000-01-10 | 1 | 101736 | 4135 |
|
||||||
|
| 2000-01-10 | 2 | 102338 | 2915 |
|
||||||
|
| 2000-01-10 | 3 | 101948 | 2419 |
|
||||||
|
| 2000-01-10 | 4 | 103017 | 2184 |
|
||||||
|
| 2000-01-10 | 5 | 102856 | 2169 |
|
||||||
|
| 2000-01-10 | 6 | 102358 | 2107 |
|
||||||
|
| 2000-01-10 | 7 | 102839 | 1966 |
|
||||||
|
| 2000-01-10 | 8 | 101774 | 1929 |
|
||||||
|
| 2000-01-10 | 9 | 102701 | 1846 |
|
||||||
|
| 2000-01-10 | 10 | 101990 | 1739 |
|
||||||
|
+--------------+------+--------+--------+
|
||||||
|
```
|
||||||
|
|
||||||
|
見た目は良さそうです。予想通り、CSVファイルを直接クエリしたときと同じ出力です。
|
||||||
|
|
||||||
|
選手のメタデータについても同じプロセスに従います。
|
||||||
|
今回はデータがすべて単一のCSVファイル内にあるので、そのファイルをダウンロードしましょう:
|
||||||
|
|
||||||
|
```python
|
||||||
|
_ = urlretrieve(
|
||||||
|
f"{base}/atp_players.csv",
|
||||||
|
"atp_players.csv",
|
||||||
|
)
|
||||||
|
```
|
||||||
|
|
||||||
|
次に、CSVファイルの内容に基づいて`players`というテーブルを作成します。
|
||||||
|
また、`dob`フィールドを`Date32`型にしてきれいにします。
|
||||||
|
|
||||||
|
> ClickHouseでは、`Date`型は1970年以降の日付のみをサポートしています。`dob`カラムが1970年以前の日付を含むため、代わりに`Date32`型を使用します。
|
||||||
|
|
||||||
|
```python
|
||||||
|
%%sql
|
||||||
|
CREATE TABLE atp.players
|
||||||
|
Engine=MergeTree
|
||||||
|
ORDER BY player_id AS
|
||||||
|
SELECT * REPLACE (
|
||||||
|
makeDate32(
|
||||||
|
toInt32OrNull(substring(toString(dob), 1, 4)),
|
||||||
|
toInt32OrNull(substring(toString(dob), 5, 2)),
|
||||||
|
toInt32OrNull(substring(toString(dob), 7, 2))
|
||||||
|
)::Nullable(Date32) AS dob
|
||||||
|
)
|
||||||
|
FROM file('atp_players.csv')
|
||||||
|
SETTINGS schema_inference_make_columns_nullable=0
|
||||||
|
```
|
||||||
|
|
||||||
|
実行が完了したら、取り込んだデータを確認してみましょう:
|
||||||
|
|
||||||
|
```python
|
||||||
|
%sql SELECT * FROM atp.players LIMIT 10
|
||||||
|
```
|
||||||
|
|
||||||
|
```text
|
||||||
|
+-----------+------------+-----------+------+------------+-----+--------+-------------+
|
||||||
|
| player_id | name_first | name_last | hand | dob | ioc | height | wikidata_id |
|
||||||
|
+-----------+------------+-----------+------+------------+-----+--------+-------------+
|
||||||
|
| 100001 | Gardnar | Mulloy | R | 1913-11-22 | USA | 185 | Q54544 |
|
||||||
|
| 100002 | Pancho | Segura | R | 1921-06-20 | ECU | 168 | Q54581 |
|
||||||
|
| 100003 | Frank | Sedgman | R | 1927-10-02 | AUS | 180 | Q962049 |
|
||||||
|
| 100004 | Giuseppe | Merlo | R | 1927-10-11 | ITA | 0 | Q1258752 |
|
||||||
|
| 100005 | Richard | Gonzalez | R | 1928-05-09 | USA | 188 | Q53554 |
|
||||||
|
| 100006 | Grant | Golden | R | 1929-08-21 | USA | 175 | Q3115390 |
|
||||||
|
| 100007 | Abe | Segal | L | 1930-10-23 | RSA | 0 | Q1258527 |
|
||||||
|
| 100008 | Kurt | Nielsen | R | 1930-11-19 | DEN | 0 | Q552261 |
|
||||||
|
| 100009 | Istvan | Gulyas | R | 1931-10-14 | HUN | 0 | Q51066 |
|
||||||
|
| 100010 | Luis | Ayala | R | 1932-09-18 | CHI | 170 | Q1275397 |
|
||||||
|
+-----------+------------+-----------+------+------------+-----+--------+-------------+
|
||||||
|
```
|
||||||
|
|
||||||
|
## chDBでのクエリ
|
||||||
|
|
||||||
|
データの取り込みが完了したので、いよいよ楽しい部分です - データをクエリしましょう!
|
||||||
|
|
||||||
|
テニス選手は、参戦したトーナメントでの成績に基づいてポイントを獲得します。
|
||||||
|
ポイントは52週間のローリング期間で各選手に対して評価されます。
|
||||||
|
各選手が獲得した最大ポイントとその時のランキングを見つけるクエリを書きます:
|
||||||
|
|
||||||
|
```python
|
||||||
|
%%sql
|
||||||
|
SELECT name_first, name_last,
|
||||||
|
max(points) as maxPoints,
|
||||||
|
argMax(rank, points) as rank,
|
||||||
|
argMax(ranking_date, points) as date
|
||||||
|
FROM atp.players
|
||||||
|
JOIN atp.rankings ON rankings.player = players.player_id
|
||||||
|
GROUP BY ALL
|
||||||
|
ORDER BY maxPoints DESC
|
||||||
|
LIMIT 10
|
||||||
|
```
|
||||||
|
|
||||||
|
```text
|
||||||
|
+------------+-----------+-----------+------+------------+
|
||||||
|
| name_first | name_last | maxPoints | rank | date |
|
||||||
|
+------------+-----------+-----------+------+------------+
|
||||||
|
| Novak | Djokovic | 16950 | 1 | 2016-06-06 |
|
||||||
|
| Rafael | Nadal | 15390 | 1 | 2009-04-20 |
|
||||||
|
| Andy | Murray | 12685 | 1 | 2016-11-21 |
|
||||||
|
| Roger | Federer | 12315 | 1 | 2012-10-29 |
|
||||||
|
| Daniil | Medvedev | 10780 | 2 | 2021-09-13 |
|
||||||
|
| Carlos | Alcaraz | 9815 | 1 | 2023-08-21 |
|
||||||
|
| Dominic | Thiem | 9125 | 3 | 2021-01-18 |
|
||||||
|
| Jannik | Sinner | 8860 | 2 | 2024-05-06 |
|
||||||
|
| Stefanos | Tsitsipas | 8350 | 3 | 2021-09-20 |
|
||||||
|
| Alexander | Zverev | 8240 | 4 | 2021-08-23 |
|
||||||
|
+------------+-----------+-----------+------+------------+
|
||||||
|
```
|
||||||
|
|
||||||
|
このリストにある選手の中には、非常に多くのポイントを獲得しながらも1位にならなかった選手がいるのが興味深いです。
|
||||||
|
|
||||||
|
## クエリの保存
|
||||||
|
|
||||||
|
クエリは`%%sql`マジックの同じ行で`--save`パラメータを使用して保存できます。
|
||||||
|
`--no-execute`パラメータにより、クエリの実行はスキップされます。
|
||||||
|
|
||||||
|
```python
|
||||||
|
%%sql --save best_points --no-execute
|
||||||
|
SELECT name_first, name_last,
|
||||||
|
max(points) as maxPoints,
|
||||||
|
argMax(rank, points) as rank,
|
||||||
|
argMax(ranking_date, points) as date
|
||||||
|
FROM atp.players
|
||||||
|
JOIN atp.rankings ON rankings.player = players.player_id
|
||||||
|
GROUP BY ALL
|
||||||
|
ORDER BY maxPoints DESC
|
||||||
|
```
|
||||||
|
|
||||||
|
保存されたクエリを実行すると、実行前に共通テーブル式(CTE)に変換されます。
|
||||||
|
次のクエリでは、1位にランクインしたときにプレーヤーが達成した最大ポイントを計算します:
|
||||||
|
|
||||||
|
```python
|
||||||
|
%sql select * FROM best_points WHERE rank=1
|
||||||
|
```
|
||||||
|
|
||||||
|
```text
|
||||||
|
+-------------+-----------+-----------+------+------------+
|
||||||
|
| name_first | name_last | maxPoints | rank | date |
|
||||||
|
+-------------+-----------+-----------+------+------------+
|
||||||
|
| Novak | Djokovic | 16950 | 1 | 2016-06-06 |
|
||||||
|
| Rafael | Nadal | 15390 | 1 | 2009-04-20 |
|
||||||
|
| Andy | Murray | 12685 | 1 | 2016-11-21 |
|
||||||
|
| Roger | Federer | 12315 | 1 | 2012-10-29 |
|
||||||
|
| Carlos | Alcaraz | 9815 | 1 | 2023-08-21 |
|
||||||
|
| Pete | Sampras | 5792 | 1 | 1997-08-11 |
|
||||||
|
| Andre | Agassi | 5652 | 1 | 1995-08-21 |
|
||||||
|
| Lleyton | Hewitt | 5205 | 1 | 2002-08-12 |
|
||||||
|
| Gustavo | Kuerten | 4750 | 1 | 2001-09-10 |
|
||||||
|
| Juan Carlos | Ferrero | 4570 | 1 | 2003-10-20 |
|
||||||
|
| Stefan | Edberg | 3997 | 1 | 1991-02-25 |
|
||||||
|
| Jim | Courier | 3973 | 1 | 1993-08-23 |
|
||||||
|
| Ivan | Lendl | 3420 | 1 | 1990-02-26 |
|
||||||
|
| Ilie | Nastase | 0 | 1 | 1973-08-27 |
|
||||||
|
+-------------+-----------+-----------+------+------------+
|
||||||
|
```
|
||||||
|
|
||||||
|
## パラメータを使用したクエリ
|
||||||
|
|
||||||
|
クエリ内でパラメータを使用することもできます。
|
||||||
|
パラメータは通常の変数です:
|
||||||
|
|
||||||
|
```python
|
||||||
|
rank = 10
|
||||||
|
```
|
||||||
|
|
||||||
|
次に`{{variable}}`構文をクエリ内で使用できます。
|
||||||
|
以下のクエリでは、プレーヤーがトップ10にランクインした初日と最終日との間の日数が最短のプレーヤーを見つけます:
|
||||||
|
|
||||||
|
```python
|
||||||
|
%%sql
|
||||||
|
SELECT name_first, name_last,
|
||||||
|
MIN(ranking_date) AS earliest_date,
|
||||||
|
MAX(ranking_date) AS most_recent_date,
|
||||||
|
most_recent_date - earliest_date AS days,
|
||||||
|
1 + (days/7) AS weeks
|
||||||
|
FROM atp.rankings
|
||||||
|
JOIN atp.players ON players.player_id = rankings.player
|
||||||
|
WHERE rank <= {{rank}}
|
||||||
|
GROUP BY ALL
|
||||||
|
ORDER BY days
|
||||||
|
LIMIT 10
|
||||||
|
```
|
||||||
|
|
||||||
|
```text
|
||||||
|
+------------+-----------+---------------+------------------+------+-------+
|
||||||
|
| name_first | name_last | earliest_date | most_recent_date | days | weeks |
|
||||||
|
+------------+-----------+---------------+------------------+------+-------+
|
||||||
|
| Alex | Metreveli | 1974-06-03 | 1974-06-03 | 0 | 1 |
|
||||||
|
| Mikael | Pernfors | 1986-09-22 | 1986-09-22 | 0 | 1 |
|
||||||
|
| Felix | Mantilla | 1998-06-08 | 1998-06-08 | 0 | 1 |
|
||||||
|
| Wojtek | Fibak | 1977-07-25 | 1977-07-25 | 0 | 1 |
|
||||||
|
| Thierry | Tulasne | 1986-08-04 | 1986-08-04 | 0 | 1 |
|
||||||
|
| Lucas | Pouille | 2018-03-19 | 2018-03-19 | 0 | 1 |
|
||||||
|
| John | Alexander | 1975-12-15 | 1975-12-15 | 0 | 1 |
|
||||||
|
| Nicolas | Massu | 2004-09-13 | 2004-09-20 | 7 | 2 |
|
||||||
|
| Arnaud | Clement | 2001-04-02 | 2001-04-09 | 7 | 2 |
|
||||||
|
| Ernests | Gulbis | 2014-06-09 | 2014-06-23 | 14 | 3 |
|
||||||
|
+------------+-----------+---------------+------------------+------+-------+
|
||||||
|
```
|
||||||
|
|
||||||
|
## ヒストグラムのプロット
|
||||||
|
|
||||||
|
JupySQLには限定的なチャート機能もあります。
|
||||||
|
ボックスプロットやヒストグラムを作成できます。
|
||||||
|
|
||||||
|
ここでは、100位以内にランクインしたそれぞれのレンキングを達成した選手の数をカウントするヒストグラムを作成しますが、その前にプレーヤーが達成したランクを計算するクエリを書いて保存しましょう:
|
||||||
|
|
||||||
|
```python
|
||||||
|
%%sql --save players_per_rank --no-execute
|
||||||
|
select distinct player, rank
|
||||||
|
FROM atp.rankings
|
||||||
|
WHERE rank <= 100
|
||||||
|
```
|
||||||
|
|
||||||
|
次に、次の手順でヒストグラムを作成できます:
|
||||||
|
|
||||||
|
```python
|
||||||
|
from sql.ggplot import ggplot, geom_histogram, aes
|
||||||
|
|
||||||
|
plot = (
|
||||||
|
ggplot(
|
||||||
|
table="players_per_rank",
|
||||||
|
with_="players_per_rank",
|
||||||
|
mapping=aes(x="rank", fill="#69f0ae", color="#fff"),
|
||||||
|
) + geom_histogram(bins=100)
|
||||||
|
)
|
||||||
|
```
|
||||||
|
|
||||||
|
<img src={require('./images/players_per_rank.png').default} class="image" alt="Self-managed ClickHouseからの移行" style={{width: '90%', padding: '30px'}}/>
|
186
docs/ja/chdb/guides/query-remote-clickhouse.md
Normal file
@ -0,0 +1,186 @@
|
|||||||
|
---
|
||||||
|
title: リモートClickHouseサーバーへのクエリ方法
|
||||||
|
sidebar_label: リモートClickHouseへのクエリ
|
||||||
|
slug: /ja/chdb/guides/query-remote-clickhouse
|
||||||
|
description: このガイドでは、chDBからリモートClickHouseサーバーにクエリを実行する方法を学習します。
|
||||||
|
keywords: [chdb, clickhouse]
|
||||||
|
---
|
||||||
|
|
||||||
|
このガイドでは、chDBからリモートClickHouseサーバーにクエリを実行する方法を学習します。
|
||||||
|
|
||||||
|
## セットアップ
|
||||||
|
|
||||||
|
まず仮想環境を作成しましょう:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
python -m venv .venv
|
||||||
|
source .venv/bin/activate
|
||||||
|
```
|
||||||
|
|
||||||
|
次にchDBをインストールします。
|
||||||
|
バージョン2.0.2以上であることを確認してください:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
pip install "chdb>=2.0.2"
|
||||||
|
```
|
||||||
|
|
||||||
|
次にpandasとipythonをインストールします:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
pip install pandas ipython
|
||||||
|
```
|
||||||
|
|
||||||
|
このガイドの残りの部分でコマンドを実行するために`ipython`を使用します。以下のコマンドで起動できます:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
ipython
|
||||||
|
```
|
||||||
|
|
||||||
|
また、このコードをPythonスクリプトやお好みのノートブックで使用することもできます。
|
||||||
|
|
||||||
|
## ClickPyの紹介
|
||||||
|
|
||||||
|
これからクエリを実行するリモートClickHouseサーバーは[ClickPy](https://clickpy.clickhouse.com)です。
|
||||||
|
ClickPyはPyPiパッケージのダウンロード数を追跡し、UIを通じてパッケージの統計情報を探ることができます。基礎となるデータベースは`play`ユーザーを使用してクエリを実行できます。
|
||||||
|
|
||||||
|
ClickPyの詳細は[そのGitHubリポジトリ](https://github.com/ClickHouse/clickpy)で確認できます。
|
||||||
|
|
||||||
|
## ClickPy ClickHouseサービスへのクエリ
|
||||||
|
|
||||||
|
chDBをインポートしましょう:
|
||||||
|
|
||||||
|
```python
|
||||||
|
import chdb
|
||||||
|
```
|
||||||
|
|
||||||
|
`remoteSecure`関数を使用してClickPyにクエリを実行します。この関数には少なくともホスト名、テーブル名、ユーザー名が必要です。
|
||||||
|
|
||||||
|
[`openai`パッケージ](https://clickpy.clickhouse.com/dashboard/openai)の1日ごとのダウンロード数をPandas DataFrameとして取得するためのクエリは以下の通りです:
|
||||||
|
|
||||||
|
```python
|
||||||
|
query = """
|
||||||
|
SELECT
|
||||||
|
toStartOfDay(date)::Date32 AS x,
|
||||||
|
sum(count) AS y
|
||||||
|
FROM remoteSecure(
|
||||||
|
'clickpy-clickhouse.clickhouse.com',
|
||||||
|
'pypi.pypi_downloads_per_day',
|
||||||
|
'play'
|
||||||
|
)
|
||||||
|
WHERE project = 'openai'
|
||||||
|
GROUP BY x
|
||||||
|
ORDER BY x ASC
|
||||||
|
"""
|
||||||
|
|
||||||
|
openai_df = chdb.query(query, "DataFrame")
|
||||||
|
openai_df.sort_values(by=["x"], ascending=False).head(n=10)
|
||||||
|
```
|
||||||
|
|
||||||
|
```text
|
||||||
|
x y
|
||||||
|
2392 2024-10-02 1793502
|
||||||
|
2391 2024-10-01 1924901
|
||||||
|
2390 2024-09-30 1749045
|
||||||
|
2389 2024-09-29 1177131
|
||||||
|
2388 2024-09-28 1157323
|
||||||
|
2387 2024-09-27 1688094
|
||||||
|
2386 2024-09-26 1862712
|
||||||
|
2385 2024-09-25 2032923
|
||||||
|
2384 2024-09-24 1901965
|
||||||
|
2383 2024-09-23 1777554
|
||||||
|
```
|
||||||
|
|
||||||
|
次に[`scikit-learn`](https://clickpy.clickhouse.com/dashboard/scikit-learn)のダウンロード数を取得するために同じことを行ってみましょう:
|
||||||
|
|
||||||
|
```python
|
||||||
|
query = """
|
||||||
|
SELECT
|
||||||
|
toStartOfDay(date)::Date32 AS x,
|
||||||
|
sum(count) AS y
|
||||||
|
FROM remoteSecure(
|
||||||
|
'clickpy-clickhouse.clickhouse.com',
|
||||||
|
'pypi.pypi_downloads_per_day',
|
||||||
|
'play'
|
||||||
|
)
|
||||||
|
WHERE project = 'scikit-learn'
|
||||||
|
GROUP BY x
|
||||||
|
ORDER BY x ASC
|
||||||
|
"""
|
||||||
|
|
||||||
|
sklearn_df = chdb.query(query, "DataFrame")
|
||||||
|
sklearn_df.sort_values(by=["x"], ascending=False).head(n=10)
|
||||||
|
```
|
||||||
|
|
||||||
|
```text
|
||||||
|
x y
|
||||||
|
2392 2024-10-02 1793502
|
||||||
|
2391 2024-10-01 1924901
|
||||||
|
2390 2024-09-30 1749045
|
||||||
|
2389 2024-09-29 1177131
|
||||||
|
2388 2024-09-28 1157323
|
||||||
|
2387 2024-09-27 1688094
|
||||||
|
2386 2024-09-26 1862712
|
||||||
|
2385 2024-09-25 2032923
|
||||||
|
2384 2024-09-24 1901965
|
||||||
|
2383 2024-09-23 1777554
|
||||||
|
```
|
||||||
|
|
||||||
|
## Pandas DataFrameのマージ
|
||||||
|
|
||||||
|
現在、2つのDataFrameを持っています。これを日付(`x`カラム)を基にしてマージすることができます:
|
||||||
|
|
||||||
|
```python
|
||||||
|
df = openai_df.merge(
|
||||||
|
sklearn_df,
|
||||||
|
on="x",
|
||||||
|
suffixes=("_openai", "_sklearn")
|
||||||
|
)
|
||||||
|
df.head(n=5)
|
||||||
|
```
|
||||||
|
|
||||||
|
```text
|
||||||
|
x y_openai y_sklearn
|
||||||
|
0 2018-02-26 83 33971
|
||||||
|
1 2018-02-27 31 25211
|
||||||
|
2 2018-02-28 8 26023
|
||||||
|
3 2018-03-01 8 20912
|
||||||
|
4 2018-03-02 5 23842
|
||||||
|
```
|
||||||
|
|
||||||
|
次に、このようにしてOpenAIのダウンロード数とscikit-learnのダウンロード数の比率を計算することができます:
|
||||||
|
|
||||||
|
```python
|
||||||
|
df['ratio'] = df['y_openai'] / df['y_sklearn']
|
||||||
|
df.head(n=5)
|
||||||
|
```
|
||||||
|
|
||||||
|
```text
|
||||||
|
x y_openai y_sklearn ratio
|
||||||
|
0 2018-02-26 83 33971 0.002443
|
||||||
|
1 2018-02-27 31 25211 0.001230
|
||||||
|
2 2018-02-28 8 26023 0.000307
|
||||||
|
3 2018-03-01 8 20912 0.000383
|
||||||
|
4 2018-03-02 5 23842 0.000210
|
||||||
|
```
|
||||||
|
|
||||||
|
## Pandas DataFrameのクエリ
|
||||||
|
|
||||||
|
次に、最も良い比率と最悪の比率の日付を探したいとします。
|
||||||
|
chDBに戻ってこれらの値を計算します:
|
||||||
|
|
||||||
|
```python
|
||||||
|
chdb.query("""
|
||||||
|
SELECT max(ratio) AS bestRatio,
|
||||||
|
argMax(x, ratio) AS bestDate,
|
||||||
|
min(ratio) AS worstRatio,
|
||||||
|
argMin(x, ratio) AS worstDate
|
||||||
|
FROM Python(df)
|
||||||
|
""", "DataFrame")
|
||||||
|
```
|
||||||
|
|
||||||
|
```text
|
||||||
|
bestRatio bestDate worstRatio worstDate
|
||||||
|
0 0.693855 2024-09-19 0.000003 2020-02-09
|
||||||
|
```
|
||||||
|
|
||||||
|
Pandas DataFrameへのクエリについてさらに学びたい場合は、[Pandas DataFrames 開発者ガイド](querying-pandas.md)をご覧ください。
|