mirror of
https://github.com/ClickHouse/ClickHouse.git
synced 2024-11-29 19:12:03 +00:00
Merge branch 'master' of github.com:ClickHouse/ClickHouse into copier-refactoring
This commit is contained in:
nikitamikhaylov
commit
6ca0776a61
@ -403,15 +403,13 @@
|
|||||||
</text_log>
|
</text_log>
|
||||||
-->
|
-->
|
||||||
|
|
||||||
<!-- Uncomment to write metric log into table.
|
<!-- Metric log contains rows with current values of ProfileEvents, CurrentMetrics collected with "collect_interval_milliseconds" interval. -->
|
||||||
Metric log contains rows with current values of ProfileEvents, CurrentMetrics collected with "collect_interval_milliseconds" interval.
|
|
||||||
<metric_log>
|
<metric_log>
|
||||||
<database>system</database>
|
<database>system</database>
|
||||||
<table>metric_log</table>
|
<table>metric_log</table>
|
||||||
<flush_interval_milliseconds>7500</flush_interval_milliseconds>
|
<flush_interval_milliseconds>7500</flush_interval_milliseconds>
|
||||||
<collect_interval_milliseconds>1000</collect_interval_milliseconds>
|
<collect_interval_milliseconds>1000</collect_interval_milliseconds>
|
||||||
</metric_log>
|
</metric_log>
|
||||||
-->
|
|
||||||
|
|
||||||
<!-- Parameters for embedded dictionaries, used in Yandex.Metrica.
|
<!-- Parameters for embedded dictionaries, used in Yandex.Metrica.
|
||||||
See https://clickhouse.yandex/docs/en/dicts/internal_dicts/
|
See https://clickhouse.yandex/docs/en/dicts/internal_dicts/
|
||||||
|
|||||||
16
docs/en/interfaces/third-party/gui.md
vendored
16
docs/en/interfaces/third-party/gui.md
vendored
@ -101,6 +101,22 @@ Features:
|
|||||||
- Refactorings.
|
- Refactorings.
|
||||||
- Search and Navigation.
|
- Search and Navigation.
|
||||||
|
|
||||||
|
### Yandex DataLens {#yandex-datalens}
|
||||||
|
|
||||||
|
[Yandex DataLens](https://cloud.yandex.ru/services/datalens) is a service of data visualization and analytics.
|
||||||
|
|
||||||
|
Features:
|
||||||
|
|
||||||
|
- Wide range of available visualizations, from simple bar charts to complex dashboards.
|
||||||
|
- Dashboards could be made publicly available.
|
||||||
|
- Support for multiple data sources including ClickHouse.
|
||||||
|
- Storage for materialized data based on ClickHouse.
|
||||||
|
|
||||||
|
DataLens is [available for free](https://cloud.yandex.com/docs/datalens/pricing) for low-load projects, even for commercial use.
|
||||||
|
|
||||||
|
- [DataLens documentation](https://cloud.yandex.com/docs/datalens/).
|
||||||
|
- [Tutorial](https://cloud.yandex.com/docs/datalens/solutions/data-from-db-visualization) on visualizing data from a ClickHouse database.
|
||||||
|
|
||||||
### Holistics Software
|
### Holistics Software
|
||||||
|
|
||||||
[Holistics](https://www.holistics.io/) is a full-stack data platform and business intelligence tool.
|
[Holistics](https://www.holistics.io/) is a full-stack data platform and business intelligence tool.
|
||||||
|
|||||||
@ -1,25 +0,0 @@
|
|||||||
# パフォーマンス
|
|
||||||
|
|
||||||
Yandexの内部テスト結果によると、ClickHouseは、テスト可能なクラスのシステム間で同等の動作シナリオで最高のパフォーマンス(長時間のクエリで最も高いスループットと、短時間のクエリで最小のレイテンシの両方)を示します。 [別のページで](https://clickhouse.yandex/benchmark.html)テスト結果を表示できます 。
|
|
||||||
|
|
||||||
これは、多数の独立したベンチマークでも確認されています。インターネット検索で見つけることは難しくありませんし、 [ 私達がまとめた関連リンク集 ](https://clickhouse.yandex/#independent-benchmarks) から見つけることもできます。
|
|
||||||
|
|
||||||
## 単一の巨大なクエリのスループット
|
|
||||||
|
|
||||||
スループットは、1秒あたりの行数または1秒あたりのメガバイト数で測定できます。データがページキャッシュに配置される場合、モダンなハードウェアで実行される、それほど複雑でないクエリは、単一サーバ上の非圧縮データに対し 約2〜10GB/秒 の速度で処理されます (最も単純な場合、速度は30GB/秒)。データがページキャッシュに配置されない場合、速度はディスクサブシステムとデータ圧縮率に依存します。たとえば、ディスクサブシステムが400 MB /秒でのデータの読み取りを許可し、データ圧縮率が3の場合、速度は約1.2 GB /秒になります。 1秒あたりの行数で速度を計算するには、1秒あたりのバイト数での速度をクエリで使用される列の合計サイズで除算します。たとえば、10バイトの列が抽出される場合、速度は1秒あたり約1億から2億行になります。
|
|
||||||
|
|
||||||
分散処理の場合、処理速度はほぼ線形に向上しますが、これは集約または並べ替えの結果として生じる行の数があまり大きくない場合のみです。
|
|
||||||
|
|
||||||
## 短いクエリを処理するときのレイテンシ
|
|
||||||
|
|
||||||
クエリが主キーを使用し、処理する行数がそれほど多くなく(数十万)、列数も多くない場合、データがページキャッシュにあれば50ミリ秒未満のレイテンシ(最良の場合は1桁のミリ秒)が期待できます。それ以外の場合、レイテンシはシーク数から計算されます。ディスクドライブを使用する場合、過負荷になっていないシステムの場合、レイテンシは次の式で計算されます: シーク時間(10ミリ秒) * クエリされる列の数 * データ部分の数
|
|
||||||
|
|
||||||
## 大量の短いクエリを処理するときのスループット
|
|
||||||
|
|
||||||
同じ条件下で、ClickHouseは1台のサーバーで毎秒数百のクエリを処理できます(最良の場合は数千まで)。このシナリオは分析DBMSでは一般的ではないため、1秒あたり最大100クエリを想定することをお勧めします。
|
|
||||||
|
|
||||||
## データ挿入時のパフォーマンス
|
|
||||||
|
|
||||||
少なくとも1000行のパケットにデータを挿入することをお勧めします。または、1秒あたり1回のリクエストを超えないでください。タブ区切りのダンプデータをMergeTreeテーブルに挿入する場合、挿入速度は50〜200MB/sになります。挿入された行のサイズが約1Kbの場合、速度は毎秒50,000〜200,000行になります。行が小さい場合、パフォーマンスは1秒あたりの行数で高くなります(Banner System データ- `>` 500,000行/秒、Graphite データ- `>` 1,000,000行/秒)。パフォーマンスを向上させるために、複数のINSERTクエリを並行して作成することで、パフォーマンスを線形に向上できます。
|
|
||||||
|
|
||||||
[Original article](https://clickhouse.yandex/docs/en/introduction/performance/) <!--hide-->
|
|
||||||
25
docs/ja/introduction/performance.md
Normal file
25
docs/ja/introduction/performance.md
Normal file
@ -0,0 +1,25 @@
|
|||||||
|
# パフォーマンス
|
||||||
|
|
||||||
|
Yandexの内部テスト結果によると、ClickHouseは、テスト可能なクラスのシステム間で同等の動作シナリオで最高のパフォーマンス(長時間のクエリで最も高いスループットと、短時間のクエリで最小のレイテンシの両方)を示します。 [別のページで](https://clickhouse.yandex/benchmark.html)テスト結果を表示できます 。
|
||||||
|
|
||||||
|
これは、多数の独立したベンチマークでも確認されています。インターネット検索で見つけることは難しくありませんし、 [ 私達がまとめた関連リンク集 ](https://clickhouse.yandex/#independent-benchmarks) から見つけることもできます。
|
||||||
|
|
||||||
|
## 単一の巨大なクエリのスループット
|
||||||
|
|
||||||
|
スループットは、1秒あたりの行数または1秒あたりのメガバイト数で測定できます。データがページキャッシュに配置される場合、モダンなハードウェアで実行される、それほど複雑でないクエリは、単一サーバ上の非圧縮データに対し 約2〜10GB/秒 の速度で処理されます (最も単純な場合、速度は30GB/秒)。データがページキャッシュに配置されない場合、速度はディスクサブシステムとデータ圧縮率に依存します。たとえば、ディスクサブシステムが400 MB /秒でのデータの読み取りを許可し、データ圧縮率が3の場合、速度は約1.2 GB /秒になります。 1秒あたりの行数で速度を計算するには、1秒あたりのバイト数での速度をクエリで使用される列の合計サイズで除算します。たとえば、10バイトの列が抽出される場合、速度は1秒あたり約1億から2億行になります。
|
||||||
|
|
||||||
|
分散処理の場合、処理速度はほぼ線形に向上しますが、これは集約または並べ替えの結果として生じる行の数があまり大きくない場合のみです。
|
||||||
|
|
||||||
|
## 短いクエリを処理するときのレイテンシ
|
||||||
|
|
||||||
|
クエリが主キーを使用し、処理する行数がそれほど多くなく(数十万)、列数も多くない場合、データがページキャッシュにあれば50ミリ秒未満のレイテンシ(最良の場合は1桁のミリ秒)が期待できます。それ以外の場合、レイテンシはシーク数から計算されます。ディスクドライブを使用する場合、過負荷になっていないシステムの場合、レイテンシは次の式で計算されます: シーク時間(10ミリ秒) * クエリされる列の数 * データ部分の数
|
||||||
|
|
||||||
|
## 大量の短いクエリを処理するときのスループット
|
||||||
|
|
||||||
|
同じ条件下で、ClickHouseは1台のサーバーで毎秒数百のクエリを処理できます(最良の場合は数千まで)。このシナリオは分析DBMSでは一般的ではないため、1秒あたり最大100クエリを想定することをお勧めします。
|
||||||
|
|
||||||
|
## データ挿入時のパフォーマンス
|
||||||
|
|
||||||
|
少なくとも1000行のパケットにデータを挿入することをお勧めします。または、1秒あたり1回のリクエストを超えないでください。タブ区切りのダンプデータをMergeTreeテーブルに挿入する場合、挿入速度は50〜200MB/sになります。挿入された行のサイズが約1Kbの場合、速度は毎秒50,000〜200,000行になります。行が小さい場合、パフォーマンスは1秒あたりの行数で高くなります(Banner System データ- `>` 500,000行/秒、Graphite データ- `>` 1,000,000行/秒)。パフォーマンスを向上させるために、複数のINSERTクエリを並行して作成することで、パフォーマンスを線形に向上できます。
|
||||||
|
|
||||||
|
[Original article](https://clickhouse.yandex/docs/ja/introduction/performance/) <!--hide-->
|
||||||
16
docs/ru/interfaces/third-party/gui.md
vendored
16
docs/ru/interfaces/third-party/gui.md
vendored
@ -104,6 +104,22 @@
|
|||||||
- Рефакторинги.
|
- Рефакторинги.
|
||||||
- Поиск и навигация.
|
- Поиск и навигация.
|
||||||
|
|
||||||
|
### Yandex DataLens {#yandex-datalens}
|
||||||
|
|
||||||
|
[Yandex DataLens](https://cloud.yandex.ru/services/datalens) — cервис визуализации и анализа данных.
|
||||||
|
|
||||||
|
Основные возможности:
|
||||||
|
|
||||||
|
- Широкий выбор инструментов визуализации, от простых столбчатых диаграмм до сложных дашбордов.
|
||||||
|
- Возможность опубликовать дашборды на широкую аудиторию.
|
||||||
|
- Поддержка множества источников данных, включая ClickHouse.
|
||||||
|
- Хранение материализованных данных в кластере ClickHouse DataLens.
|
||||||
|
|
||||||
|
Для небольших проектов DataLens [доступен бесплатно](https://cloud.yandex.ru/docs/datalens/pricing), в том числе и для коммерческого использования.
|
||||||
|
|
||||||
|
- [Документация DataLens](https://cloud.yandex.ru/docs/datalens/).
|
||||||
|
- [Пособие по визуализации данных из ClickHouse](https://cloud.yandex.ru/docs/solutions/datalens/data-from-ch-visualization).
|
||||||
|
|
||||||
### Holistics Software
|
### Holistics Software
|
||||||
|
|
||||||
[Holistics](https://www.holistics.io/) — full-stack платформа для обработки данных и бизнес-аналитики.
|
[Holistics](https://www.holistics.io/) — full-stack платформа для обработки данных и бизнес-аналитики.
|
||||||
|
|||||||
@ -5,7 +5,7 @@ beautifulsoup4==4.8.2
|
|||||||
certifi==2017.11.5
|
certifi==2017.11.5
|
||||||
chardet==3.0.4
|
chardet==3.0.4
|
||||||
click==6.7
|
click==6.7
|
||||||
CommonMark==0.5.4
|
CommonMark==0.9.1
|
||||||
cssmin==0.2.0
|
cssmin==0.2.0
|
||||||
docutils==0.16
|
docutils==0.16
|
||||||
futures==3.1.1
|
futures==3.1.1
|
||||||
@ -16,7 +16,7 @@ Jinja2==2.11.1
|
|||||||
jsmin==2.2.2
|
jsmin==2.2.2
|
||||||
livereload==2.5.1
|
livereload==2.5.1
|
||||||
Markdown==2.6.11
|
Markdown==2.6.11
|
||||||
MarkupSafe==1.0
|
MarkupSafe==1.1.1
|
||||||
mkdocs==1.0.4
|
mkdocs==1.0.4
|
||||||
Pygments==2.5.2
|
Pygments==2.5.2
|
||||||
python-slugify==1.2.6
|
python-slugify==1.2.6
|
||||||
@ -31,6 +31,6 @@ Sphinx==1.6.5
|
|||||||
sphinxcontrib-websupport==1.0.1
|
sphinxcontrib-websupport==1.0.1
|
||||||
tornado==5.1
|
tornado==5.1
|
||||||
typing==3.7.4.1
|
typing==3.7.4.1
|
||||||
Unidecode==1.0.23
|
Unidecode==1.1.1
|
||||||
urllib3==1.25.8
|
urllib3==1.25.8
|
||||||
gitpython==2.1.14
|
gitpython==2.1.14
|
||||||
|
|||||||
Loading…
Reference in New Issue
Block a user