From c4f1038efca30d3f0d6f8cb14cdda9006caf9055 Mon Sep 17 00:00:00 2001 From: BayoNet Date: Mon, 29 Jul 2019 13:19:30 +0300 Subject: [PATCH 1/2] DOCAPI-4148: EN review, RU translation. MergeTree partially monotonic keys (#6085) * Update http.md * Update settings.md * Update mergetree.md * DOCAPI-6213: RU translastion. * DOCAPI-4148: 4148 --- docs/en/operations/table_engines/mergetree.md | 6 +++--- docs/ru/operations/table_engines/mergetree.md | 8 ++++++++ 2 files changed, 11 insertions(+), 3 deletions(-) diff --git a/docs/en/operations/table_engines/mergetree.md b/docs/en/operations/table_engines/mergetree.md index f6ee0a7313d..6cd3082498a 100644 --- a/docs/en/operations/table_engines/mergetree.md +++ b/docs/en/operations/table_engines/mergetree.md @@ -238,11 +238,11 @@ The key for partitioning by month allows reading only those data blocks which co ### Use of Index for Partially-Monotonic Primary Keys -Consider, for example, the days of the month. They are the [monotonic sequence](https://en.wikipedia.org/wiki/Monotonic_function) inside one month, but they are not monotonic for a more extended period. This is the partially-monotonic sequence. If a user creates the table with such partially-monotonic primary key, ClickHouse creates a sparse index as usual. When a user selects data from such a table, ClickHouse analyzes query conditions. If the user wants to get data between two marks of the index and both this marks are within one month, ClickHouse can use the index in this particular case because it can calculate the distance between parameters of query and index marks. +Consider, for example, the days of the month. They form a [monotonic sequence](https://en.wikipedia.org/wiki/Monotonic_function) for one month, but not monotonic for more extended periods. This is a partially-monotonic sequence. If a user creates the table with partially-monotonic primary key, ClickHouse creates a sparse index as usual. When a user selects data from this kind of table, ClickHouse analyzes the query conditions. If the user wants to get data between two marks of the index and both these marks fall within one month, ClickHouse can use the index in this particular case because it can calculate the distance between the parameters of a query and index marks. -ClickHouse cannot use an index if the values of the primary key on the query parameters range don't represent the monotonic sequence. In this case, ClickHouse uses full scan method. +ClickHouse cannot use an index if the values of the primary key in the query parameter range don't represent a monotonic sequence. In this case, ClickHouse uses the full scan method. -ClickHouse uses this logic not only for days of month sequences but for any primary key which represents a partially-monotonic sequence. +ClickHouse uses this logic not only for days of the month sequences, but for any primary key that represents a partially-monotonic sequence. ### Data Skipping Indices (Experimental) diff --git a/docs/ru/operations/table_engines/mergetree.md b/docs/ru/operations/table_engines/mergetree.md index 0ce16a5c310..84ca187fd6a 100644 --- a/docs/ru/operations/table_engines/mergetree.md +++ b/docs/ru/operations/table_engines/mergetree.md @@ -233,6 +233,14 @@ SELECT count() FROM table WHERE CounterID = 34 OR URL LIKE '%upyachka%' Ключ партиционирования по месяцам обеспечивает чтение только тех блоков данных, которые содержат даты из нужного диапазона. При этом блок данных может содержать данные за многие даты (до целого месяца). В пределах одного блока данные упорядочены по первичному ключу, который может не содержать дату в качестве первого столбца. В связи с этим, при использовании запроса с указанием условия только на дату, но не на префикс первичного ключа, будет читаться данных больше, чем за одну дату. +### Использование индекса для частично-монотонных первичных ключей + +Рассмотрим, например, дни месяца. Они образуют последовательность [монотонную](https://ru.wikipedia.org/wiki/Монотонная_последовательность) в течение одного месяца, но не монотонную на более длительных периодах. Это частично-монотонная последовательность. Если пользователь создаёт таблицу с частично-монотонным первичным ключом, ClickHouse как обычно создаёт разреженный индекс. Когда пользователь выбирает данные из такого рода таблиц, ClickHouse анализирует условия запроса. Если пользователь хочет получить данные между двумя метками индекса, и обе эти метки находятся внутри одного месяца, ClickHouse может использовать индекс в данном конкретном случае, поскольку он может рассчитать расстояние между параметрами запроса и индексными метками. + +ClickHouse не может использовать индекс, если значения первичного ключа в диапазоне параметров запроса не представляют собой монотонную последовательность. В этом случае ClickHouse использует метод полного сканирования. + +ClickHouse использует эту логику не только для последовательностей дней месяца, но и для любого частично-монотонного первичного ключа. + ### Дополнительные индексы (Экспериментальная функциональность) Для использования требуется установить настройку `allow_experimental_data_skipping_indices` в 1. (запустить `SET allow_experimental_data_skipping_indices = 1`). From fc0532a4517c0d8574c20b3b782f244077acf7c3 Mon Sep 17 00:00:00 2001 From: alesapin Date: Mon, 29 Jul 2019 14:04:25 +0300 Subject: [PATCH 2/2] Add gcc-9 to build images --- docker/packager/binary/Dockerfile | 3 +++ docker/packager/deb/Dockerfile | 3 +++ 2 files changed, 6 insertions(+) diff --git a/docker/packager/binary/Dockerfile b/docker/packager/binary/Dockerfile index 7f45a687767..20cab726056 100644 --- a/docker/packager/binary/Dockerfile +++ b/docker/packager/binary/Dockerfile @@ -13,6 +13,7 @@ RUN apt-get --allow-unauthenticated update -y \ RUN echo "deb [trusted=yes] http://apt.llvm.org/bionic/ llvm-toolchain-bionic-7 main" >> /etc/apt/sources.list RUN echo "deb [trusted=yes] http://apt.llvm.org/bionic/ llvm-toolchain-bionic-8 main" >> /etc/apt/sources.list +RUN add-apt-repository ppa:ubuntu-toolchain-r/test RUN apt-get update -y \ && env DEBIAN_FRONTEND=noninteractive \ @@ -25,6 +26,8 @@ RUN apt-get update -y \ g++-7 \ gcc-8 \ g++-8 \ + gcc-9 \ + g++-9 \ clang-6.0 \ lld-6.0 \ libclang-6.0-dev \ diff --git a/docker/packager/deb/Dockerfile b/docker/packager/deb/Dockerfile index 0c9c82a5e1f..f08c2dc3eab 100644 --- a/docker/packager/deb/Dockerfile +++ b/docker/packager/deb/Dockerfile @@ -13,6 +13,7 @@ RUN apt-get --allow-unauthenticated update -y \ RUN echo "deb [trusted=yes] http://apt.llvm.org/bionic/ llvm-toolchain-bionic-7 main" >> /etc/apt/sources.list RUN echo "deb [trusted=yes] http://apt.llvm.org/bionic/ llvm-toolchain-bionic-8 main" >> /etc/apt/sources.list +RUN add-apt-repository ppa:ubuntu-toolchain-r/test RUN apt-get --allow-unauthenticated update -y \ && env DEBIAN_FRONTEND=noninteractive \ @@ -21,6 +22,8 @@ RUN apt-get --allow-unauthenticated update -y \ g++-7 \ gcc-8 \ g++-8 \ + gcc-9 \ + g++-9 \ clang-6.0 \ lld-6.0 \ libclang-6.0-dev \