Merge branch 'master' of https://github.com/ClickHouse/ClickHouse into url_engine_problem

dbms/cmake/version.cmake

@@ -1,11 +1,11 @@
 # This strings autochanged from release_lib.sh:
-set(VERSION_REVISION 54428)
+set(VERSION_REVISION 54429)
 set(VERSION_MAJOR 19)
-set(VERSION_MINOR 17)
+set(VERSION_MINOR 18)
 set(VERSION_PATCH 1)
-set(VERSION_GITHASH 5286d0afb285a5fbf3d320af3daa6de6b1841374)
-set(VERSION_DESCRIBE v19.17.1.1-prestable)
-set(VERSION_STRING 19.17.1.1)
+set(VERSION_GITHASH 4e68211879480b637683ae66dbcc89a2714682af)
+set(VERSION_DESCRIBE v19.18.1.1-prestable)
+set(VERSION_STRING 19.18.1.1)
 # end of autochange
 
 set(VERSION_EXTRA "" CACHE STRING "")

dbms/src/Storages/System/StorageSystemContributors.generated.cpp

@@ -11,6 +11,7 @@ const char * auto_contributors[] {
     "Alex Ryndin",
     "Alex Zatelepin",
     "Alexander Avdonkin",
+    "Alexander Burmak",
     "Alexander Ermolaev",
     "Alexander GQ Gerasiov",
     "Alexander Kazakov",
@@ -49,6 +50,7 @@ const char * auto_contributors[] {
     "Andrew Grigorev",
     "Andrey",
     "Andrey Dudin",
+    "Andrey Konyaev",
     "Andrey M",
     "Andrey Mironov",
     "Andrey Urusov",
@@ -86,6 +88,7 @@ const char * auto_contributors[] {
     "Chen Yufei",
     "Ciprian Hacman",
     "Clément Rodriguez",
+    "Colum",
     "Constantin S. Pan",
     "CurtizJ",
     "Daniel Bershatsky",
@@ -95,6 +98,7 @@ const char * auto_contributors[] {
     "DarkWanderer",
     "Darío",
     "Denis Burlaka",
+    "Denis Glazachev",
     "Denis Zhuravlev",
     "Derek Perkins",
     "Dmitry Bilunov",
@@ -110,6 +114,7 @@ const char * auto_contributors[] {
     "Elghazal Ahmed",
     "Emmanuel Donin de Rosière",
     "Eric",
+    "Ernest Poletaev",
     "Eugene Klimov",
     "Eugene Konkov",
     "Evgenii Pravda",
@@ -145,6 +150,7 @@ const char * auto_contributors[] {
     "Ilya",
     "Ilya Breev",
     "Ilya Khomutov",
+    "Ilya Korol",
     "Ilya Korolev",
     "Ilya Kovalenko",
     "Ilya Shipitsin",
@@ -341,6 +347,7 @@ const char * auto_contributors[] {
     "Zhichang Yu",
     "abdrakhmanov",
     "abyss7",
+    "achimbab",
     "achulkov2",
     "akazz",
     "akonyaev",
@@ -350,6 +357,7 @@ const char * auto_contributors[] {
     "alex.lvxin",
     "alexander kozhikhov",
     "alexey-milovidov",
+    "andrei-karpliuk",
     "andrewsg",
     "anrodigina",
     "anton",
@@ -411,6 +419,7 @@ const char * auto_contributors[] {
     "levysh",
     "liangqian",
     "linceyou",
+    "liu-bov",
     "liuyangkuan",
     "liuyimin",
     "lomberts",
@@ -419,6 +428,7 @@ const char * auto_contributors[] {
     "malkfilipp",
     "maqroll",
     "maxkuzn",
+    "memo",
     "mf5137",
     "mfridental",
     "miha-g",
@@ -439,6 +449,7 @@ const char * auto_contributors[] {
     "pyos",
     "qianlixiang",
     "quid",
+    "rainbowsysu",
     "robot-clickhouse",
     "robot-metrika-test",
     "root",

dbms/tests/performance/string_join.xml

@@ -0,0 +1,34 @@
+<test>
+    <type>loop</type>
+
+    <stop_conditions>
+        <any_of>
+            <iterations>10</iterations>
+        </any_of>
+    </stop_conditions>
+
+    <main_metric>
+        <rows_per_second />
+    </main_metric>
+
+    <preconditions>
+        <table_exists>default.hits_10m_single</table_exists>
+    </preconditions>
+
+    <create_query>CREATE TABLE hits_10m_words (word String, UserID UInt64) ENGINE Memory</create_query>
+    <create_query>CREATE TABLE strings (short String, long String) ENGINE Memory</create_query>
+
+    <fill_query> INSERT INTO hits_10m_words SELECT DISTINCT arrayJoin(splitByString(' ', SearchPhrase)) AS word, UserID FROM hits_10m_single WHERE length(word) > 0</fill_query>
+    <fill_query> INSERT INTO strings SELECT toString(rand()) a, a || a || a || a || a || a || a || a || a || a || a || a FROM numbers(1000000)</fill_query>
+
+    <settings>
+        <max_threads>1</max_threads>
+    </settings>
+
+    <query>SELECT 1 FROM hits_10m_words AS l ANY LEFT JOIN hits_10m_words AS r USING (word) FORMAT Null</query>
+    <query>SELECT 1 FROM strings AS l ANY LEFT JOIN strings AS r USING (short) FORMAT Null</query>
+    <query>SELECT 1 FROM strings AS l ANY LEFT JOIN strings AS r USING (long) FORMAT Null</query>
+
+    <drop_query>DROP TABLE IF EXISTS hits_10m_words</drop_query>
+    <drop_query>DROP TABLE IF EXISTS strings</drop_query>
+</test>

debian/changelog

@@ -1,5 +1,5 @@
-clickhouse (19.17.1.1) unstable; urgency=low
+clickhouse (19.18.1.1) unstable; urgency=low
 
   * Modified source code
 
- -- clickhouse-release <clickhouse-release@yandex-team.ru>  Mon, 21 Oct 2019 15:47:56 +0300
+ -- clickhouse-release <clickhouse-release@yandex-team.ru>  Fri, 08 Nov 2019 11:36:37 +0300

docker/client/Dockerfile

@@ -1,7 +1,7 @@
 FROM ubuntu:18.04
 
 ARG repository="deb http://repo.yandex.ru/clickhouse/deb/stable/ main/"
-ARG version=19.17.1.*
+ARG version=19.18.1.*
 
 RUN apt-get update \
     && apt-get install --yes --no-install-recommends \

docker/server/Dockerfile

@@ -1,7 +1,7 @@
 FROM ubuntu:18.04
 
 ARG repository="deb http://repo.yandex.ru/clickhouse/deb/stable/ main/"
-ARG version=19.17.1.*
+ARG version=19.18.1.*
 ARG gosu_ver=1.10
 
 RUN apt-get update \

docker/test/Dockerfile

@@ -1,7 +1,7 @@
 FROM ubuntu:18.04
 
 ARG repository="deb http://repo.yandex.ru/clickhouse/deb/stable/ main/"
-ARG version=19.17.1.*
+ARG version=19.18.1.*
 
 RUN apt-get update && \
     apt-get install -y apt-transport-https dirmngr && \

docs/en/operations/system_tables.md

@@ -785,7 +785,7 @@ Columns:
 - `volume_priority` ([UInt64](../data_types/int_uint.md)) — Volume order number in the configuration.
 - `disks` ([Array(String)](../data_types/array.md)) — Disk names, defined in the storage policy.
 - `max_data_part_size` ([UInt64](../data_types/int_uint.md)) — Maximum size of a data part that can be stored on volume disks (0 — no limit).
-- `move_factor` ([Float64](..data_types/float.md)) — Ratio of free disk space. When the ratio exceeds the value of configuration parameter, ClickHouse start to move data to the next volume in order.
+- `move_factor` ([Float64](../data_types/float.md)) — Ratio of free disk space. When the ratio exceeds the value of configuration parameter, ClickHouse start to move data to the next volume in order.
 
 If the storage policy contains more then one volume, then information for each volume is stored in the individual row of the table.
 

docs/ru/operations/system_tables.md

@@ -778,7 +778,7 @@ Cодержит информацию о дисках, заданных в [ко
 - `volume_priority` ([UInt64](../data_types/int_uint.md)) — порядковый номер тома согласно конфигурации.
 - `disks` ([Array(String)](../data_types/array.md)) — имена дисков, содержащихся в политике хранения.
 - `max_data_part_size` ([UInt64](../data_types/int_uint.md)) — максимальный размер куска данных, который может храниться на дисках тома (0 — без ограничений).
-- `move_factor` ([Float64](..data_types/float.md))` — доля свободного места, при превышении которой данные начинают перемещаться на следующий том.
+- `move_factor` ([Float64](../data_types/float.md))` — доля свободного места, при превышении которой данные начинают перемещаться на следующий том.
 
 Если политика хранения содержит несколько томов, то каждому тому соответствует отдельная запись в таблице.
 

docs/ru/operations/table_engines/mergetree.md

@@ -457,7 +457,7 @@ ALTER TABLE example_table
 
 Движки таблиц семейства `MergeTree` могут хранить данные на нескольких блочных устройствах. Это может оказаться полезным, например, при неявном разделении данных одной таблицы на "горячие" и "холодные". Наиболее свежая часть занимает малый объем и запрашивается регулярно, а большой хвост исторических данных запрашивается редко. При наличии в системе нескольких дисков, "горячая" часть данных может быть размещена на быстрых дисках (например, на NVMe SSD или в памяти), а холодная на более медленных (например, HDD).
 
-Минимальной перемещаемой единицей для `MergeTree` является кусок данных (data part). Данные одного куска могут находится только на одном диске. Куски могут перемещаться между дисками в фоне, согласно пользовательским настройкам, а также с помощью запросов [ALTER](../../query_language/alter.md# -partition).
+Минимальной перемещаемой единицей для `MergeTree` является кусок данных (data part). Данные одного куска могут находится только на одном диске. Куски могут перемещаться между дисками в фоне, согласно пользовательским настройкам, а также с помощью запросов [ALTER](../../query_language/alter.md#alter_move-partition).
 
 ### Термины
 

docs/zh/operations/table_engines/mergetree.md

@@ -296,5 +296,8 @@ INDEX sample_index3 (lower(str), str) TYPE ngrambf_v1(3, 256, 2, 0) GRANULARITY
 
 对表的读操作是自动并行的。
 
+## Using Multiple Block Devices for Data Storage {#table_engine-mergetree-multiple-volumes}
+
+### Configuration {#table_engine-mergetree-multiple-volumes_configure}
 
 [来源文章](https://clickhouse.yandex/docs/en/operations/table_engines/mergetree/) <!--hide-->