Merge remote-tracking branch 'upstream/master'

.clang-format

@@ -1,24 +1,21 @@
----
+BasedOnStyle: WebKit
-BasedOnStyle:  WebKit
+Language: Cpp
-Language:        Cpp
+AlignAfterOpenBracket: AlwaysBreak
-AlignAfterOpenBracket: false
 BreakBeforeBraces: Custom
-BraceWrapping: {
+BraceWrapping:
-    AfterClass: 'true'
+    AfterClass: true
-    AfterControlStatement: 'true'
+    AfterControlStatement: true
-    AfterEnum : 'true'
+    AfterEnum: true
-    AfterFunction : 'true'
+    AfterFunction: true
-    AfterNamespace : 'true'
+    AfterNamespace: true
-    AfterStruct : 'true'
+    AfterStruct: true
-    AfterUnion : 'true'
+    AfterUnion: true
-    BeforeCatch : 'true'
+    BeforeCatch: true
-    BeforeElse : 'true'
+    BeforeElse: true
-    IndentBraces : 'false'
+    IndentBraces: false
-}
-
 BreakConstructorInitializersBeforeComma: false
 Cpp11BracedListStyle: true
-ColumnLimit:     140
+ColumnLimit: 140
 ConstructorInitializerAllOnOneLineOrOnePerLine: true
 ExperimentalAutoDetectBinPacking: true
 UseTab: Never
@@ -28,36 +25,35 @@ Standard: Cpp11
 PointerAlignment: Middle
 MaxEmptyLinesToKeep: 2
 KeepEmptyLinesAtTheStartOfBlocks: false
-#AllowShortFunctionsOnASingleLine: Inline
+AllowShortFunctionsOnASingleLine: InlineOnly
-AllowShortFunctionsOnASingleLine: Empty
 AlwaysBreakTemplateDeclarations: true
 IndentCaseLabels: true
-#SpaceAfterTemplateKeyword: true
+SpaceAfterTemplateKeyword: true
 SortIncludes: true
 IncludeCategories:
-  - Regex:           '^<[a-z_]+>'
+  - Regex: '^<[a-z_]+>'
-    Priority:        1
+    Priority: 1
-  - Regex:           '^<[a-z_]+.h>'
+  - Regex: '^<[a-z_]+.h>'
-    Priority:        2
+    Priority: 2
-  - Regex:           '^["<](common|ext|mysqlxx|daemon|zkutil)/'
+  - Regex: '^["<](common|ext|mysqlxx|daemon|zkutil)/'
-    Priority:        90
+    Priority: 90
-  - Regex:           '^["<](DB)/'
+  - Regex: '^["<](DB)/'
-    Priority:        100
+    Priority: 100
-  - Regex:           '^["<](Poco)/'
+  - Regex: '^["<](Poco)/'
-    Priority:        50
+    Priority: 50
-  - Regex:           '^"'
+  - Regex: '^"'
-    Priority:        110
+    Priority: 110
-  - Regex:           '/'
+  - Regex: '/'
-    Priority:        30
+    Priority: 30
-  - Regex:           '.*'
+  - Regex: '.*'
-    Priority:        40
+    Priority: 40
 ReflowComments: false
 AlignEscapedNewlinesLeft: true
 
 # Not changed:
 AccessModifierOffset: -4
 AlignConsecutiveAssignments: false
-AlignOperands:   false
+AlignOperands: false
 AlignTrailingComments: false
 AllowAllParametersOfDeclarationOnNextLine: true
 AllowShortBlocksOnASingleLine: false
@@ -70,16 +66,15 @@ BinPackArguments: false
 BinPackParameters: false
 BreakBeforeBinaryOperators: All
 BreakBeforeTernaryOperators: true
-CommentPragmas:  '^ IWYU pragma:'
+CommentPragmas: '^ IWYU pragma:'
 ConstructorInitializerIndentWidth: 4
 ContinuationIndentWidth: 4
 DerivePointerAlignment: false
-DisableFormat:   false
+DisableFormat: false
-ForEachMacros:   [ foreach, Q_FOREACH, BOOST_FOREACH ]
+IndentWidth: 4
-IndentWidth:     4
 IndentWrappedFunctionNames: false
 MacroBlockBegin: ''
-MacroBlockEnd:   ''
+MacroBlockEnd: ''
 NamespaceIndentation: Inner
 ObjCBlockIndentWidth: 4
 ObjCSpaceAfterProperty: true
@@ -99,5 +94,3 @@ SpacesInContainerLiterals: true
 SpacesInCStyleCastParentheses: false
 SpacesInParentheses: false
 SpacesInSquareBrackets: false
-...
-

.gitignore

@@ -9,10 +9,16 @@
 # auto generated files
 *.logrt
 
-build
+/build
-/docs/en_single_page/
+/build_*
-/docs/ru_single_page/
+/build-*
-/docs/venv/
+/docs/build
+/docs/edit
+/docs/tools/venv/
+/docs/en/development/build/
+/docs/ru/development/build/
+/docs/en/single.md
+/docs/ru/single.md
 
 # callgrind files
 callgrind.out.*
@@ -43,6 +49,7 @@ cmake-build-*
 # Python cache
 *.pyc
 __pycache__
+*.pytest_cache
 
 # ignore generated files
 *-metrika-yandex
@@ -173,7 +180,6 @@ utils/zookeeper-create-entry-to-download-part/zookeeper-create-entry-to-download
 utils/zookeeper-dump-tree/zookeeper-dump-tree
 utils/zookeeper-remove-by-list/zookeeper-remove-by-list
 dbms/src/Storages/tests/remove_symlink_directory
-dbms/tests/queries/1_stateful
 debian/control
 debian/copyright
 debian/tmp/
@@ -236,3 +242,9 @@ node_modules
 public
 website/docs
 website/presentations
+website/package-lock.json
+.DS_Store
+*/.DS_Store
+
+# Ignore files for locally disabled tests
+/dbms/tests/queries/**/*.disabled

.gitmodules

@@ -1,6 +1,3 @@
-[submodule "contrib/zookeeper"]
-	path = contrib/zookeeper
-	url = https://github.com/ClickHouse-Extras/zookeeper.git
 [submodule "contrib/poco"]
 	path = contrib/poco
 	url = https://github.com/ClickHouse-Extras/poco
@@ -18,7 +15,7 @@
 	url = https://github.com/google/cctz.git
 [submodule "contrib/zlib-ng"]
 	path = contrib/zlib-ng
-	url = https://github.com/Dead2/zlib-ng.git
+	url = https://github.com/ClickHouse-Extras/zlib-ng.git
 [submodule "contrib/googletest"]
 	path = contrib/googletest
 	url = https://github.com/google/googletest.git
@@ -37,3 +34,18 @@
 [submodule "contrib/boost"]
 	path = contrib/boost
 	url = https://github.com/ClickHouse-Extras/boost.git
+[submodule "contrib/llvm"]
+	path = contrib/llvm
+	url = https://github.com/ClickHouse-Extras/llvm
+[submodule "contrib/mariadb-connector-c"]
+	path = contrib/mariadb-connector-c
+	url = https://github.com/MariaDB/mariadb-connector-c.git
+[submodule "contrib/jemalloc"]
+	path = contrib/jemalloc
+	url = https://github.com/jemalloc/jemalloc.git
+[submodule "contrib/unixodbc"]
+	path = contrib/unixodbc
+	url = https://github.com/ClickHouse-Extras/UnixODBC.git
+[submodule "contrib/base64"]
+	path = contrib/base64
+	url = https://github.com/aklomp/base64.git

.travis.yml

@@ -1,150 +0,0 @@
-language: generic
-
-matrix:
-  fast_finish: true
-  include:
-#    - os: linux
-#
-#      cache:
-#        ccache: true
-#        timeout: 1000
-#
-#      addons:
-#        apt:
-#          sources:
-#            - ubuntu-toolchain-r-test
-#          packages: [ g++-7,            libicu-dev, libreadline-dev, libmysqlclient-dev, unixodbc-dev, libltdl-dev, libssl-dev, libboost-dev, zlib1g-dev, libdouble-conversion-dev, libzookeeper-mt-dev, libsparsehash-dev, librdkafka-dev, libcapnp-dev, libsparsehash-dev, libgoogle-perftools-dev, bash, expect, python, python-lxml, python-termcolor, curl, perl, sudo, openssl ]
-#
-#      env:
-#        - MATRIX_EVAL="export CC=gcc-7 && export CXX=g++-7"
-#
-#      script:
-#        - env TEST_RUN= utils/travis/normal.sh
-
-
-    # We need to have gcc7 headers to compile c++17 code on clang
-    - os: linux
-
-      cache:
-        ccache: true
-        timeout: 1000
-        directories:
-        - /home/travis/.ccache
-
-      addons:
-        apt:
-          sources:
-            - ubuntu-toolchain-r-test
-            - llvm-toolchain-trusty-5.0
-          packages: [ g++-7, clang-5.0, lld-5.0, libicu-dev, libreadline-dev, libmysqlclient-dev, unixodbc-dev, libltdl-dev, libssl-dev, libboost-dev, zlib1g-dev, libdouble-conversion-dev, libzookeeper-mt-dev, libsparsehash-dev, librdkafka-dev, libcapnp-dev, libsparsehash-dev, libgoogle-perftools-dev, bash, expect, python, python-lxml, python-termcolor, curl, perl, sudo, openssl]
-
-      env:
-        - MATRIX_EVAL="export CC=clang-5.0 && export CXX=clang++-5.0"
-
-      script:
-        - utils/travis/normal.sh
-
-
-# TODO: fix internal compiler
-#    - os: linux
-#
-#      sudo: required
-#
-#      cache:
-#        timeout: 1000
-#        directories:
-#        - /var/cache/pbuilder/ccache
-#
-#      addons:
-#        apt:
-#          packages: [ pbuilder, fakeroot, debhelper ]
-#
-#      env:
-#        - MATRIX_EVAL="export DEB_CC=clang-5.0 && export DEB_CXX=clang++-5.0"
-#
-#      script:
-#        - utils/travis/pbuilder.sh
-
-
-    - os: linux
-
-      sudo: required
-
-      cache:
-        timeout: 1000
-        directories:
-        - /var/cache/pbuilder/ccache
-
-      addons:
-        apt:
-          packages: [ pbuilder, fakeroot, debhelper ]
-
-      script:
-        - utils/travis/pbuilder.sh
-
-
-#    - os: linux
-#
-#      sudo: required
-#
-#      cache:
-#        timeout: 1000
-#        directories:
-#        - /var/cache/pbuilder/ccache
-#
-#      addons:
-#        apt:
-#          packages: [ pbuilder, fakeroot, debhelper ]
-#
-#      env:
-#        - MATRIX_EVAL="export ARCH=i386"
-#
-#      script:
-#        - env PBUILDER_TIMEOUT=40m TEST_TRUE=true TEST_RUN= utils/travis/pbuilder.sh
-
-
-# TODO: Can't bootstrap bionic on trusty host
-#    - os: linux
-#
-#      sudo: required
-#
-#      cache:
-#        timeout: 1000
-#        directories:
-#        - /var/cache/pbuilder/ccache
-#
-#      addons:
-#        apt:
-#          packages: [ pbuilder, fakeroot, debhelper ]
-#
-#      env:
-#        - MATRIX_EVAL="export DEB_CC=clang-6.0 && export DEB_CXX=clang++-6.0 && export DIST=bionic && export EXTRAPACKAGES='clang-6.0 lld-6.0'"
-#
-#      script:
-#        - utils/travis/pbuilder.sh
-
-
-# Cant fit to time limit (48min)
-#    - os: osx
-#      osx_image: xcode9.2
-#
-#      cache:
-#        ccache: true
-#        timeout: 1000
-#
-#      before_install:
-#        - brew install unixodbc gcc ccache libtool gettext zlib readline double-conversion gperftools google-sparsehash lz4 zstd || true
-#        - brew link --overwrite gcc || true
-#
-#      env:
-#        - MATRIX_EVAL="export CC=gcc-7 && export CXX=g++-7"
-#
-#      script:
-#        - env CMAKE_FLAGS="-DUSE_INTERNAL_BOOST_LIBRARY=1" utils/travis/normal.sh
-
-
-  allow_failures:
-    - os: osx
-
-before_script:
-    - eval "${MATRIX_EVAL}"

.travis.yml.bak

@@ -0,0 +1,50 @@
+language: generic
+
+matrix:
+  fast_finish: true
+  include:
+    # We need to have gcc7 headers to compile c++17 code on clang
+#    - os: linux
+#
+#      cache:
+#        ccache: true
+#        timeout: 1000
+#        directories:
+#        - /home/travis/.ccache
+#
+#      addons:
+#        apt:
+#          update: true
+#          sources:
+#            - ubuntu-toolchain-r-test
+#            - llvm-toolchain-trusty-5.0
+#          packages: [ ninja-build, g++-7, clang-5.0, lld-5.0, libicu-dev, libreadline-dev, libmysqlclient-dev, unixodbc-dev, libltdl-dev, libssl-dev, libboost-dev, zlib1g-dev, libdouble-conversion-dev, libsparsehash-dev, librdkafka-dev, libcapnp-dev, libsparsehash-dev, libgoogle-perftools-dev, bash, expect, python, python-lxml, python-termcolor, curl, perl, sudo, openssl]
+#
+#      env:
+#        - MATRIX_EVAL="export CC=clang-5.0 CXX=clang++-5.0"
+#
+#      script:
+#        - utils/travis/normal.sh
+
+    - os: linux
+
+      sudo: required
+
+      cache:
+        timeout: 1000
+        directories:
+        - /var/cache/pbuilder/ccache
+
+      addons:
+        apt:
+          update: true
+          packages: [ pbuilder, fakeroot, debhelper ]
+
+      script:
+        - utils/travis/pbuilder.sh
+
+  allow_failures:
+    - os: osx
+
+before_script:
+    - eval "${MATRIX_EVAL}"

CHANGELOG.draft.md

@@ -0,0 +1,4 @@
+* Настройка `enable_optimize_predicate_expression` выключена по-умолчанию.
+
+### Улучшения:
+* Файлы *-preprocessed.xml записываются в директорию с данными (/var/lib/clickhouse/preprocessed_configs). Для /etc/clickhouse-server больше не нужен +w для пользователя clickhouse. Для удобства создан симлинк /var/lib/clickhouse/preprocessed_configs -> /etc/clickhouse-server/preprocessed

CHANGELOG_RU.md

@@ -1,17 +1,633 @@
-# ClickHouse 1.1.54370 Release Candidate, 2018-03-16
+## ClickHouse release 18.14.15, 2018-11-21
 
-## Новые возможности:
+### Исправления ошибок:
+* При чтении столбцов типа `Array(String)`, размер требуемого куска памяти оценивался слишком большим, что приводило к исключению "Memory limit exceeded" при выполнении запроса. Ошибка появилась в версии 18.12.13. [#3589](https://github.com/yandex/ClickHouse/issues/3589)
+
+## ClickHouse release 18.14.14, 2018-11-20
+
+### Исправления ошибок:
+* Исправлена работа запросов `ON CLUSTER` в случае, когда в конфигурации кластера включено шифрование (флаг `<secure>`). [#3599](https://github.com/yandex/ClickHouse/pull/3599)
+
+### Улучшения процесса сборки ClickHouse:
+* Испрпавлены проблемы сборки (llvm-7 из системы, macos) [#3582](https://github.com/yandex/ClickHouse/pull/3582)
+
+## ClickHouse release 18.14.13, 2018-11-08
+
+### Исправления ошибок:
+* Исправлена ошибка `Block structure mismatch in MergingSorted stream`. [#3162](https://github.com/yandex/ClickHouse/issues/3162)
+* Исправлена работа запросов `ON CLUSTER` в случае, когда в конфигурации кластера включено шифрование (флаг `<secure>`). [#3465](https://github.com/yandex/ClickHouse/pull/3465)
+* Исправлена ошибка при использовании `SAMPLE`, `PREWHERE` и столбцов-алиасов. [#3543](https://github.com/yandex/ClickHouse/pull/3543)
+* Исправлена редкая ошибка `unknown compression method` при использовании настройки `min_bytes_to_use_direct_io`. [3544](https://github.com/yandex/ClickHouse/pull/3544)
+
+### Улучшения производительности:
+* Исправлена деградация производительности запросов с `GROUP BY` столбцов типа Int16, Date на процессорах AMD EPYC. [Игорь Лапко](https://github.com/yandex/ClickHouse/pull/3512)
+* Исправлена деградация производительности при обработке длинных строк. [#3530](https://github.com/yandex/ClickHouse/pull/3530)
+
+### Улучшения процесса сборки ClickHouse:
+* Доработки для упрощения сборки в Arcadia. [#3475](https://github.com/yandex/ClickHouse/pull/3475), [#3535](https://github.com/yandex/ClickHouse/pull/3535)
+
+## ClickHouse release 18.14.12, 2018-11-02
+
+### Исправления ошибок:
+
+* Исправлена ошибка при join-запросе двух неименованных подзапросов. [#3505](https://github.com/yandex/ClickHouse/pull/3505)
+* Исправлена генерация пустой `WHERE`-части при запросах к внешним базам. [hotid](https://github.com/yandex/ClickHouse/pull/3477)
+* Исправлена ошибка использования неправильной настройки таймаута в ODBC-словарях. [Marek Vavruša](https://github.com/yandex/ClickHouse/pull/3511)
+
+## ClickHouse release 18.14.11, 2018-10-29
+
+### Исправления ошибок:
+
+* Исправлена ошибка `Block structure mismatch in UNION stream: different number of columns` в запросах с LIMIT. [#2156](https://github.com/yandex/ClickHouse/issues/2156)
+* Исправлены ошибки при слиянии данных в таблицах, содержащих массивы внутри Nested структур. [#3397](https://github.com/yandex/ClickHouse/pull/3397)
+* Исправлен неправильный результат запросов при выключенной настройке `merge_tree_uniform_read_distribution` (включена по умолчанию). [#3429](https://github.com/yandex/ClickHouse/pull/3429)
+* Исправлена ошибка при вставке в Distributed таблицу в формате Native. [#3411](https://github.com/yandex/ClickHouse/issues/3411)
+
+## ClickHouse release 18.14.10, 2018-10-23
+
+* Настройка `compile_expressions` (JIT компиляция выражений) выключена по умолчанию. [#3410](https://github.com/yandex/ClickHouse/pull/3410)
+* Настройка `enable_optimize_predicate_expression` выключена по умолчанию.
+
+## ClickHouse release 18.14.9, 2018-10-16
+
+### Новые возможности:
+
+* Модификатор `WITH CUBE` для `GROUP BY` (также доступен синтаксис: `GROUP BY CUBE(...)`). [#3172](https://github.com/yandex/ClickHouse/pull/3172)
+* Добавлена функция `formatDateTime`. [Alexandr Krasheninnikov](https://github.com/yandex/ClickHouse/pull/2770)
+* Добавлен движок таблиц `JDBC` и табличная функция `jdbc` (для работы требуется установка clickhouse-jdbc-bridge). [Alexandr Krasheninnikov](https://github.com/yandex/ClickHouse/pull/3210)
+* Добавлены функции для работы с ISO номером недели: `toISOWeek`, `toISOYear`, `toStartOfISOYear`, а также `toDayOfYear`. [#3146](https://github.com/yandex/ClickHouse/pull/3146)
+* Добавлена возможность использования столбцов типа `Nullable` для таблиц типа `MySQL`, `ODBC`. [#3362](https://github.com/yandex/ClickHouse/pull/3362)
+* Возможность чтения вложенных структур данных как вложенных объектов в формате `JSONEachRow`. Добавлена настройка `input_format_import_nested_json`. [Veloman Yunkan](https://github.com/yandex/ClickHouse/pull/3144)
+* Возможность параллельной обработки многих `MATERIALIZED VIEW` при вставке данных. Настройка `parallel_view_processing`. [Marek Vavruša](https://github.com/yandex/ClickHouse/pull/3208)
+* Добавлен запрос `SYSTEM FLUSH LOGS` (форсированный сброс логов в системные таблицы, такие как например, `query_log`) [#3321](https://github.com/yandex/ClickHouse/pull/3321)
+* Возможность использования предопределённых макросов `database` и `table` в объявлении `Replicated` таблиц. [#3251](https://github.com/yandex/ClickHouse/pull/3251)
+* Добавлена возможность чтения значения типа `Decimal` в инженерной нотации (с указанием десятичной экспоненты). [#3153](https://github.com/yandex/ClickHouse/pull/3153)
+
+### Экспериментальные возможности:
+
+* Оптимизация GROUP BY для типов данных `LowCardinality` [#3138](https://github.com/yandex/ClickHouse/pull/3138)
+* Оптимизации вычисления выражений для типов данных `LowCardinality` [#3200](https://github.com/yandex/ClickHouse/pull/3200)
+
+### Улучшения:
+
+* Существенно уменьшено потребление памяти для запросов с `ORDER BY` и `LIMIT`. Настройка `max_bytes_before_remerge_sort`. [#3205](https://github.com/yandex/ClickHouse/pull/3205)
+* При отсутствии указания типа `JOIN` (`LEFT`, `INNER`, ...), подразумевается `INNER JOIN`. [#3147](https://github.com/yandex/ClickHouse/pull/3147)
+* Корректная работа квалифицированных звёздочек в запросах с `JOIN`. [Winter Zhang](https://github.com/yandex/ClickHouse/pull/3202)
+* Движок таблиц `ODBC` корректно выбирает способ квотирования идентификаторов в SQL диалекте удалённой СУБД. [Alexandr Krasheninnikov](https://github.com/yandex/ClickHouse/pull/3210)
+* Настройка `compile_expressions` (JIT компиляция выражений) включена по-умолчанию.
+* Исправлено поведение при одновременном DROP DATABASE/TABLE IF EXISTS и CREATE DATABASE/TABLE IF NOT EXISTS. Ранее запрос `CREATE DATABASE ... IF NOT EXISTS` мог выдавать сообщение об ошибке вида "File ... already exists", а запросы `CREATE TABLE ... IF NOT EXISTS` и `DROP TABLE IF EXISTS` могли выдавать сообщение `Table ... is creating or attaching right now`. [#3101](https://github.com/yandex/ClickHouse/pull/3101)
+* Выражения LIKE и IN с константной правой частью пробрасываются на удалённый сервер при запросах из таблиц типа MySQL и ODBC. [#3182](https://github.com/yandex/ClickHouse/pull/3182)
+* Сравнения с константными выражениями в секции WHERE пробрасываются на удалённый сервер при запросах из таблиц типа MySQL и ODBC. Ранее пробрасывались только сравнения с константами. [#3182](https://github.com/yandex/ClickHouse/pull/3182)
+* Корректное вычисление ширины строк в терминале для `Pretty` форматов, в том числе для строк с иероглифами. [Amos Bird](https://github.com/yandex/ClickHouse/pull/3257).
+* Возможность указания `ON CLUSTER` для запросов `ALTER UPDATE`.
+* Увеличена производительность чтения данных в формате `JSONEachRow`. [#3332](https://github.com/yandex/ClickHouse/pull/3332)
+* Добавлены синонимы функций `LENGTH`, `CHARACTER_LENGTH` для совместимости. Функция `CONCAT` стала регистронезависимой. [#3306](https://github.com/yandex/ClickHouse/pull/3306)
+* Добавлен синоним `TIMESTAMP` для типа `DateTime`. [#3390](https://github.com/yandex/ClickHouse/pull/3390)
+* В логах сервера всегда присутствует место для query_id, даже если строчка лога не относится к запросу. Это сделано для более простого парсинга текстовых логов сервера сторонними инструментами.
+* Логгирование потребления памяти запросом при превышении очередной отметки целого числа гигабайт. [#3205](https://github.com/yandex/ClickHouse/pull/3205)
+* Добавлен режим совместимости для случая, когда клиентская библиотека, работающая по Native протоколу, по ошибке отправляет меньшее количество столбцов, чем сервер ожидает для запроса INSERT. Такой сценарий был возможен при использовании библиотеки clickhouse-cpp. Ранее этот сценарий приводил к падению сервера. [#3171](https://github.com/yandex/ClickHouse/pull/3171)
+* В `clickhouse-copier`, в задаваемом пользователем выражении WHERE, появилась возможность использовать алиас `partition_key` (для дополнительной фильтрации по партициям исходной таблицы). Это полезно, если схема партиционирования изменяется при копировании, но изменяется незначительно. [#3166](https://github.com/yandex/ClickHouse/pull/3166)
+* Рабочий поток движка `Kafka` перенесён в фоновый пул потоков для того, чтобы автоматически уменьшать скорость чтения данных при большой нагрузке. [Marek Vavruša](https://github.com/yandex/ClickHouse/pull/3215).
+* Поддержка чтения значений типа `Tuple` и `Nested` структур как `struct` в формате `Cap'n'Proto` [Marek Vavruša](https://github.com/yandex/ClickHouse/pull/3216).
+* В список доменов верхнего уровня для функции `firstSignificantSubdomain` добавлен домен `biz` [decaseal](https://github.com/yandex/ClickHouse/pull/3219).
+* В конфигурации внешних словарей, пустое значение `null_value` интерпретируется, как значение типа данных по-умоланию. [#3330](https://github.com/yandex/ClickHouse/pull/3330)
+* Поддержка функций `intDiv`, `intDivOrZero` для `Decimal`. [b48402e8](https://github.com/yandex/ClickHouse/commit/b48402e8712e2b9b151e0eef8193811d433a1264)
+* Поддержка типов `Date`, `DateTime`, `UUID`, `Decimal` в качестве ключа для агрегатной функции `sumMap`. [#3281](https://github.com/yandex/ClickHouse/pull/3281)
+* Поддержка типа данных `Decimal` во внешних словарях. [#3324](https://github.com/yandex/ClickHouse/pull/3324)
+* Поддержка типа данных `Decimal` в таблицах типа `SummingMergeTree`. [#3348](https://github.com/yandex/ClickHouse/pull/3348)
+* Добавлена специализация для `UUID` в функции `if`. [#3366](https://github.com/yandex/ClickHouse/pull/3366)
+* Уменьшено количество системных вызовов `open`, `close` при чтении из таблиц семейства `MergeTree` [#3283](https://github.com/yandex/ClickHouse/pull/3283).
+* Возможность выполнения запроса `TRUNCATE TABLE` на любой реплике (запрос пробрасывается на реплику-лидера). [Kirill Shvakov](https://github.com/yandex/ClickHouse/pull/3375)
+
+### Исправление ошибок:
+
+* Исправлена ошибка в работе таблиц типа `Dictionary` для словарей типа `range_hashed`. Ошибка возникла в версии 18.12.17. [#1702](https://github.com/yandex/ClickHouse/pull/1702)
+* Исправлена ошибка при загрузке словарей типа `range_hashed` (сообщение `Unsupported type Nullable(...)`). Ошибка возникла в версии 18.12.17. [#3362](https://github.com/yandex/ClickHouse/pull/3362)
+* Исправлена некорректная работа функции `pointInPolygon` из-за накопления погрешности при вычислениях для полигонов с большим количеством близко расположенных вершин. [#3331](https://github.com/yandex/ClickHouse/pull/3331) [#3341](https://github.com/yandex/ClickHouse/pull/3341)
+* Если после слияния кусков данных, у результирующего куска чексумма отличается от результата того же слияния на другой реплике, то результат слияния удаляется, и вместо этого кусок скачивается с другой реплики (это правильное поведение). Но после скачивания куска, он не мог добавиться в рабочий набор из-за ошибки, что кусок уже существует (так как кусок после слияния удалялся не сразу, а с задержкой). Это приводило к циклическим попыткам скачивания одних и тех же данных. [#3194](https://github.com/yandex/ClickHouse/pull/3194)
+* Исправлен некорректный учёт общего потребления оперативной памяти запросами (что приводило к неправильной работе настройки `max_memory_usage_for_all_queries` и неправильному значению метрики `MemoryTracking`). Ошибка возникла в версии 18.12.13. [Marek Vavruša](https://github.com/yandex/ClickHouse/pull/3344)
+* Исправлена работоспособность запросов `CREATE TABLE ... ON CLUSTER ... AS SELECT ...` Ошибка возникла в версии 18.12.13. [#3247](https://github.com/yandex/ClickHouse/pull/3247)
+* Исправлена лишняя подготовка структуры данных для `JOIN` на сервере-инициаторе запроса, если `JOIN` выполняется только на удалённых серверах. [#3340](https://github.com/yandex/ClickHouse/pull/3340)
+* Исправлены ошибки в движке `Kafka`: неработоспособность после исключения при начале чтения данных; блокировка при завершении [Marek Vavruša](https://github.com/yandex/ClickHouse/pull/3215).
+* Для таблиц `Kafka` не передавался опциональный параметр `schema` (схема формата `Cap'n'Proto`). [Vojtech Splichal](https://github.com/yandex/ClickHouse/pull/3150)
+* Если ансамбль серверов ZooKeeper содержит серверы, которые принимают соединение, но сразу же разрывают его вместо ответа на рукопожатие, то ClickHouse выбирает для соединения другой сервер. Ранее в этом случае возникала ошибка `Cannot read all data. Bytes read: 0. Bytes expected: 4.` и сервер не мог стартовать. [8218cf3a](https://github.com/yandex/ClickHouse/commit/8218cf3a5f39a43401953769d6d12a0bb8d29da9)
+* Если ансамбль серверов ZooKeeper содержит серверы, для которых DNS запрос возвращает ошибку, то такие серверы пропускаются. [17b8e209](https://github.com/yandex/ClickHouse/commit/17b8e209221061325ad7ba0539f03c6e65f87f29)
+* Исправлено преобразование типов между `Date` и `DateTime` при вставке данных в формате `VALUES` (в случае, когда `input_format_values_interpret_expressions = 1`). Ранее преобразование производилось между числовым значением количества дней с начала unix эпохи и unix timestamp, что приводило к неожиданным результатам. [#3229](https://github.com/yandex/ClickHouse/pull/3229)
+* Исправление преобразования типов между `Decimal` и целыми числами. [#3211](https://github.com/yandex/ClickHouse/pull/3211)
+* Исправлены ошибки в работе настройки `enable_optimize_predicate_expression`. [Winter Zhang](https://github.com/yandex/ClickHouse/pull/3231)
+* Исправлена ошибка парсинга формата CSV с числами с плавающей запятой, если используется разделитель CSV не по-умолчанию, такой как например, `;` [#3155](https://github.com/yandex/ClickHouse/pull/3155).
+* Исправлена функция `arrayCumSumNonNegative` (она не накапливает отрицательные значения, если аккумулятор становится меньше нуля). [Aleksey Studnev](https://github.com/yandex/ClickHouse/pull/3163)
+* Исправлена работа `Merge` таблицы поверх `Distributed` таблиц при использовании `PREWHERE`. [#3165](https://github.com/yandex/ClickHouse/pull/3165)
+* Исправления ошибок в запросе `ALTER UPDATE`.
+* Исправления ошибок в табличной функции `odbc`, которые возникли в версии 18.12. [#3197](https://github.com/yandex/ClickHouse/pull/3197)
+* Исправлена работа агрегатных функций с комбинаторами `StateArray`. [#3188](https://github.com/yandex/ClickHouse/pull/3188)
+* Исправлено падение при делении значения типа `Decimal` на ноль. [69dd6609](https://github.com/yandex/ClickHouse/commit/69dd6609193beb4e7acd3e6ad216eca0ccfb8179)
+* Исправлен вывод типов для операций с использованием аргументов типа `Decimal` и целых чисел. [#3224](https://github.com/yandex/ClickHouse/pull/3224)
+* Исправлен segfault при `GROUP BY` по `Decimal128`. [3359ba06](https://github.com/yandex/ClickHouse/commit/3359ba06c39fcd05bfdb87d6c64154819621e13a)
+* Настройка `log_query_threads` (логгирование информации о каждом потоке исполнения запроса) теперь имеет эффект только если настройка `log_queries` (логгирование информации о запросах) выставлена в 1. Так как настройка `log_query_threads` включена по-умолчанию, ранее информация о потоках логгировалась даже если логгирование запросов выключено. [#3241](https://github.com/yandex/ClickHouse/pull/3241)
+* Исправлена ошибка в распределённой работе агрегатной функции quantiles (сообщение об ошибке вида `Not found column quantile...`). [292a8855](https://github.com/yandex/ClickHouse/commit/292a885533b8e3b41ce8993867069d14cbd5a664)
+* Исправлена проблема совместимости при одновременной работе на кластере серверов версии 18.12.17 и более старых, приводящая к тому, что при распределённых запросах с GROUP BY по ключам одновременно фиксированной и не фиксированной длины, при условии, что количество данных в процессе агрегации большое, могли возвращаться не до конца агрегированные данные (одни и те же ключи агрегации в двух разных строках). [#3254](https://github.com/yandex/ClickHouse/pull/3254)
+* Исправлена обработка подстановок в `clickhouse-performance-test`, если запрос содержит только часть из объявленных в тесте подстановок. [#3263](https://github.com/yandex/ClickHouse/pull/3263)
+* Исправлена ошибка при использовании `FINAL` совместно с `PREWHERE`. [#3298](https://github.com/yandex/ClickHouse/pull/3298)
+* Исправлена ошибка при использовании `PREWHERE` над столбцами, добавленными при `ALTER`. [#3298](https://github.com/yandex/ClickHouse/pull/3298)
+* Добавлена проверка отсутствия `arrayJoin` для `DEFAULT`, `MATERIALIZED` выражений. Ранее наличие `arrayJoin` приводило к ошибке при вставке данных. [#3337](https://github.com/yandex/ClickHouse/pull/3337)
+* Добавлена проверка отсутствия `arrayJoin` в секции `PREWHERE`. Ранее это приводило к сообщениям вида `Size ... doesn't match` или `Unknown compression method` при выполнении запросов. [#3357](https://github.com/yandex/ClickHouse/pull/3357)
+* Исправлен segfault, который мог возникать в редких случаях после оптимизации - замены цепочек AND из равенства выражения константам на соответствующее выражение IN. [liuyimin-bytedance](https://github.com/yandex/ClickHouse/pull/3339).
+* Мелкие исправления `clickhouse-benchmark`: ранее информация о клиенте не передавалась на сервер; более корректный подсчёт числа выполненных запросов при завершении работы и для ограничения числа итераций. [#3351](https://github.com/yandex/ClickHouse/pull/3351) [#3352](https://github.com/yandex/ClickHouse/pull/3352)
+
+### Обратно несовместимые изменения:
+
+* Удалена настройка `allow_experimental_decimal_type`. Тип данных `Decimal` доступен для использования по-умолчанию. [#3329](https://github.com/yandex/ClickHouse/pull/3329)
+
+
+## ClickHouse release 18.12.17, 2018-09-16
+
+### Новые возможности:
+
+* `invalidate_query` (возможность задать запрос для проверки необходимости обновления внешнего словаря) реализована для источника `clickhouse`. [#3126](https://github.com/yandex/ClickHouse/pull/3126)
+* Добавлена возможность использования типов данных `UInt*`, `Int*`, `DateTime` (наравне с типом `Date`) в качестве ключа внешнего словаря типа `range_hashed`, определяющего границы диапазонов. Возможность использования `NULL` в качестве обозначения открытого диапазона. [Vasily Nemkov](https://github.com/yandex/ClickHouse/pull/3123)
+* Для типа `Decimal` добавлена поддержка агрегатных функций `var*`, `stddev*`. [#3129](https://github.com/yandex/ClickHouse/pull/3129)
+* Для типа `Decimal` добавлена поддержка математических функций (`exp`, `sin` и т. п.) [#3129](https://github.com/yandex/ClickHouse/pull/3129)
+* В таблицу `system.part_log` добавлен столбец `partition_id`. [#3089](https://github.com/yandex/ClickHouse/pull/3089)
+
+### Исправление ошибок:
+
+* Исправлена работа `Merge` таблицы поверх `Distributed` таблиц. [Winter Zhang](https://github.com/yandex/ClickHouse/pull/3159)
+* Исправлена несовместимость (лишняя зависимость от версии `glibc`), приводящая к невозможности запуска ClickHouse на `Ubuntu Precise` и более старых. Несовместимость возникла в версии 18.12.13. [#3130](https://github.com/yandex/ClickHouse/pull/3130)
+* Исправлены ошибки в работе настройки `enable_optimize_predicate_expression`. [Winter Zhang](https://github.com/yandex/ClickHouse/pull/3107)
+* Исправлено незначительное нарушение обратной совместимости, проявляющееся при одновременной работе на кластере реплик версий до 18.12.13 и создании новой реплики таблицы на сервере более новой версии (выдаётся сообщение `Can not clone replica, because the ... updated to new ClickHouse version`, что полностью логично, но не должно было происходить). [#3122](https://github.com/yandex/ClickHouse/pull/3122)
+
+### Обратно несовместимые изменения:
+
+* Настройка `enable_optimize_predicate_expression` включена по-умолчанию, что конечно очень оптимистично. При возникновении ошибок анализа запроса, связанных с поиском имён столбцов, следует выставить `enable_optimize_predicate_expression` в 0. [Winter Zhang](https://github.com/yandex/ClickHouse/pull/3107)
+
+
+## ClickHouse release 18.12.14, 2018-09-13
+
+### Новые возможности:
+
+* Добавлена поддержка запросов `ALTER UPDATE`. [#3035](https://github.com/yandex/ClickHouse/pull/3035)
+* Добавлена настройка `allow_ddl`, упраляющая доступом пользователя к DDL-запросам. [#3104](https://github.com/yandex/ClickHouse/pull/3104)
+* Добавлена настройка `min_merge_bytes_to_use_direct_io` для движков семейства `MergeTree`, позволяющая задать порог на суммарный размер слияния после которого работа с файлами кусков будет происходить с O_DIRECT. [#3117](https://github.com/yandex/ClickHouse/pull/3117)
+* В системную таблицу `system.merges` добавлен столбец `partition_id`. [#3099](https://github.com/yandex/ClickHouse/pull/3099)
+
+### Улучшения
+
+* Если в процессе мутации кусок остался неизменённым, он не будет скачан репликами. [#3103](https://github.com/yandex/ClickHouse/pull/3103)
+* При работе с `clickhouse-client` добавлено автодополнение для имён настроек. [#3106](https://github.com/yandex/ClickHouse/pull/3106)
+
+### Исправление ошибок
+
+* Добавлена проверка размеров массивов, которые являются элементами полей типа `Nested`, при вставке. [#3118](https://github.com/yandex/ClickHouse/pull/3118)
+* Исправлена ошибка обновления внешних словарей с источником `ODBC` и форматом хранения `hashed`. Ошибка возникла в версии 18.12.13.
+* Исправлено падение при создании временной таблицы таблицы из запроса с условием `IN`. [Winter Zhang](https://github.com/yandex/ClickHouse/pull/3098)
+* Исправлена ошибка в работе агрегатных функций для массивов, элементами которых может быть `NULL`. [Winter Zhang](https://github.com/yandex/ClickHouse/pull/3097)
+
+
+## ClickHouse release 18.12.13, 2018-09-10
+
+### Новые возможности:
+
+* Добавлен тип данных `DECIMAL(digits, scale)` (`Decimal32(scale)`, `Decimal64(scale)`, `Decimal128(scale)`). Возможность доступна под настройкой `allow_experimental_decimal_type`. [#2846](https://github.com/yandex/ClickHouse/pull/2846) [#2970](https://github.com/yandex/ClickHouse/pull/2970) [#3008](https://github.com/yandex/ClickHouse/pull/3008) [#3047](https://github.com/yandex/ClickHouse/pull/3047)
+* Модификатор `WITH ROLLUP` для `GROUP BY` (также доступен синтаксис: `GROUP BY ROLLUP(...)`). [#2948](https://github.com/yandex/ClickHouse/pull/2948)
+* В запросах с JOIN, звёздочка раскрывается в список столбцов всех таблиц, в соответствии со стандартом SQL. Вернуть старое поведение можно, выставив настройку (уровня пользователя) `asterisk_left_columns_only` в значение 1. [Winter Zhang](https://github.com/yandex/ClickHouse/pull/2787)
+* Добавлена поддержка JOIN с табличной функцией. [Winter Zhang](https://github.com/yandex/ClickHouse/pull/2907)
+* Автодополнение по нажатию Tab в clickhouse-client. [Sergey Shcherbin](https://github.com/yandex/ClickHouse/pull/2447)
+* Нажатие Ctrl+C в clickhouse-client очищает запрос, если он был введён. [#2877](https://github.com/yandex/ClickHouse/pull/2877)
+* Добавлена настройка `join_default_strictness` (значения `''`, `'any'`, `'all'`). Её использование позволяет не указывать `ANY` или `ALL` для `JOIN`. [#2982](https://github.com/yandex/ClickHouse/pull/2982)
+* В каждой строчке лога сервера, относящейся к обработке запроса, выводится идентификатор запроса. [#2482](https://github.com/yandex/ClickHouse/pull/2482)
+* Возможность получения логов выполнения запроса в clickhouse-client (настройка `send_logs_level`). При распределённой обработке запроса, логи отправляются каскадно со всех серверов. [#2482](https://github.com/yandex/ClickHouse/pull/2482)
+* В таблицах `system.query_log` и `system.processes` (`SHOW PROCESSLIST`) появилась информация о всех изменённых настройках при выполнении запроса (вложенная структура данных `Settings`). Добавлена настройка `log_query_settings`. [#2482](https://github.com/yandex/ClickHouse/pull/2482)
+* В таблицах `system.query_log` и `system.processes` появилась информация о номерах потоков, участвующих в исполнении запроса (столбец `thread_numbers`). [#2482](https://github.com/yandex/ClickHouse/pull/2482)
+* Добавлены счётчики `ProfileEvents`, измеряющие время, потраченное на чтение и запись по сети; чтение и запись на диск; количество сетевых ошибок; время потраченное на ожидании при ограничении сетевой полосы. [#2482](https://github.com/yandex/ClickHouse/pull/2482)
+* Добавлены счётчики `ProfileEvents`, содержащие системные метрики из rusage (позволяющие получить информацию об использовании CPU в userspace и ядре, page faults, context switches) а также метрики taskstats (позволяющие получить информацию о времени ожидания IO, CPU, а также количество прочитанных и записанных данных с учётом и без учёта page cache). [#2482](https://github.com/yandex/ClickHouse/pull/2482)
+* Счётчики `ProfileEvents` учитываются не только глобально, но и на каждый запрос, а также на каждый поток выполнения запроса, что позволяет детально профилировать потребление ресурсов отдельными запросами. [#2482](https://github.com/yandex/ClickHouse/pull/2482)
+* Добавлена таблица `system.query_thread_log`, содержащая информацию о каждом потоке выполнения запроса. Добавлена настройка `log_query_threads`. [#2482](https://github.com/yandex/ClickHouse/pull/2482)
+* В таблицах `system.metrics` и `system.events` появилась встроенная документация. [#3016](https://github.com/yandex/ClickHouse/pull/3016)
+* Добавлена функция `arrayEnumerateDense`. [Amos Bird](https://github.com/yandex/ClickHouse/pull/2975)
+* Добавлены функции `arrayCumSumNonNegative` и `arrayDifference`. [Aleksey Studnev](https://github.com/yandex/ClickHouse/pull/2942)
+* Добавлена агрегатная функция `retention`. [Sundy Li](https://github.com/yandex/ClickHouse/pull/2887)
+* Возможность сложения (слияния) состояний агрегатных функций с помощью оператора плюс, а также умножения состояний агрегатных функций на целую неотрицательную константу. [#3062](https://github.com/yandex/ClickHouse/pull/3062) [#3034](https://github.com/yandex/ClickHouse/pull/3034)
+* В таблицах семейства MergeTree добавлен виртуальный столбец `_partition_id`. [#3089](https://github.com/yandex/ClickHouse/pull/3089)
+
+### Экспериментальные возможности:
+
+* Добавлен тип данных `LowCardinality(T)`. Тип данных автоматически создаёт локальный словарь значений и позволяет обрабатывать данные без распаковки словаря. [#2830](https://github.com/yandex/ClickHouse/pull/2830)
+* Добавлен кэш JIT-скомпилированных функций, а также счётчик числа использований перед компиляцией. Возможность JIT-компиляции выражений включается настройкой `compile_expressions`. [#2990](https://github.com/yandex/ClickHouse/pull/2990) [#3077](https://github.com/yandex/ClickHouse/pull/3077)
+
+### Улучшения:
+
+* Исправлена проблема неограниченного накопления лога репликации в случае наличия заброшенных реплик. Добавлен режим эффективного восстановления реплик после длительного отставания.
+* Увеличена производительность при выполнении `GROUP BY` в случае, если есть несколько полей агрегации, одно из которых строковое, а другие - фиксированной длины.
+* Увеличена производительность при использовании `PREWHERE` и при неявном переносе выражений в `PREWHERE`.
+* Увеличена производительность парсинга текстовых форматов (`CSV`, `TSV`). [Amos Bird](https://github.com/yandex/ClickHouse/pull/2977) [#2980](https://github.com/yandex/ClickHouse/pull/2980)
+* Увеличена производительность чтения строк и массивов в бинарных форматах. [Amos Bird](https://github.com/yandex/ClickHouse/pull/2955)
+* Увеличена производительность и уменьшено потребление памяти в запросах к таблицам `system.tables` и `system.columns` в случае наличия очень большого количества таблиц на одном сервере. [#2953](https://github.com/yandex/ClickHouse/pull/2953)
+* Исправлена проблема низкой производительности в случае наличия большого потока запросов, для которых возвращается ошибка (в `perf top` видна функция `_dl_addr`, при этом сервер использует мало CPU). [#2938](https://github.com/yandex/ClickHouse/pull/2938)
+* Прокидывание условий внутрь View (при включенной настройке `enable_optimize_predicate_expression`) [Winter Zhang](https://github.com/yandex/ClickHouse/pull/2907)
+* Доработки недостающей функциональности для типа данных `UUID`. [#3074](https://github.com/yandex/ClickHouse/pull/3074) [#2985](https://github.com/yandex/ClickHouse/pull/2985)
+* Тип данных `UUID` поддержан в словарях The-Alchemist. [#2822](https://github.com/yandex/ClickHouse/pull/2822)
+* Функция `visitParamExtractRaw` корректно работает с вложенными структурами. [Winter Zhang](https://github.com/yandex/ClickHouse/pull/2974)
+* При использовании настройки `input_format_skip_unknown_fields` корректно работает пропуск значений-объектов в формате `JSONEachRow`. [BlahGeek](https://github.com/yandex/ClickHouse/pull/2958)
+* Для выражения `CASE` с условиями, появилась возможность не указывать `ELSE`, что эквивалентно `ELSE NULL`. [#2920](https://github.com/yandex/ClickHouse/pull/2920)
+* Возможность конфигурирования operation timeout при работе с ZooKeeper. [urykhy](https://github.com/yandex/ClickHouse/pull/2971)
+* Возможность указания смещения для `LIMIT n, m` в виде `LIMIT n OFFSET m`. [#2840](https://github.com/yandex/ClickHouse/pull/2840)
+* Возможность использования синтаксиса `SELECT TOP n` в качестве альтернативы для `LIMIT`. [#2840](https://github.com/yandex/ClickHouse/pull/2840)
+* Увеличен размер очереди записи в системные таблицы, что позволяет уменьшить количество ситуаций `SystemLog queue is full`.
+* В агрегатной функции `windowFunnel` добавлена поддержка событий, подходящих под несколько условий. [Amos Bird](https://github.com/yandex/ClickHouse/pull/2801)
+* Возможность использования дублирующихся столбцов в секции `USING` для `JOIN`. [#3006](https://github.com/yandex/ClickHouse/pull/3006)
+* Для форматов `Pretty` введено ограничение выравнивания столбцов по ширине. Настройка `output_format_pretty_max_column_pad_width`. В случае более широкого значения, оно всё ещё будет выведено целиком, но остальные ячейки таблицы не будут излишне широкими. [#3003](https://github.com/yandex/ClickHouse/pull/3003)
+* В табличной функции `odbc` добавлена возможность указания имени базы данных/схемы. [Amos Bird](https://github.com/yandex/ClickHouse/pull/2885)
+* Добавлена возможность использования имени пользователя, заданного в конфигурационном файле `clickhouse-client`. [Vladimir Kozbin](https://github.com/yandex/ClickHouse/pull/2909)
+* Счётчик `ZooKeeperExceptions` разделён на три счётчика `ZooKeeperUserExceptions`, `ZooKeeperHardwareExceptions`, `ZooKeeperOtherExceptions`.
+* Запросы `ALTER DELETE` работают для материализованных представлений.
+* Добавлена рандомизация во времени периодического запуска cleanup thread для таблиц типа `ReplicatedMergeTree`, чтобы избежать периодических всплесков нагрузки в случае очень большого количества таблиц типа `ReplicatedMergeTree`.
+* Поддержка запроса `ATTACH TABLE ... ON CLUSTER`. [#3025](https://github.com/yandex/ClickHouse/pull/3025)
+
+### Исправление ошибок:
+
+* Исправлена ошибка в работе таблиц типа `Dictionary` (кидается исключение `Size of offsets doesn't match size of column` или `Unknown compression method`). Ошибка появилась в версии 18.10.3. [#2913](https://github.com/yandex/ClickHouse/issues/2913)
+* Исправлена ошибка при мерже данных таблиц типа `CollapsingMergeTree`, если один из кусков данных пустой (такие куски, в свою очередь, образуются при слиянии или при `ALTER DELETE` в случае удаления всех данных), и для слияния был выбран алгоритм `vertical`. [#3049](https://github.com/yandex/ClickHouse/pull/3049)
+* Исправлен race condition при `DROP` или `TRUNCATE` таблиц типа `Memory` при одновременном `SELECT`, который мог приводить к падениям сервера. Ошибка появилась в версии 1.1.54388. [#3038](https://github.com/yandex/ClickHouse/pull/3038)
+* Исправлена возможность потери данных при вставке в `Replicated` таблицы в случае получения ошибки `Session expired` (потеря данных может быть обнаружена по метрике `ReplicatedDataLoss`). Ошибка возникла в версии 1.1.54378. [#2939](https://github.com/yandex/ClickHouse/pull/2939) [#2949](https://github.com/yandex/ClickHouse/pull/2949) [#2964](https://github.com/yandex/ClickHouse/pull/2964)
+* Исправлен segfault при `JOIN ... ON`. [#3000](https://github.com/yandex/ClickHouse/pull/3000)
+* Исправлена ошибка поиска имён столбцов в случае, если выражение `WHERE` состоит целиком из квалифицированного имени столбца, как например `WHERE table.column`. [#2994](https://github.com/yandex/ClickHouse/pull/2994)
+* Исправлена ошибка вида "Not found column" при выполнении распределённых запросов в случае, если с удалённого сервера запрашивается единственный столбец, представляющий собой выражение IN с подзапросом. [#3087](https://github.com/yandex/ClickHouse/pull/3087)
+* Исправлена ошибка `Block structure mismatch in UNION stream: different number of columns`, возникающая при распределённых запросах, если один из шардов локальный, а другой - нет, и если при этом срабатывает оптимизация переноса в `PREWHERE`. [#2226](https://github.com/yandex/ClickHouse/pull/2226) [#3037](https://github.com/yandex/ClickHouse/pull/3037) [#3055](https://github.com/yandex/ClickHouse/pull/3055) [#3065](https://github.com/yandex/ClickHouse/pull/3065) [#3073](https://github.com/yandex/ClickHouse/pull/3073) [#3090](https://github.com/yandex/ClickHouse/pull/3090) [#3093](https://github.com/yandex/ClickHouse/pull/3093)
+* Исправлена работа функции `pointInPolygon` для некоторого случая невыпуклых полигонов. [#2910](https://github.com/yandex/ClickHouse/pull/2910)
+* Исправлен некорректный результат при сравнении `nan` с целыми числами. [#3024](https://github.com/yandex/ClickHouse/pull/3024)
+* Исправлена ошибка в библиотеке `zlib-ng`, которая могла приводить к segfault в редких случаях. [#2854](https://github.com/yandex/ClickHouse/pull/2854)
+* Исправлена утечка памяти при вставке в таблицу со столбцами типа `AggregateFunction`, если состояние агрегатной функции нетривиальное (выделяет память отдельно), и если в одном запросе на вставку получается несколько маленьких блоков. [#3084](https://github.com/yandex/ClickHouse/pull/3084)
+* Исправлен race condition при одновременном создании и удалении одной и той же таблицы типа `Buffer` или `MergeTree`.
+* Исправлена возможность segfault при сравнении кортежей из некоторых нетривиальных типов, таких как, например, кортежей. [#2989](https://github.com/yandex/ClickHouse/pull/2989)
+* Исправлена возможность segfault при выполнении некоторых запросов `ON CLUSTER`. [Winter Zhang](https://github.com/yandex/ClickHouse/pull/2960)
+* Исправлена ошибка в функции `arrayDistinct` в случае `Nullable` элементов массивов. [#2845](https://github.com/yandex/ClickHouse/pull/2845) [#2937](https://github.com/yandex/ClickHouse/pull/2937)
+* Возможность `enable_optimize_predicate_expression` корректно поддерживает случаи с `SELECT *`. [Winter Zhang](https://github.com/yandex/ClickHouse/pull/2929)
+* Исправлена возможность segfault при переинициализации сессии с ZooKeeper. [#2917](https://github.com/yandex/ClickHouse/pull/2917)
+* Исправлена возможность блокировки при взаимодействии с ZooKeeper.
+* Исправлен некорректный код суммирования вложенных структур данных в `SummingMergeTree`.
+* При выделении памяти для состояний агрегатных функций, корректно учитывается выравнивание, что позволяет использовать при реализации состояний агрегатных функций операции, для которых выравнивание является необходимым. [chenxing-xc](https://github.com/yandex/ClickHouse/pull/2808)
+
+### Исправления безопасности:
+
+* Безопасная работа с ODBC источниками данных. Взаимодействие с ODBC драйверами выполняется через отдельный процесс `clickhouse-odbc-bridge`. Ошибки в сторонних ODBC драйверах теперь не приводят к проблемам со стабильностью сервера или уязвимостям. [#2828](https://github.com/yandex/ClickHouse/pull/2828) [#2879](https://github.com/yandex/ClickHouse/pull/2879) [#2886](https://github.com/yandex/ClickHouse/pull/2886) [#2893](https://github.com/yandex/ClickHouse/pull/2893) [#2921](https://github.com/yandex/ClickHouse/pull/2921)
+* Исправлена некорректная валидация пути к файлу в табличной функции `catBoostPool`. [#2894](https://github.com/yandex/ClickHouse/pull/2894)
+* Содержимое системных таблиц (`tables`, `databases`, `parts`, `columns`, `parts_columns`, `merges`, `mutations`, `replicas`, `replication_queue`) фильтруется согласно конфигурации доступа к базам данных для пользователя (`allow_databases`) [Winter Zhang](https://github.com/yandex/ClickHouse/pull/2856)
+
+### Обратно несовместимые изменения:
+
+* В запросах с JOIN, звёздочка раскрывается в список столбцов всех таблиц, в соответствии со стандартом SQL. Вернуть старое поведение можно, выставив настройку (уровня пользователя) `asterisk_left_columns_only` в значение 1.
+
+### Изменения сборки:
+
+* Добавлен покоммитный запуск большинства интеграционных тестов.
+* Добавлен покоммитный запуск проверки стиля кода.
+* Корректный выбор реализации `memcpy` при сборке на CentOS7 / Fedora. [Etienne Champetier](https://github.com/yandex/ClickHouse/pull/2912)
+* При сборке с помощью clang добавлены некоторые warnings из `-Weverything` в дополнение к обычным `-Wall -Wextra -Werror`. [#2957](https://github.com/yandex/ClickHouse/pull/2957)
+* При debug сборке используется debug вариант `jemalloc`.
+* Абстрагирован интерфейс библиотеки для взаимодействия с ZooKeeper. [#2950](https://github.com/yandex/ClickHouse/pull/2950)
+
+
+## ClickHouse release 18.10.3, 2018-08-13
+
+### Новые возможности:
+* Возможность использования HTTPS для репликации. [#2760](https://github.com/yandex/ClickHouse/pull/2760)
+* Добавлены функции `murmurHash2_64`, `murmurHash3_32`, `murmurHash3_64`, `murmurHash3_128` в дополнение к имеющемуся `murmurHash2_32`. [#2791](https://github.com/yandex/ClickHouse/pull/2791)
+* Поддержка Nullable типов в ODBC драйвере ClickHouse (формат вывода `ODBCDriver2`) [#2834](https://github.com/yandex/ClickHouse/pull/2834)
+* Поддержка `UUID` в ключевых столбцах.
+
+### Улучшения:
+* Удаление кластеров без перезагрузки сервера при их удалении из конфигурационных файлов. [#2777](https://github.com/yandex/ClickHouse/pull/2777)
+* Удаление внешних словарей без перезагрузки сервера при их удалении из конфигурационных файлов. [#2779](https://github.com/yandex/ClickHouse/pull/2779)
+* Добавлена поддержка `SETTINGS` для движка таблиц `Kafka`. [Alexander Marshalov](https://github.com/yandex/ClickHouse/pull/2781)
+* Доработки для типа данных `UUID` (не полностью) Šimon Podlipský. [#2618](https://github.com/yandex/ClickHouse/pull/2618)
+* Поддежка пустых кусков после мержей в движках `SummingMergeTree`, `CollapsingMergeTree` and `VersionedCollapsingMergeTree`. [#2815](https://github.com/yandex/ClickHouse/pull/2815)
+* Удаление старых записей о полностью выполнившихся мутациях (`ALTER DELETE`) [#2784](https://github.com/yandex/ClickHouse/pull/2784)
+* Добавлена таблица `system.merge_tree_settings`. [Kirill Shvakov](https://github.com/yandex/ClickHouse/pull/2841)
+* В таблицу `system.tables` добавлены столбцы зависимостей: `dependencies_database` и `dependencies_table`. [Winter Zhang](https://github.com/yandex/ClickHouse/pull/2851)
+* Добавлена опция конфига `max_partition_size_to_drop`. [#2782](https://github.com/yandex/ClickHouse/pull/2782)
+* Добавлена настройка `output_format_json_escape_forward_slashes`. [Alexander Bocharov](https://github.com/yandex/ClickHouse/pull/2812)
+* Добавлена настройка `max_fetch_partition_retries_count`. [#2831](https://github.com/yandex/ClickHouse/pull/2831)
+* Добавлена настройка `prefer_localhost_replica`, позволяющая отключить предпочтение локальной реплики и хождение на локальную реплику без межпроцессного взаимодействия. [#2832](https://github.com/yandex/ClickHouse/pull/2832)
+* Агрегатная функция `quantileExact` возвращает `nan` в случае агрегации по пустому множеству `Float32`/`Float64` типов. [Sundy Li](https://github.com/yandex/ClickHouse/pull/2855)
+
+### Исправление ошибок:
+* Убрано излишнее экранирование параметров connection string для ODBC, котрое приводило к невозможности соединения. Ошибка возникла в версии 18.6.0.
+* Исправлена логика обработки команд на `REPLACE PARTITION` в очереди репликации. Неправильная логика могла приводить к тому, что при наличии двух `REPLACE` одной и той же партиции, один из них оставался в очереди репликации и не мог выполниться. [#2814](https://github.com/yandex/ClickHouse/pull/2814)
+* Исправлена ошибка при мерже, если все куски были пустыми (такие куски, в свою очередь, образуются при слиянии или при `ALTER DELETE` в случае удаления всех данных). Ошибка появилась в версии 18.1.0. [#2930](https://github.com/yandex/ClickHouse/pull/2930)
+* Исправлена ошибка при параллельной записи в таблицы типа `Set` или `Join`. [Amos Bird](https://github.com/yandex/ClickHouse/pull/2823)
+* Исправлена ошибка `Block structure mismatch in UNION stream: different number of columns`, возникающая при запросах с `UNION ALL` внутри подзапроса, в случае, если один из `SELECT` запросов содержит дублирующиеся имена столбцов. [Winter Zhang](https://github.com/yandex/ClickHouse/pull/2094)
+* Исправлена утечка памяти в случае исключения при соединении с MySQL сервером.
+* Исправлен некорректный код возврата clickhouse-client в случае ошибочного запроса
+* Исправлен некорректная работа materialized views, содержащих DISTINCT. [#2795](https://github.com/yandex/ClickHouse/issues/2795)
+
+### Обратно несовместимые изменения
+* Убрана поддержка запросов CHECK TABLE для Distributed таблиц.
+
+### Изменения сборки:
+* Заменен аллокатор, теперь используется `jemalloc` вместо `tcmalloc`. На некоторых сценариях ускорение достигает 20%. В то же время, существуют запросы, замедлившиеся до 20%. Потребление памяти на некоторых сценариях примерно на 10% меньше и более стабильно. При высококонкурентной нагрузке, потребление CPU в userspace и в system незначительно вырастает. [#2773](https://github.com/yandex/ClickHouse/pull/2773)
+* Использование libressl из submodule. [#1983](https://github.com/yandex/ClickHouse/pull/1983) [#2807](https://github.com/yandex/ClickHouse/pull/2807)
+* Использование unixodbc из submodule. [#2789](https://github.com/yandex/ClickHouse/pull/2789)
+* Использование mariadb-connector-c из submodule. [#2785](https://github.com/yandex/ClickHouse/pull/2785)
+* В репозиторий добавлены файлы функциональных тестов, рассчитывающих на наличие тестовых данных (пока без самих тестовых данных).
+
+
+## ClickHouse release 18.6.0, 2018-08-02
+
+### Новые возможности:
+* Добавлена поддержка ON выражений для JOIN ON синтаксиса:
+`JOIN ON Expr([table.]column, ...) = Expr([table.]column, ...) [AND Expr([table.]column, ...) = Expr([table.]column, ...) ...]`
+Выражение должно представлять из себя цепочку равенств, объединенных оператором AND. Каждая часть равенства может являться произвольным выражением над столбцами одной из таблиц. Поддержана возможность использования fully qualified имен столбцов (`table.name`, `database.table.name`, `table_alias.name`, `subquery_alias.name`) для правой таблицы. [#2742](https://github.com/yandex/ClickHouse/pull/2742)
+* Добавлена возможность включить HTTPS для репликации. [#2760](https://github.com/yandex/ClickHouse/pull/2760)
+
+### Улучшения:
+* Сервер передаёт на клиент также patch-компонент своей версии. Данные о patch компоненте версии добавлены в `system.processes` и `query_log`. [#2646](https://github.com/yandex/ClickHouse/pull/2646)
+
+
+## ClickHouse release 18.5.1, 2018-07-31
+
+### Новые возможности:
+* Добавлена функция хеширования `murmurHash2_32`. [#2756](https://github.com/yandex/ClickHouse/pull/2756).
+
+### Улучшения:
+* Добавлена возможность указывать значения в конфигурационных файлах из переменных окружения с помощью атрибута `from_env`. [#2741](https://github.com/yandex/ClickHouse/pull/2741).
+* Добавлены регистронезависимые версии функций `coalesce`, `ifNull`, `nullIf`. [#2752](https://github.com/yandex/ClickHouse/pull/2752).
+
+### Исправление ошибок:
+* Исправлена возможная ошибка при старте реплики. [#2759](https://github.com/yandex/ClickHouse/pull/2759).
+
+
+## ClickHouse release 18.4.0, 2018-07-28
+
+### Новые возможности:
+* Добавлены системные таблицы `formats`, `data_type_families`, `aggregate_function_combinators`, `table_functions`, `table_engines`, `collations` [#2721](https://github.com/yandex/ClickHouse/pull/2721).
+* Добавлена возможность использования табличной функции вместо таблицы в качестве аргумента табличной функции `remote` и `cluster` [#2708](https://github.com/yandex/ClickHouse/pull/2708).
+* Поддержка `HTTP Basic` аутентификации в протоколе репликации [#2727](https://github.com/yandex/ClickHouse/pull/2727).
+* В функции `has` добавлена возможность поиска в массиве значений типа `Enum` по числовому значению [Maxim Khrisanfov](https://github.com/yandex/ClickHouse/pull/2699).
+* Поддержка добавления произвольных разделителей сообщений в процессе чтения из `Kafka` [Amos Bird](https://github.com/yandex/ClickHouse/pull/2701).
+
+### Улучшения:
+* Запрос `ALTER TABLE t DELETE WHERE` не перезаписывает куски данных, которые не были затронуты условием WHERE [#2694](https://github.com/yandex/ClickHouse/pull/2694).
+* Настройка `use_minimalistic_checksums_in_zookeeper` таблиц семейства `ReplicatedMergeTree` включена по-умолчанию. Эта настройка была добавлена в версии 1.1.54378, 2018-04-16. Установка версий, более старых, чем 1.1.54378, становится невозможной.
+* Поддерживается запуск запросов `KILL` и `OPTIMIZE` с указанием `ON CLUSTER` [Winter Zhang](https://github.com/yandex/ClickHouse/pull/2689).
+
+### Исправление ошибок:
+* Исправлена ошибка `Column ... is not under aggregate function and not in GROUP BY` в случае агрегации по выражению с оператором IN. Ошибка появилась в версии 18.1.0. ([bbdd780b](https://github.com/yandex/ClickHouse/commit/bbdd780be0be06a0f336775941cdd536878dd2c2))
+* Исправлена ошибка в агрегатной функции `windowFunnel` [Winter Zhang](https://github.com/yandex/ClickHouse/pull/2735).
+* Исправлена ошибка в агрегатной функции `anyHeavy` ([a2101df2](https://github.com/yandex/ClickHouse/commit/a2101df25a6a0fba99aa71f8793d762af2b801ee))
+* Исправлено падение сервера при использовании функции `countArray()`.
+
+### Обратно несовместимые изменения:
+
+* Список параметров для таблиц `Kafka` был изменён с `Kafka(kafka_broker_list, kafka_topic_list, kafka_group_name, kafka_format[, kafka_schema, kafka_num_consumers])` на `Kafka(kafka_broker_list, kafka_topic_list, kafka_group_name, kafka_format[, kafka_row_delimiter, kafka_schema, kafka_num_consumers])`. Если вы использовали параметры `kafka_schema` или `kafka_num_consumers`, вам необходимо вручную отредактировать файлы с метаданными `path/metadata/database/table.sql`, добавив параметр `kafka_row_delimiter` со значением `''` в соответствующее место.
+
+
+## ClickHouse release 18.1.0, 2018-07-23
+
+### Новые возможности:
+* Поддержка запроса `ALTER TABLE t DELETE WHERE` для нереплицированных MergeTree-таблиц ([#2634](https://github.com/yandex/ClickHouse/pull/2634)).
+* Поддержка произвольных типов для семейства агрегатных функций `uniq*` ([#2010](https://github.com/yandex/ClickHouse/issues/2010)).
+* Поддержка произвольных типов в операторах сравнения ([#2026](https://github.com/yandex/ClickHouse/issues/2026)).
+* Возможность в `users.xml` указывать маску подсети в формате `10.0.0.1/255.255.255.0`. Это необходимо для использования "дырявых" масок IPv6 сетей ([#2637](https://github.com/yandex/ClickHouse/pull/2637)).
+* Добавлена функция `arrayDistinct` ([#2670](https://github.com/yandex/ClickHouse/pull/2670)).
+* Движок SummingMergeTree теперь может работать со столбцами типа AggregateFunction ([Constantin S. Pan](https://github.com/yandex/ClickHouse/pull/2566)).
+
+### Улучшения:
+* Изменена схема версионирования релизов. Теперь первый компонент содержит год релиза (A.D.; по московскому времени; из номера вычитается 2000), второй - номер крупных изменений (увеличивается для большинства релизов), третий - патч-версия. Релизы по-прежнему обратно совместимы, если другое не указано в changelog.
+* Ускорено преобразование чисел с плавающей точкой в строку ([Amos Bird](https://github.com/yandex/ClickHouse/pull/2664)).
+* Теперь, если при вставке из-за ошибок парсинга пропущено некоторое количество строк (такое возможно про включённых настройках `input_allow_errors_num`, `input_allow_errors_ratio`), это количество пишется в лог сервера ([Leonardo Cecchi](https://github.com/yandex/ClickHouse/pull/2669)).
+
+### Исправление ошибок:
+* Исправлена работа команды TRUNCATE для временных таблиц ([Amos Bird](https://github.com/yandex/ClickHouse/pull/2624)).
+* Исправлен редкий deadlock в клиентской библиотеке ZooKeeper, который возникал при сетевой ошибке во время вычитывания ответа ([c315200](https://github.com/yandex/ClickHouse/commit/c315200e64b87e44bdf740707fc857d1fdf7e947)).
+* Исправлена ошибка при CAST в Nullable типы ([#1322](https://github.com/yandex/ClickHouse/issues/1322)).
+* Исправлен неправильный результат функции `maxIntersection()` в случае совпадения границ отрезков ([Michael Furmur](https://github.com/yandex/ClickHouse/pull/2657)).
+* Исправлено неверное преобразование цепочки OR-выражений в аргументе функции ([chenxing-xc](https://github.com/yandex/ClickHouse/pull/2663)).
+* Исправлена деградация производительности запросов, содержащих выражение `IN (подзапрос)` внутри другого подзапроса ([#2571](https://github.com/yandex/ClickHouse/issues/2571)).
+* Исправлена несовместимость серверов разных версий при распределённых запросах, использующих функцию `CAST` не в верхнем регистре ([fe8c4d6](https://github.com/yandex/ClickHouse/commit/fe8c4d64e434cacd4ceef34faa9005129f2190a5)).
+* Добавлено недостающее квотирование идентификаторов при запросах к внешним СУБД ([#2635](https://github.com/yandex/ClickHouse/issues/2635)).
+
+### Обратно несовместимые изменения:
+* Не работает преобразование строки, содержащей число ноль, в DateTime. Пример: `SELECT toDateTime('0')`. По той же причине не работает `DateTime DEFAULT '0'` в таблицах, а также `<null_value>0</null_value>` в словарях. Решение: заменить `0` на `0000-00-00 00:00:00`.
+
+
+## ClickHouse release 1.1.54394, 2018-07-12
+
+### Новые возможности:
+* Добавлена агрегатная функция `histogram` ([Михаил Сурин](https://github.com/yandex/ClickHouse/pull/2521)).
+* Возможность использования `OPTIMIZE TABLE ... FINAL` без указания партиции для `ReplicatedMergeTree` ([Amos Bird](https://github.com/yandex/ClickHouse/pull/2600)).
+
+### Исправление ошибок:
+* Исправлена ошибка - выставление слишком маленького таймаута у сокетов (одна секунда) для чтения и записи при отправке и скачивании реплицируемых данных, что приводило к невозможности скачать куски достаточно большого размера при наличии некоторой нагрузки на сеть или диск (попытки скачивания кусков циклически повторяются). Ошибка возникла в версии 1.1.54388.
+* Исправлена работа при использовании chroot в ZooKeeper, в случае вставки дублирующихся блоков данных в таблицу.
+* Исправлена работа функции `has` для случая массива с Nullable элементами ([#2115](https://github.com/yandex/ClickHouse/issues/2521)).
+* Исправлена работа таблицы `system.tables` при её использовании в распределённых запросах; столбцы `metadata_modification_time` и `engine_full` сделаны невиртуальными; исправлена ошибка в случае, если из таблицы были запрошены только эти столбцы.
+* Исправлена работа пустой таблицы типа `TinyLog` после вставки в неё пустого блока данных ([#2563](https://github.com/yandex/ClickHouse/issues/2563)).
+* Таблица `system.zookeeper` работает в случае, если значение узла в ZooKeeper равно NULL.
+
+
+## ClickHouse release 1.1.54390, 2018-07-06
+
+### Новые возможности:
+* Возможность отправки запроса в формате `multipart/form-data` (в поле `query`), что полезно, если при этом также отправляются внешние данные для обработки запроса ([Ольга Хвостикова](https://github.com/yandex/ClickHouse/pull/2490)).
+* Добавлена возможность включить или отключить обработку одинарных или двойных кавычек при чтении данных в формате CSV. Это задаётся настройками `format_csv_allow_single_quotes` и `format_csv_allow_double_quotes` ([Amos Bird](https://github.com/yandex/ClickHouse/pull/2574))
+* Возможность использования `OPTIMIZE TABLE ... FINAL` без указания партиции для не реплицированных вариантов`MergeTree` ([Amos Bird](https://github.com/yandex/ClickHouse/pull/2599)).
+
+### Улучшения:
+* Увеличена производительность, уменьшено потребление памяти, добавлен корректный учёт потребления памяти, при использовании оператора IN в случае, когда для его работы может использоваться индекс таблицы ([#2584](https://github.com/yandex/ClickHouse/pull/2584)).
+* Убраны избыточные проверки чексумм при добавлении куска. Это важно в случае большого количества реплик, так как в этом случае суммарное количество проверок было равно N^2.
+* Добавлена поддержка аргументов типа `Array(Tuple(...))` для функции `arrayEnumerateUniq` ([#2573](https://github.com/yandex/ClickHouse/pull/2573)).
+* Добавлена поддержка `Nullable` для функции `runningDifference`. ([#2594](https://github.com/yandex/ClickHouse/pull/2594))
+* Увеличена производительность анализа запроса в случае очень большого количества выражений ([#2572](https://github.com/yandex/ClickHouse/pull/2572)).
+* Более быстрый выбор кусков для слияния в таблицах типа `ReplicatedMergeTree`. Более быстрое восстановление сессии с ZooKeeper. ([#2597](https://github.com/yandex/ClickHouse/pull/2597)).
+* Файл `format_version.txt` для таблиц семейства `MergeTree` создаётся заново при его отсутствии, что имеет смысл в случае запуска ClickHouse после копирования структуры директорий без файлов ([Ciprian Hacman](https://github.com/yandex/ClickHouse/pull/2593)).
+
+### Исправление ошибок:
+* Исправлена ошибка при работе с ZooKeeper, которая могла приводить к невозможности восстановления сессии и readonly состояниям таблиц до перезапуска сервера.
+* Исправлена ошибка при работе с ZooKeeper, которая могла приводить к неудалению старых узлов при разрыве сессии.
+* Исправлена ошибка в функции `quantileTDigest` для Float аргументов (ошибка появилась в версии 1.1.54388) ([Михаил Сурин](https://github.com/yandex/ClickHouse/pull/2553)).
+* Исправлена ошибка работы индекса таблиц типа MergeTree, если в условии, столбец первичного ключа расположен внутри функции преобразования типов между знаковым и беззнаковым целым одного размера ([#2603](https://github.com/yandex/ClickHouse/pull/2603)).
+* Исправлен segfault, если в конфигурационном файле нет `macros`, но они используются ([#2570](https://github.com/yandex/ClickHouse/pull/2570)).
+* Исправлено переключение на базу данных по-умолчанию при переподключении клиента ([#2583](https://github.com/yandex/ClickHouse/pull/2583)).
+* Исправлена ошибка в случае отключенной настройки `use_index_for_in_with_subqueries`.
+
+### Исправления безопасности:
+* При соединениях с MySQL удалена возможность отправки файлов (`LOAD DATA LOCAL INFILE`).
+
+
+## ClickHouse release 1.1.54388, 2018-06-28
+
+### Новые возможности:
+* Добавлена поддержка запроса `ALTER TABLE t DELETE WHERE` для реплицированных таблиц и таблица `system.mutations`.
+* Добавлена поддержка запроса `ALTER TABLE t [REPLACE|ATTACH] PARTITION` для *MergeTree-таблиц.
+* Добавлена поддержка запроса `TRUNCATE TABLE` ([Winter Zhang](https://github.com/yandex/ClickHouse/pull/2260))
+* Добавлено несколько новых `SYSTEM`-запросов для реплицированных таблиц (`RESTART REPLICAS`, `SYNC REPLICA`, `[STOP|START] [MERGES|FETCHES|REPLICATED SENDS|REPLICATION QUEUES]`).
+* Добавлена возможность записи в таблицу с движком MySQL и соответствующую табличную функцию ([sundy-li](https://github.com/yandex/ClickHouse/pull/2294)).
+* Добавлена табличная функция `url()` и движок таблиц `URL` ([Александр Сапин](https://github.com/yandex/ClickHouse/pull/2501)).
+* Добавлена агрегатная функция `windowFunnel` ([sundy-li](https://github.com/yandex/ClickHouse/pull/2352)).
+* Добавлены функции `startsWith` и `endsWith` для строк ([Вадим Плахтинский](https://github.com/yandex/ClickHouse/pull/2429)).
+* В табличной функции `numbers()` добавлена возможность указывать offset ([Winter Zhang](https://github.com/yandex/ClickHouse/pull/2535)).
+* Добавлена возможность интерактивного ввода пароля в `clickhouse-client`.
+* Добавлена возможность отправки логов сервера в syslog ([Александр Крашенинников](https://github.com/yandex/ClickHouse/pull/2459)).
+* Добавлена поддержка логирования в словарях с источником shared library ([Александр Сапин](https://github.com/yandex/ClickHouse/pull/2472)).
+* Добавлена поддержка произвольного разделителя в формате CSV ([Иван Жуков](https://github.com/yandex/ClickHouse/pull/2263))
+* Добавлена настройка `date_time_input_format`. Если переключить эту настройку в значение `'best_effort'`, значения DateTime будут читаться в широком диапазоне форматов.
+* Добавлена утилита `clickhouse-obfuscator` для обфускации данных. Пример использования: публикация данных, используемых в тестах производительности.
+
+### Экспериментальные возможности:
+* Добавлена возможность вычислять аргументы функции `and` только там, где они нужны ([Анастасия Царькова](https://github.com/yandex/ClickHouse/pull/2272))
+* Добавлена возможность JIT-компиляции в нативный код некоторых выражений ([pyos](https://github.com/yandex/ClickHouse/pull/2277)).
+
+### Исправление ошибок:
+* Исправлено появление дублей в запросе с `DISTINCT` и `ORDER BY`.
+* Запросы с `ARRAY JOIN` и `arrayFilter` раньше возвращали некорректный результат.
+* Исправлена ошибка при чтении столбца-массива из Nested-структуры ([#2066](https://github.com/yandex/ClickHouse/issues/2066)).
+* Исправлена ошибка при анализе запросов с секцией HAVING вида `HAVING tuple IN (...)`.
+* Исправлена ошибка при анализе запросов с рекурсивными алиасами.
+* Исправлена ошибка при чтении из ReplacingMergeTree с условием в PREWHERE, фильтрующим все строки ([#2525](https://github.com/yandex/ClickHouse/issues/2525)).
+* Настройки профиля пользователя не применялись при использовании сессий в HTTP-интерфейсе.
+* Исправлено применение настроек из параметров командной строки в программе clickhouse-local.
+* Клиентская библиотека ZooKeeper теперь использует таймаут сессии, полученный от сервера.
+* Исправлена ошибка в клиентской библиотеке ZooKeeper, из-за которой ожидание ответа от сервера могло длиться дольше таймаута.
+* Исправлено отсечение ненужных кусков при запросе с условием на столбцы ключа партиционирования ([#2342](https://github.com/yandex/ClickHouse/issues/2342)).
+* После `CLEAR COLUMN IN PARTITION` в соответствующей партиции теперь возможны слияния ([#2315](https://github.com/yandex/ClickHouse/issues/2315)).
+* Исправлено соответствие типов в табличной функции ODBC ([sundy-li](https://github.com/yandex/ClickHouse/pull/2268)).
+* Исправлено некорректное сравнение типов `DateTime` с таймзоной и без неё ([Александр Бочаров](https://github.com/yandex/ClickHouse/pull/2400)).
+* Исправлен синтаксический разбор и форматирование оператора `CAST`.
+* Исправлена вставка в материализованное представление в случае, если движок таблицы представления - Distributed ([Babacar Diassé](https://github.com/yandex/ClickHouse/pull/2411)).
+* Исправлен race condition при записи данных из движка `Kafka` в материализованные представления ([Yangkuan Liu](https://github.com/yandex/ClickHouse/pull/2448)).
+* Исправлена SSRF в табличной функции remote().
+* Исправлен выход из `clickhouse-client` в multiline-режиме ([#2510](https://github.com/yandex/ClickHouse/issues/2510)).
+
+### Улучшения:
+* Фоновые задачи в реплицированных таблицах теперь выполняются не в отдельных потоках, а в пуле потоков ([Silviu Caragea](https://github.com/yandex/ClickHouse/pull/1722))
+* Улучшена производительность разжатия LZ4.
+* Ускорен анализ запроса с большим числом JOIN-ов и подзапросов.
+* DNS-кэш теперь автоматически обновляется при большом числе сетевых ошибок.
+* Вставка в таблицу теперь не происходит, если вставка в одно из её материализованных представлений невозможна из-за того, что в нём много кусков.
+* Исправлено несоответствие в значениях счётчиков событий `Query`, `SelectQuery`, `InsertQuery`.
+* Разрешены выражения вида `tuple IN (SELECT tuple)`, если типы кортежей совпадают.
+* Сервер с реплицированными таблицами теперь может стартовать, даже если не сконфигурирован ZooKeeper.
+* При расчёте количества доступных ядер CPU теперь учитываются ограничения cgroups ([Atri Sharma](https://github.com/yandex/ClickHouse/pull/2325)).
+* Добавлен chown директорий конфигов в конфигурационном файле systemd ([Михаил Ширяев](https://github.com/yandex/ClickHouse/pull/2421)).
+
+### Изменения сборки:
+* Добавлена возможность сборки компилятором gcc8.
+* Добавлена возможность сборки llvm из submodule.
+* Используемая версия библиотеки librdkafka обновлена до v0.11.4.
+* Добавлена возможность использования библиотеки libcpuid из системы, используемая версия библиотеки обновлена до 0.4.0.
+* Исправлена сборка с использованием библиотеки vectorclass ([Babacar Diassé](https://github.com/yandex/ClickHouse/pull/2274)).
+* Cmake теперь по умолчанию генерирует файлы для ninja (как при использовании `-G Ninja`).
+* Добавлена возможность использования библиотеки libtinfo вместо libtermcap ([Георгий Кондратьев](https://github.com/yandex/ClickHouse/pull/2519)).
+* Исправлен конфликт заголовочных файлов в Fedora Rawhide ([#2520](https://github.com/yandex/ClickHouse/issues/2520)).
+
+### Обратно несовместимые изменения:
+* Убран escaping в форматах `Vertical` и `Pretty*`, удалён формат `VerticalRaw`.
+* Если в распределённых запросах одновременно участвуют серверы версии 1.1.54388 или новее и более старые, то при использовании выражения `cast(x, 'Type')`, записанного без указания `AS`, если слово `cast` указано не в верхнем регистре, возникает ошибка вида `Not found column cast(0, 'UInt8') in block`. Решение: обновить сервер на всём кластере.
+
+
+## ClickHouse release 1.1.54385, 2018-06-01
+### Исправление ошибок:
+* Исправлена ошибка, которая в некоторых случаях приводила к блокировке операций с ZooKeeper.
+
+## ClickHouse release 1.1.54383, 2018-05-22
+### Исправление ошибок:
+* Исправлена деградация скорости выполнения очереди репликации при большом количестве реплик
+
+## ClickHouse release 1.1.54381, 2018-05-14
+
+### Исправление ошибок:
+* Исправлена ошибка, приводящая к "утеканию" метаданных в ZooKeeper при потере соединения с сервером ZooKeeper.
+
+## ClickHouse release 1.1.54380, 2018-04-21
+
+### Новые возможности:
+* Добавлена табличная функция `file(path, format, structure)`. Пример, читающий байты из `/dev/urandom`: `ln -s /dev/urandom /var/lib/clickhouse/user_files/random` `clickhouse-client -q "SELECT * FROM file('random', 'RowBinary', 'd UInt8') LIMIT 10"`.
+
+### Улучшения:
+* Добавлена возможность оборачивать подзапросы скобками `()` для повышения читаемости запросов. Например: `(SELECT 1) UNION ALL (SELECT 1)`.
+* Простые запросы `SELECT` из таблицы `system.processes` не учитываются в ограничении `max_concurrent_queries`.
+
+### Исправление ошибок:
+* Исправлена неправильная работа оператора `IN` в `MATERIALIZED VIEW`.
+* Исправлена неправильная работа индекса по ключу партиционирования в выражениях типа `partition_key_column IN (...)`.
+* Исправлена невозможность выполнить `OPTIMIZE` запрос на лидирующей реплике после выполнения `RENAME` таблицы.
+* Исправлены ошибки авторизации возникающие при выполнении запросов `OPTIMIZE` и `ALTER` на нелидирующей реплике.
+* Исправлены зависания запросов `KILL QUERY`.
+* Исправлена ошибка в клиентской библиотеке ZooKeeper, которая при использовании непустого префикса `chroot` в конфигурации приводила к потере watch'ей, остановке очереди distributed DDL запросов и замедлению репликации.
+
+### Обратно несовместимые изменения:
+* Убрана поддержка выражений типа `(a, b) IN (SELECT (a, b))` (можно использовать эквивалентные выражение `(a, b) IN (SELECT a, b)`). Раньше такие запросы могли приводить к недетерминированной фильтрации в `WHERE`.
+
+
+## ClickHouse release 1.1.54378, 2018-04-16
+
+### Новые возможности:
+
+* Возможность изменения уровня логгирования без перезагрузки сервера.
+* Добавлен запрос `SHOW CREATE DATABASE`.
+* Возможность передать `query_id` в `clickhouse-client` (elBroom).
+* Добавлена настройка `max_network_bandwidth_for_all_users`.
+* Добавлена поддержка `ALTER TABLE ... PARTITION ... ` для `MATERIALIZED VIEW`.
+* Добавлена информация о размере кусков данных в несжатом виде в системные таблицы.
+* Поддержка межсерверного шифрования для distributed таблиц (`<secure>1</secure>` в конфигурации реплики в `<remote_servers>`).
+* Добавлена настройка уровня таблицы семейства `ReplicatedMergeTree` для уменьшения объема данных, хранимых в zookeeper: `use_minimalistic_checksums_in_zookeeper = 1`
+* Возможность настройки приглашения `clickhouse-client`. По-умолчанию добавлен вывод имени сервера в приглашение. Возможность изменить отображаемое имя сервера. Отправка его в HTTP заголовке `X-ClickHouse-Display-Name` (Kirill Shvakov).
+* Возможность указания нескольких `topics` через запятую для движка `Kafka` (Tobias Adamson)
+* При остановке запроса по причине `KILL QUERY` или `replace_running_query`, клиент получает исключение `Query was cancelled` вместо неполного результата.
+
+### Улучшения:
+
+* Запросы вида `ALTER TABLE ... DROP/DETACH PARTITION` выполняются впереди очереди репликации.
+* Возможность использовать `SELECT ... FINAL` и `OPTIMIZE ... FINAL` даже в случае, если данные в таблице представлены одним куском.
+* Пересоздание таблицы `query_log` налету в случае если было произведено её удаление вручную (Kirill Shvakov).
+* Ускорение функции `lengthUTF8` (zhang2014).
+* Улучшена производительность синхронной вставки в `Distributed` таблицы (`insert_distributed_sync = 1`) в случае очень большого количества шардов.
+* Сервер принимает настройки `send_timeout` и `receive_timeout` от клиента и применяет их на своей стороне для соединения с клиентом (в переставленном порядке: `send_timeout` у сокета на стороне сервера выставляется в значение `receive_timeout` принятое от клиента, и наоборот).
+* Более надёжное восстановление после сбоев при асинхронной вставке в `Distributed` таблицы.
+* Возвращаемый тип функции `countEqual` изменён с `UInt32` на `UInt64` (谢磊)
+
+### Исправление ошибок:
+
+* Исправлена ошибка c `IN` где левая часть выражения `Nullable`.
+* Исправлен неправильный результат при использовании кортежей с `IN` в случае, если часть компоненнтов кортежа есть в индексе таблицы.
+* Исправлена работа ограничения `max_execution_time` с распределенными запросами.
+* Исправлены ошибки при вычислении размеров составных столбцов в таблице `system.columns`.
+* Исправлена ошибка при создании временной таблицы `CREATE TEMPORARY TABLE IF NOT EXISTS`
+* Исправлены ошибки в `StorageKafka` (#2075)
+* Исправлены падения сервера от некорректных аргументов некоторых аггрегатных функций.
+* Исправлена ошибка, из-за которой запрос `DETACH DATABASE` мог не приводить к остановке фоновых задач таблицы типа `ReplicatedMergeTree`.
+* Исправлена проблема с появлением `Too many parts` в агрегирующих материализованных представлениях (#2084).
+* Исправлена рекурсивная обработка подстановок в конфиге, если после одной подстановки, требуется другая подстановка на том же уровне.
+* Исправлена ошибка с неправильным синтаксисом в файле с метаданными при создании `VIEW`, использующих запрос с `UNION ALL`.
+* Исправлена работа `SummingMergeTree` в случае суммирования вложенных структур данных с составным ключом.
+* Исправлена возможность возникновения race condition при выборе лидера таблиц `ReplicatedMergeTree`.
+
+### Изменения сборки:
+
+* Поддержка `ninja` вместо `make` при сборке. `ninja` используется по-умолчанию при сборке релизов.
+* Переименованы пакеты `clickhouse-server-base` в `clickhouse-common-static`; `clickhouse-server-common` в `clickhouse-server`; `clickhouse-common-dbg` в `clickhouse-common-static-dbg`. Для установки используйте `clickhouse-server clickhouse-client`. Для совместимости, пакеты со старыми именами продолжают загружаться в репозиторий.
+
+### Обратно несовместимые изменения:
+
+* Удалена специальная интерпретация выражения IN, если слева указан массив. Ранее выражение вида `arr IN (set)` воспринималось как "хотя бы один элемент `arr` принадлежит множеству `set`". Для получения такого же поведения в новой версии, напишите `arrayExists(x -> x IN (set), arr)`.
+* Отключено ошибочное использование опции сокета `SO_REUSEPORT` (которая по ошибке включена по-умолчанию в библиотеке Poco). Стоит обратить внимание, что на Linux системах теперь не имеет смысла указывать одновременно адреса `::` и `0.0.0.0` для listen - следует использовать лишь адрес `::`, который (с настройками ядра по-умолчанию) позволяет слушать соединения как по IPv4 так и по IPv6. Также вы можете вернуть поведение старых версий, указав в конфиге `<listen_reuse_port>1</listen_reuse_port>`.
+
+
+## ClickHouse release 1.1.54370, 2018-03-16
+
+### Новые возможности:
 
 * Добавлена системная таблица `system.macros` и автоматическое обновление макросов при изменении конфигурационного файла.
 * Добавлен запрос `SYSTEM RELOAD CONFIG`.
 * Добавлена агрегатная функция `maxIntersections(left_col, right_col)`, возвращающая максимальное количество одновременно пересекающихся интервалов `[left; right]`. Функция `maxIntersectionsPosition(left, right)` возвращает начало такого "максимального" интервала. ([Michael Furmur](https://github.com/yandex/ClickHouse/pull/2012)).
 
-## Улучшения:
+### Улучшения:
 
 * При вставке данных в `Replicated`-таблицу делается меньше обращений к `ZooKeeper` (также из лога `ZooKeeper` исчезло большинство user-level ошибок).
 * Добавлена возможность создавать алиасы для множеств. Пример: `WITH (1, 2, 3) AS set SELECT number IN set FROM system.numbers LIMIT 10`.
 
-## Исправление ошибок:
+### Исправление ошибок:
 
 * Исправлена ошибка `Illegal PREWHERE` при чтении из Merge-таблицы над `Distributed`-таблицами.
 * Добавлены исправления, позволяющие запускать clickhouse-server в IPv4-only docker-контейнерах.
@@ -26,9 +642,9 @@
 * Устранено ненужное Error-level логирование `Not found column ... in block`.
 
 
-# Релиз ClickHouse 1.1.54362, 2018-03-11
+## Релиз ClickHouse 1.1.54362, 2018-03-11
 
-## Новые возможности:
+### Новые возможности:
 
 * Агрегация без `GROUP BY` по пустому множеству (как например, `SELECT count(*) FROM table WHERE 0`) теперь возвращает результат из одной строки с нулевыми значениями агрегатных функций, в соответствии со стандартом SQL. Вы можете вернуть старое поведение (возвращать пустой результат), выставив настройку `empty_result_for_aggregation_by_empty_set` в значение 1.
 * Добавлено приведение типов при `UNION ALL`. Допустимо использование столбцов с разными алиасами в соответствующих позициях `SELECT` в `UNION ALL`, что соответствует стандарту SQL.
@@ -66,7 +682,7 @@
 * Добавлена настройка `odbc_default_field_size`, позволяющая расширить максимальный размер значения, загружаемого из ODBC источника (по-умолчанию - 1024).
 * В таблицу `system.processes` и в `SHOW PROCESSLIST` добавлены столбцы `is_cancelled` и `peak_memory_usage`.
 
-## Улучшения:
+### Улучшения:
 
 * Ограничения на результат и квоты на результат теперь не применяются к промежуточным данным для запросов `INSERT SELECT` и для подзапросов в `SELECT`.
 * Уменьшено количество ложных срабатываний при проверке состояния `Replicated` таблиц при запуске сервера, приводивших к необходимости выставления флага `force_restore_data`.
@@ -82,7 +698,7 @@
 * Значения типа `Enum` можно использовать в функциях `min`, `max`, `sum` и некоторых других - в этих случаях используются соответствующие числовые значения. Эта возможность присутствовала ранее, но была потеряна в релизе 1.1.54337.
 * Добавлено ограничение `max_expanded_ast_elements` действующее на размер AST после рекурсивного раскрытия алиасов.
 
-## Исправление ошибок:
+### Исправление ошибок:
 
 * Исправлены случаи ошибочного удаления ненужных столбцов из подзапросов, а также отсутствие удаления ненужных столбцов из подзапросов, содержащих `UNION ALL`.
 * Исправлена ошибка в слияниях для таблиц типа `ReplacingMergeTree`.
@@ -110,19 +726,19 @@
 * Запрещено использование запросов с `UNION ALL` в `MATERIALIZED VIEW`.
 * Исправлена ошибка, которая может возникать при инициализации системной таблицы `part_log` при старте сервера (по-умолчанию `part_log` выключен).
 
-## Обратно несовместимые изменения:
+### Обратно несовместимые изменения:
 
 * Удалена настройка `distributed_ddl_allow_replicated_alter`. Соответствующее поведение включено по-умолчанию.
 * Удалена настройка `strict_insert_defaults`. Если вы использовали эту функциональность, напишите на `clickhouse-feedback@yandex-team.com`.
 * Удалён движок таблиц `UnsortedMergeTree`.
 
-# Релиз ClickHouse 1.1.54343, 2018-02-05
+## Релиз ClickHouse 1.1.54343, 2018-02-05
 
 * Добавлена возможность использовать макросы при задании имени кластера в распределенных DLL запросах и создании Distributed-таблиц: `CREATE TABLE distr ON CLUSTER '{cluster}' (...) ENGINE = Distributed('{cluster}', 'db', 'table')`.
 * Теперь при вычислении запросов вида `SELECT ... FROM table WHERE expr IN (subquery)` используется индекс таблицы `table`.
 * Улучшена обработка дубликатов при вставке в Replicated-таблицы, теперь они не приводят к излишнему замедлению выполнения очереди репликации.
 
-# Релиз ClickHouse 1.1.54342, 2018-01-22
+## Релиз ClickHouse 1.1.54342, 2018-01-22
 
 Релиз содержит исправление к предыдущему релизу 1.1.54337:
 * Исправлена регрессия в версии 1.1.54337: если пользователь по-умолчанию имеет readonly доступ, то сервер отказывался стартовать с сообщением `Cannot create database in readonly mode`.
@@ -133,9 +749,9 @@
 * Таблицы типа Buffer теперь работают при наличии MATERIALIZED столбцов в таблице назначения (by zhang2014).
 * Исправлена одна из ошибок в реализации NULL.
 
-# Релиз ClickHouse 1.1.54337, 2018-01-18
+## Релиз ClickHouse 1.1.54337, 2018-01-18
 
-## Новые возможности:
+### Новые возможности:
 
 * Добавлена поддержка хранения многомерных массивов и кортежей (тип данных `Tuple`) в таблицах.
 * Поддержка табличных функций для запросов `DESCRIBE` и `INSERT`. Поддержка подзапроса в запросе `DESCRIBE`. Примеры: `DESC TABLE remote('host', default.hits)`; `DESC TABLE (SELECT 1)`; `INSERT INTO TABLE FUNCTION remote('host', default.hits)`. Возможность писать `INSERT INTO TABLE` вместо `INSERT INTO`.
@@ -164,9 +780,9 @@
 * Добавлена поддержка `ALTER` для таблиц типа `Null` (Anastasiya Tsarkova).
 * Функция `reinterpretAsString` расширена на все типы данных, значения которых хранятся в памяти непрерывно.
 * Для программы `clickhouse-local` добавлена опция `--silent` для подавления вывода информации о выполнении запроса в stderr.
-* Добавлена поддержка чтения `Date` в текстовом виде в формате, где месяц и день месяца могут быть указаны одной цифрой вместо двух (Amos Bird).
+* Добавлена поддержка чтения `Date` в текстовом виде в формате, где месяц и день месяца могут быть указаны одной цифрой вместо двух (Amos Bird).
 
-## Увеличение производительности:
+### Увеличение производительности:
 
 * Увеличена производительность агрегатных функций `min`, `max`, `any`, `anyLast`, `anyHeavy`, `argMin`, `argMax` от строковых аргументов.
 * Увеличена производительность функций `isInfinite`, `isFinite`, `isNaN`, `roundToExp2`.
@@ -175,7 +791,7 @@
 * Уменьшено потребление памяти при `JOIN`, если левая и правая часть содержали столбцы с одинаковым именем, не входящие в `USING`.
 * Увеличена производительность агрегатных функций `varSamp`, `varPop`, `stddevSamp`, `stddevPop`, `covarSamp`, `covarPop`, `corr` за счёт уменьшения стойкости к вычислительной погрешности. Старые версии функций добавлены под именами `varSampStable`, `varPopStable`, `stddevSampStable`, `stddevPopStable`, `covarSampStable`, `covarPopStable`, `corrStable`.
 
-## Исправления ошибок:
+### Исправления ошибок:
 
 * Исправлена работа дедупликации блоков после `DROP` или `DETATH PARTITION`. Раньше удаление партиции и вставка тех же самых данных заново не работала, так как вставленные заново блоки считались дубликатами.
 * Исправлена ошибка, в связи с которой может неправильно обрабатываться `WHERE` для запросов на создание `MATERIALIZED VIEW` с указанием `POPULATE`.
@@ -185,7 +801,7 @@
 * Добавлена недостающая поддержка типа данных `UUID` для `DISTINCT`, `JOIN`, в агрегатных функциях `uniq` и во внешних словарях (Иванов Евгений). Поддержка `UUID` всё ещё остаётся не полной.
 * Исправлено поведение `SummingMergeTree` для строк, в которых все значения после суммирования равны нулю.
 * Многочисленные доработки для движка таблиц `Kafka` (Marek Vavruša).
-* Исправлена некорректная работа движка таблиц `Join` (Amos Bird).
+* Исправлена некорректная работа движка таблиц `Join` (Amos Bird).
 * Исправлена работа аллокатора под FreeBSD и OS X.
 * Функция `extractAll` теперь может доставать пустые вхождения.
 * Исправлена ошибка, не позволяющая подключить при сборке `libressl` вместо `openssl`.
@@ -209,12 +825,12 @@
 * Исправлена работа `DISTINCT` при условии, что все столбцы константные.
 * Исправлено форматирование запроса в случае наличия функции `tupleElement` со сложным константным выражением в качестве номера элемента.
 * Исправлена работа `Dictionary` таблиц для словарей типа `range_hashed`.
-* Исправлена ошибка, приводящая к появлению лишних строк при `FULL` и `RIGHT JOIN` (Amos Bird).
+* Исправлена ошибка, приводящая к появлению лишних строк при `FULL` и `RIGHT JOIN` (Amos Bird).
 * Исправлено падение сервера в случае создания и удаления временных файлов в `config.d` директориях в момент перечитывания конфигурации.
 * Исправлена работа запроса `SYSTEM DROP DNS CACHE`: ранее сброс DNS кэша не приводил к повторному резолвингу имён хостов кластера.
 * Исправлено поведение `MATERIALIZED VIEW` после `DETACH TABLE` таблицы, на которую он смотрит (Marek Vavruša).
 
-## Улучшения сборки:
+### Улучшения сборки:
 
 * Для сборки используется `pbuilder`. Сборка максимально независима от окружения на сборочной машине.
 * Для разных версий систем выкладывается один и тот же пакет, который совместим с широким диапазоном Linux систем.
@@ -228,27 +844,27 @@
 * Удалено использование расширений GNU из кода и включена опция `-Wextra`. При сборке с помощью `clang` по-умолчанию используется `libc++` вместо `libstdc++`.
 * Выделены библиотеки `clickhouse_parsers` и `clickhouse_common_io` для более быстрой сборки утилит.
 
-## Обратно несовместимые изменения:
+### Обратно несовместимые изменения:
 
 * Формат засечек (marks) для таблиц типа `Log`, содержащих `Nullable` столбцы, изменён обратно-несовместимым образом. В случае наличия таких таблиц, вы можете преобразовать их в `TinyLog` до запуска новой версии сервера. Для этого в соответствующем таблице файле `.sql` в директории `metadata`, замените `ENGINE = Log` на `ENGINE = TinyLog`. Если в таблице нет `Nullable` столбцов или тип таблицы не `Log`, то ничего делать не нужно.
 * Удалена настройка `experimental_allow_extended_storage_definition_syntax`. Соответствующая функциональность включена по-умолчанию.
 * Функция `runningIncome` переименована в `runningDifferenceStartingWithFirstValue` во избежание путаницы.
-* Удалена возможность написания `FROM ARRAY JOIN arr` без указания таблицы после FROM (Amos Bird).
+* Удалена возможность написания `FROM ARRAY JOIN arr` без указания таблицы после FROM (Amos Bird).
 * Удалён формат `BlockTabSeparated`, использовавшийся лишь для демонстрационных целей.
 * Изменён формат состояния агрегатных функций `varSamp`, `varPop`, `stddevSamp`, `stddevPop`, `covarSamp`, `covarPop`, `corr`. Если вы использовали эти состояния для хранения в таблицах (тип данных `AggregateFunction` от этих функций или материализованные представления, хранящие эти состояния), напишите на clickhouse-feedback@yandex-team.com.
 * В предыдущих версиях существовала недокументированная возможность: в типе данных AggregateFunction можно было не указывать параметры для агрегатной функции, которая зависит от параметров. Пример: `AggregateFunction(quantiles, UInt64)` вместо `AggregateFunction(quantiles(0.5, 0.9), UInt64)`. Эта возможность потеряна. Не смотря на то, что возможность не документирована, мы собираемся вернуть её в ближайших релизах.
 * Значения типа данных Enum не могут быть переданы в агрегатные функции min/max. Возможность будет возвращена обратно в следующем релизе.
 
-## На что обратить внимание при обновлении:
+### На что обратить внимание при обновлении:
 * При обновлении кластера, на время, когда на одних репликах работает новая версия сервера, а на других - старая, репликация будет приостановлена и в логе появятся сообщения вида `unknown parameter 'shard'`. Репликация продолжится после обновления всех реплик кластера.
 * Если на серверах кластера работают разные версии ClickHouse, то возможен неправильный результат распределённых запросов, использующих функции `varSamp`, `varPop`, `stddevSamp`, `stddevPop`, `covarSamp`, `covarPop`, `corr`. Необходимо обновить все серверы кластера.
 
-# Релиз ClickHouse 1.1.54327, 2017-12-21
+## Релиз ClickHouse 1.1.54327, 2017-12-21
 
 Релиз содержит исправление к предыдущему релизу 1.1.54318:
 * Исправлена проблема с возможным race condition при репликации, которая может приводить к потере данных. Проблеме подвержены версии 1.1.54310 и 1.1.54318. Если вы их используете и у вас есть Replicated таблицы, то обновление обязательно. Понять, что эта проблема существует, можно по сообщениям в логе Warning вида `Part ... from own log doesn't exist.` Даже если таких сообщений нет, проблема всё-равно актуальна.
 
-# Релиз ClickHouse 1.1.54318, 2017-11-30
+## Релиз ClickHouse 1.1.54318, 2017-11-30
 
 Релиз содержит изменения к предыдущему релизу 1.1.54310 с исправлением следующих багов:
 * Исправлено некорректное удаление строк при слияниях в движке SummingMergeTree
@@ -257,9 +873,9 @@
 * Исправлена проблема, приводящая к остановке выполнения очереди репликации
 * Исправлено ротирование и архивация логов сервера
 
-# Релиз ClickHouse 1.1.54310, 2017-11-01
+## Релиз ClickHouse 1.1.54310, 2017-11-01
 
-## Новые возможности:
+### Новые возможности:
 * Произвольный ключ партиционирования для таблиц семейства MergeTree.
 * Движок таблиц [Kafka](https://clickhouse.yandex/docs/en/single/index.html#document-table_engines/kafka).
 * Возможность загружать модели [CatBoost](https://catboost.yandex/) и применять их к данным, хранящимся в ClickHouse.
@@ -275,12 +891,12 @@
 * Поддержка входного формата Cap’n Proto.
 * Возможность задавать уровень сжатия при использовании алгоритма zstd.
 
-## Обратно несовместимые изменения:
+### Обратно несовместимые изменения:
 * Запрещено создание временных таблиц с движком, отличным от Memory.
 * Запрещено явное создание таблиц с движком View и MaterializedView.
 * При создании таблицы теперь проверяется, что ключ сэмплирования входит в первичный ключ.
 
-## Исправления ошибок:
+### Исправления ошибок:
 * Исправлено зависание при синхронной вставке в Distributed таблицу.
 * Исправлена неатомарность при добавлении/удалении кусков в реплицированных таблицах.
 * Данные, вставляемые в материализованное представление, теперь не подвергаются излишней дедупликации.
@@ -290,14 +906,14 @@
 * Исправлено зависание при недостатке места на диске в разделе с логами.
 * Исправлено переполнение в функции toRelativeWeekNum для первой недели Unix-эпохи.
 
-## Улучшения сборки:
+### Улучшения сборки:
 * Несколько сторонних библиотек (в частности, Poco) обновлены и переведены на git submodules.
 
-# Релиз ClickHouse 1.1.54304, 2017-10-19
+## Релиз ClickHouse 1.1.54304, 2017-10-19
-## Новые возможности:
+### Новые возможности:
 * Добавлена поддержка TLS в нативном протоколе (включается заданием `tcp_ssl_port` в `config.xml`)
 
-## Исправления ошибок:
+### Исправления ошибок:
 * `ALTER` для реплицированных таблиц теперь пытается начать выполнение как можно быстрее
 * Исправлены падения при чтении данных с настройкой `preferred_block_size_bytes=0`
 * Исправлено падение `clickhouse-client` при нажатии `Page Down`
@@ -310,16 +926,16 @@
 * Корректное обновление пользователей при невалидном `users.xml`
 * Корректная обработка случаев, когда executable-словарь возвращает ненулевой код ответа
 
-# Релиз ClickHouse 1.1.54292, 2017-09-20
+## Релиз ClickHouse 1.1.54292, 2017-09-20
 
-## Новые возможности:
+### Новые возможности:
 * Добавлена функция `pointInPolygon` для работы с координатами на плоскости.
 * Добавлена агрегатная функция `sumMap`, обеспечивающая суммирование массивов аналогично `SummingMergeTree`.
 * Добавлена функция `trunc`. Увеличена производительность функций округления `round`, `floor`, `ceil`, `roundToExp2`. Исправлена логика работы функций округления. Изменена логика работы функции `roundToExp2` для дробных и отрицательных чисел.
 * Ослаблена зависимость исполняемого файла ClickHouse от версии libc. Один и тот же исполняемый файл ClickHouse может запускаться и работать на широком множестве Linux систем. Замечание: зависимость всё ещё присутствует при использовании скомпилированных запросов (настройка `compile = 1`, по-умолчанию не используется).
 * Уменьшено время динамической компиляции запросов.
 
-## Исправления ошибок:
+### Исправления ошибок:
 * Исправлена ошибка, которая могла приводить к сообщениям `part ... intersects previous part` и нарушению консистентности реплик.
 * Исправлена ошибка, приводящая к блокировке при завершении работы сервера, если в это время ZooKeeper недоступен.
 * Удалено избыточное логгирование при восстановлении реплик.
@@ -327,9 +943,9 @@
 * Исправлена ошибка в функции concat, возникающая в случае, если первый столбец блока имеет тип Array.
 * Исправлено отображение прогресса в таблице system.merges.
 
-# Релиз ClickHouse 1.1.54289, 2017-09-13
+## Релиз ClickHouse 1.1.54289, 2017-09-13
 
-## Новые возможности:
+### Новые возможности:
 * Запросы `SYSTEM` для административных действий с сервером: `SYSTEM RELOAD DICTIONARY`, `SYSTEM RELOAD DICTIONARIES`, `SYSTEM DROP DNS CACHE`, `SYSTEM SHUTDOWN`, `SYSTEM KILL`.
 * Добавлены функции для работы с массивами: `concat`, `arraySlice`, `arrayPushBack`, `arrayPushFront`, `arrayPopBack`, `arrayPopFront`.
 * Добавлены параметры `root` и `identity` для конфигурации ZooKeeper. Это позволяет изолировать разных пользователей одного ZooKeeper кластера.
@@ -344,7 +960,7 @@
 * Возможность задать `umask` в конфигурационном файле.
 * Увеличена производительность запросов с `DISTINCT`.
 
-## Исправления ошибок:
+### Исправления ошибок:
 * Более оптимальная процедура удаления старых нод в ZooKeeper. Ранее в случае очень частых вставок, старые ноды могли не успевать удаляться, что приводило, в том числе, к очень долгому завершению сервера.
 * Исправлена рандомизация при выборе хостов для соединения с ZooKeeper.
 * Исправлено отключение отстающей реплики при распределённых запросах, если реплика является localhost.
@@ -357,28 +973,28 @@
 * Исправлено появление zombie процессов при работе со словарём с источником `executable`.
 * Исправлен segfault при запросе HEAD.
 
-## Улучшения процесса разработки и сборки ClickHouse:
+### Улучшения процесса разработки и сборки ClickHouse:
 * Возможность сборки с помощью `pbuilder`.
 * Возможность сборки с использованием `libc++` вместо `libstdc++` под Linux.
 * Добавлены инструкции для использования статических анализаторов кода `Coverity`, `clang-tidy`, `cppcheck`.
 
-## На что обратить внимание при обновлении:
+### На что обратить внимание при обновлении:
 * Увеличено значение по-умолчанию для настройки MergeTree `max_bytes_to_merge_at_max_space_in_pool` (максимальный суммарный размер кусков в байтах для мержа) со 100 GiB до 150 GiB. Это может привести к запуску больших мержей после обновления сервера, что может вызвать повышенную нагрузку на дисковую подсистему. Если же на серверах, где это происходит, количество свободного места менее чем в два раза больше суммарного объёма выполняющихся мержей, то в связи с этим перестанут выполняться какие-либо другие мержи, включая мержи мелких кусков. Это приведёт к тому, что INSERT-ы будут отклоняться с сообщением "Merges are processing significantly slower than inserts". Для наблюдения, используйте запрос `SELECT * FROM system.merges`. Вы также можете смотреть на метрику `DiskSpaceReservedForMerge` в таблице `system.metrics` или в Graphite. Для исправления этой ситуации можно ничего не делать, так как она нормализуется сама после завершения больших мержей. Если же вас это не устраивает, вы можете вернуть настройку `max_bytes_to_merge_at_max_space_in_pool` в старое значение, прописав в config.xml в секции `<merge_tree>` `<max_bytes_to_merge_at_max_space_in_pool>107374182400</max_bytes_to_merge_at_max_space_in_pool>` и перезапустить сервер.
 
-# Релиз ClickHouse 1.1.54284, 2017-08-29
+## Релиз ClickHouse 1.1.54284, 2017-08-29
 
 * Релиз содержит изменения к предыдущему релизу 1.1.54282, которые исправляют утечку записей о кусках в ZooKeeper
 
-# Релиз ClickHouse 1.1.54282, 2017-08-23
+## Релиз ClickHouse 1.1.54282, 2017-08-23
 
 Релиз содержит исправления к предыдущему релизу 1.1.54276:
 * Исправлена ошибка `DB::Exception: Assertion violation: !_path.empty()` при вставке в Distributed таблицу.
 * Исправлен парсинг при вставке в формате RowBinary, если входные данные начинаются с ';'.
 * Исправлена ошибка при рантайм-компиляции некоторых агрегатных функций (например, `groupArray()`).
 
-# Релиз ClickHouse 1.1.54276, 2017-08-16
+## Релиз ClickHouse 1.1.54276, 2017-08-16
 
-## Новые возможности:
+### Новые возможности:
 * Добавлена опциональная секция WITH запроса SELECT. Пример запроса: `WITH 1+1 AS a SELECT a, a*a`
 * Добавлена возможность синхронной вставки в Distributed таблицу: выдается Ok только после того как все данные записались на все шарды. Активируется настройкой insert_distributed_sync=1
 * Добавлен тип данных UUID для работы с 16-байтовыми идентификаторами
@@ -388,17 +1004,17 @@
 * Добавлена поддержка неконстантных аргументов и отрицательных смещений в функции `substring(str, pos, len)`
 * Добавлен параметр max_size для агрегатной функции `groupArray(max_size)(column)`, и оптимизирована её производительность
 
-## Основные изменения:
+### Основные изменения:
 * Улучшение безопасности: все файлы сервера создаются с правами 0640 (можно поменять, через параметр <umask> в конфиге).
 * Улучшены сообщения об ошибках в случае синтаксически неверных запросов
 * Значительно уменьшен расход оперативной памяти и улучшена производительность слияний больших MergeTree-кусков данных
 * Значительно увеличена производительность слияний данных для движка ReplacingMergeTree
 * Улучшена производительность асинхронных вставок из Distributed таблицы за счет объединения нескольких исходных вставок. Функциональность включается настройкой distributed_directory_monitor_batch_inserts=1.
 
-## Обратно несовместимые изменения:
+### Обратно несовместимые изменения:
 * Изменился бинарный формат агрегатных состояний функции `groupArray(array_column)` для массивов
 
-## Полный список изменений:
+### Полный список изменений:
 * Добавлена настройка `output_format_json_quote_denormals`, включающая вывод nan и inf значений в формате JSON
 * Более оптимальное выделение потоков при чтении из Distributed таблиц
 * Разрешено задавать настройки в режиме readonly, если их значение не изменяется
@@ -416,7 +1032,7 @@
 * Возможность подключения к MySQL через сокет на файловой системе
 * В таблицу system.parts добавлен столбец с информацией о размере marks в байтах
 
-## Исправления багов:
+### Исправления багов:
 * Исправлена некорректная работа Distributed таблиц, использующих Merge таблицы, при SELECT с условием на поле _table
 * Исправлен редкий race condition в ReplicatedMergeTree при проверке кусков данных
 * Исправлено возможное зависание процедуры leader election при старте сервера
@@ -439,15 +1055,15 @@
 * Исправлена ошибка "Cannot mremap" при использовании множеств в секциях IN, JOIN, содержащих более 2 млрд. элементов
 * Исправлен failover для словарей с источником MySQL
 
-## Улучшения процесса разработки и сборки ClickHouse:
+### Улучшения процесса разработки и сборки ClickHouse:
 * Добавлена возмозможность сборки в Arcadia
 * Добавлена возможность сборки с помощью gcc 7
 * Ускорена параллельная сборка с помощью ccache+distcc
 
 
-# Релиз ClickHouse 1.1.54245, 2017-07-04
+## Релиз ClickHouse 1.1.54245, 2017-07-04
 
-## Новые возможности:
+### Новые возможности:
 * Распределённые DDL (например, `CREATE TABLE ON CLUSTER`)
 * Реплицируемый запрос `ALTER TABLE CLEAR COLUMN IN PARTITION`
 * Движок таблиц Dictionary (доступ к данным словаря в виде таблицы)
@@ -458,14 +1074,14 @@
 * Сессии в HTTP интерфейсе
 * Запрос OPTIMIZE для Replicated таблицы теперь можно выполнять не только на лидере
 
-## Обратно несовместимые изменения:
+### Обратно несовместимые изменения:
 * Убрана команда SET GLOBAL
 
-## Мелкие изменения:
+### Мелкие изменения:
 * Теперь после получения сигнала в лог печатается полный стектрейс
 * Ослаблена проверка на количество повреждённых/лишних кусков при старте (было слишком много ложных срабатываний)
 
-## Исправления багов:
+### Исправления багов:
 * Исправлено залипание плохого соединения при вставке в Distributed таблицу
 * GLOBAL IN теперь работает при запросе из таблицы Merge, смотрящей в Distributed
 * Теперь правильно определяется количество ядер на виртуалках Google Compute Engine

CMakeLists.txt

@@ -1,22 +1,26 @@
 project (ClickHouse)
-cmake_minimum_required (VERSION 2.8)
+cmake_minimum_required (VERSION 3.3)
 
-set(CMAKE_MODULE_PATH ${CMAKE_MODULE_PATH} "${ClickHouse_SOURCE_DIR}/cmake/Modules/")
+set(CMAKE_MODULE_PATH ${CMAKE_MODULE_PATH} "${CMAKE_CURRENT_SOURCE_DIR}/cmake/Modules/")
 
 if (CMAKE_CXX_COMPILER_ID STREQUAL "GNU")
     # Require at least gcc 7
     if (CMAKE_CXX_COMPILER_VERSION VERSION_LESS 7 AND NOT CMAKE_VERSION VERSION_LESS 2.8.9)
-        message (FATAL_ERROR "GCC version must be at least 7! For example, if GCC 7 is available under gcc-7, g++-7 names, do the following: export CC=gcc-7 CXX=g++-7; rm -rf CMakeCache.txt CMakeFiles; and re run cmake or ./release.")
+        message (FATAL_ERROR "GCC version must be at least 7. For example, if GCC 7 is available under gcc-7, g++-7 names, do the following: export CC=gcc-7 CXX=g++-7; rm -rf CMakeCache.txt CMakeFiles; and re run cmake or ./release.")
     endif ()
 elseif (CMAKE_CXX_COMPILER_ID STREQUAL "Clang")
     # Require at least clang 5
     if (CMAKE_CXX_COMPILER_VERSION VERSION_LESS 5)
-        message (FATAL_ERROR "Clang version must be at least 5!")
+        message (FATAL_ERROR "Clang version must be at least 5.")
     endif ()
 else ()
-    message (WARNING "You are using an unsupported compiler! Compilation has only been tested with Clang 5+ and GCC 7+.")
+    message (WARNING "You are using an unsupported compiler. Compilation has only been tested with Clang 5+ and GCC 7+.")
 endif ()
 
+# Check that submodules are present only if source was downloaded with git
+if (EXISTS "${CMAKE_CURRENT_SOURCE_DIR}/.git" AND NOT EXISTS "${ClickHouse_SOURCE_DIR}/contrib/boost/boost")
+    message (FATAL_ERROR "Submodules are not initialized. Run\n\tgit submodule update --init --recursive")
+endif ()
 
 # Write compile_commands.json
 set(CMAKE_EXPORT_COMPILE_COMMANDS 1)
@@ -28,15 +32,35 @@ if (NOT CMAKE_BUILD_TYPE OR CMAKE_BUILD_TYPE STREQUAL "None")
     set (CMAKE_BUILD_TYPE "RELWITHDEBINFO")
 endif ()
 string(TOUPPER ${CMAKE_BUILD_TYPE} CMAKE_BUILD_TYPE_UC)
-message (STATUS "CMAKE_BUILD_TYPE: " ${CMAKE_BUILD_TYPE} )
+message (STATUS "CMAKE_BUILD_TYPE: ${CMAKE_BUILD_TYPE}")
 
-# ASan - build type with address sanitizer
+set (CMAKE_CONFIGURATION_TYPES "RelWithDebInfo;Debug;Release;MinSizeRel" CACHE STRING "" FORCE)
-# UBSan - build type with undefined behaviour sanitizer
+
-# TSan is not supported due to false positive errors in libstdc++ and necessity to rebuild libstdc++ with TSan
+option (USE_STATIC_LIBRARIES "Set to FALSE to use shared libraries" ON)
-set (CMAKE_CONFIGURATION_TYPES "RelWithDebInfo;Debug;Release;MinSizeRel;ASan;UBSan" CACHE STRING "" FORCE)
+option (MAKE_STATIC_LIBRARIES "Set to FALSE to make shared libraries" ${USE_STATIC_LIBRARIES})
+if (NOT MAKE_STATIC_LIBRARIES)
+    option (SPLIT_SHARED_LIBRARIES "DEV ONLY. Keep all internal libs as separate .so for faster linking" OFF)
+    option (CLICKHOUSE_SPLIT_BINARY "Make several binaries instead one bundled (clickhouse-server, clickhouse-client, ... )" OFF)
+endif ()
+
+if (SPLIT_SHARED_LIBRARIES)
+    set (LINK_MODE SHARED)
+endif ()
+
+if (USE_STATIC_LIBRARIES)
+    list(REVERSE CMAKE_FIND_LIBRARY_SUFFIXES)
+endif ()
+
+include (cmake/sanitize.cmake)
 
 include (cmake/arch.cmake)
 
+if (CMAKE_GENERATOR STREQUAL "Ninja")
+    # Turn on colored output. https://github.com/ninja-build/ninja/wiki/FAQ
+    set (CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -fdiagnostics-color=always")
+    set (CMAKE_C_FLAGS "${CMAKE_C_FLAGS} -fdiagnostics-color=always")
+endif ()
+
 if (NOT MSVC)
     set (COMMON_WARNING_FLAGS "${COMMON_WARNING_FLAGS} -Wall")    # -Werror is also added inside directories with our own code.
 endif ()
@@ -51,32 +75,13 @@ if (CMAKE_CXX_COMPILER_ID STREQUAL "Clang")
     set (COMMON_WARNING_FLAGS "${COMMON_WARNING_FLAGS} -Wno-unused-command-line-argument")
 endif ()
 
-if (ARCH_LINUX)
-    set (CXX11_ABI "ENABLE" CACHE STRING "Use C++11 ABI: DEFAULT, ENABLE, DISABLE")
-endif ()
-
 option (TEST_COVERAGE "Enables flags for test coverage" OFF)
-option (ENABLE_TESTS "Enables tests" ${NOT_MSVC})
+option (ENABLE_TESTS "Enables tests" ON)
 
-option (USE_STATIC_LIBRARIES "Set to FALSE to use shared libraries" ON)
+if (CMAKE_SYSTEM_PROCESSOR MATCHES "amd64|x86_64")
-option (MAKE_STATIC_LIBRARIES "Set to FALSE to make shared libraries" ${USE_STATIC_LIBRARIES})
-if (NOT MAKE_STATIC_LIBRARIES)
-    option (SPLIT_SHARED_LIBRARIES "DEV ONLY. Keep all internal libs as separate .so for faster linking" OFF)
-    option (CLICKHOUSE_SPLIT_BINARY "Make several binaries instead one bundled (clickhouse-server, clickhouse-client, ... )" OFF)
-endif ()
-
-if (SPLIT_SHARED_LIBRARIES)
-    set (SPLIT_SHARED SHARED)
-endif ()
-
-if (USE_STATIC_LIBRARIES)
-    list(REVERSE CMAKE_FIND_LIBRARY_SUFFIXES)
-endif ()
-
-if (CMAKE_LIBRARY_ARCHITECTURE MATCHES "amd64.*|x86_64.*|AMD64.*")
     option (USE_INTERNAL_MEMCPY "Use internal implementation of 'memcpy' function instead of provided by libc. Only for x86_64." ON)
 
-    if (ARCH_LINUX)
+    if (OS_LINUX)
         option (GLIBC_COMPATIBILITY "Set to TRUE to enable compatibility with older glibc libraries. Only for x86_64, Linux. Implies USE_INTERNAL_MEMCPY." ON)
     endif()
 endif ()
@@ -85,15 +90,7 @@ if (GLIBC_COMPATIBILITY)
     set (USE_INTERNAL_MEMCPY ON)
 endif ()
 
-if (CXX11_ABI STREQUAL ENABLE)
+set (COMPILER_FLAGS "${COMPILER_FLAGS}")
-    set (CXX11_ABI_FLAGS "-D_GLIBCXX_USE_CXX11_ABI=1")
-elseif (CXX11_ABI STREQUAL DISABLE)
-    set (CXX11_ABI_FLAGS "-D_GLIBCXX_USE_CXX11_ABI=0")
-else ()
-    set (CXX11_ABI_FLAGS "")
-endif ()
-
-set (COMPILER_FLAGS                      "${COMPILER_FLAGS} ${CXX11_ABI_FLAGS}")
 
 string(REGEX MATCH "-?[0-9]+(.[0-9]+)?$" COMPILER_POSTFIX ${CMAKE_CXX_COMPILER})
 
@@ -118,8 +115,8 @@ endif ()
 
 include (cmake/test_cpu.cmake)
 
-option (ARCHNATIVE "Enable -march=native compiler flag" OFF)
+option (ARCH_NATIVE "Enable -march=native compiler flag" ${ARCH_ARM})
-if (ARCHNATIVE)
+if (ARCH_NATIVE)
     set (COMPILER_FLAGS                  "${COMPILER_FLAGS} -march=native")
 endif ()
 
@@ -129,37 +126,41 @@ endif ()
 #endif ()
 
 if (CMAKE_VERSION VERSION_LESS "3.8.0")
-    set (CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -std=c++1z")
+    if (NOT MSVC)
+        set (CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -std=c++1z")
+    endif ()
 else ()
     set (CMAKE_CXX_STANDARD 17)
     set (CMAKE_CXX_EXTENSIONS 0) # https://cmake.org/cmake/help/latest/prop_tgt/CXX_EXTENSIONS.html#prop_tgt:CXX_EXTENSIONS
     set (CMAKE_CXX_STANDARD_REQUIRED ON)
     set (CXX_FLAGS_INTERNAL_COMPILER "-std=c++1z")
-    # This needs to propagate to vendored projects in contrib
-    set (CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -std=c++17")
 endif ()
 
 set (CMAKE_BUILD_COLOR_MAKEFILE          ON)
-set (CMAKE_CXX_FLAGS                     "${CMAKE_CXX_FLAGS} ${COMPILER_FLAGS} ${PLATFORM_EXTRA_CXX_FLAG} -fno-omit-frame-pointer ${COMMON_WARNING_FLAGS} ${CXX_WARNING_FLAGS} ${GLIBC_COMPATIBILITY_COMPILE_FLAGS}")
+set (CMAKE_CXX_FLAGS                     "${CMAKE_CXX_FLAGS} ${COMPILER_FLAGS} ${PLATFORM_EXTRA_CXX_FLAG} -fno-omit-frame-pointer ${COMMON_WARNING_FLAGS} ${CXX_WARNING_FLAGS}")
 #set (CMAKE_CXX_FLAGS_RELEASE             "${CMAKE_CXX_FLAGS_RELEASE} ${CMAKE_CXX_FLAGS_ADD}")
 set (CMAKE_CXX_FLAGS_RELWITHDEBINFO      "${CMAKE_CXX_FLAGS_RELWITHDEBINFO} -O3 ${CMAKE_CXX_FLAGS_ADD}")
 set (CMAKE_CXX_FLAGS_DEBUG               "${CMAKE_CXX_FLAGS_DEBUG} -O0 -g3 -ggdb3 -fno-inline ${CMAKE_CXX_FLAGS_ADD}")
 
-set (CMAKE_C_FLAGS                       "${CMAKE_C_FLAGS} ${COMPILER_FLAGS} -fno-omit-frame-pointer ${COMMON_WARNING_FLAGS} ${GLIBC_COMPATIBILITY_COMPILE_FLAGS} ${CMAKE_C_FLAGS_ADD}")
+set (CMAKE_C_FLAGS                       "${CMAKE_C_FLAGS} ${COMPILER_FLAGS} -fno-omit-frame-pointer ${COMMON_WARNING_FLAGS} ${CMAKE_C_FLAGS_ADD}")
 #set (CMAKE_C_FLAGS_RELEASE               "${CMAKE_C_FLAGS_RELEASE} ${CMAKE_C_FLAGS_ADD}")
 set (CMAKE_C_FLAGS_RELWITHDEBINFO        "${CMAKE_C_FLAGS_RELWITHDEBINFO} -O3 ${CMAKE_C_FLAGS_ADD}")
 set (CMAKE_C_FLAGS_DEBUG                 "${CMAKE_C_FLAGS_DEBUG} -O0 -g3 -ggdb3 -fno-inline ${CMAKE_C_FLAGS_ADD}")
 
-if (MAKE_STATIC_LIBRARIES AND NOT APPLE AND NOT (CMAKE_CXX_COMPILER_ID STREQUAL "Clang" AND ARCH_FREEBSD))
+if (MAKE_STATIC_LIBRARIES AND NOT APPLE AND NOT (COMPILER_CLANG AND OS_FREEBSD))
     set (CMAKE_EXE_LINKER_FLAGS          "${CMAKE_EXE_LINKER_FLAGS} -static-libgcc -static-libstdc++")
+
+    # Along with executables, we also build example of shared library for "library dictionary source"; and it also should be self-contained.
+    set (CMAKE_SHARED_LINKER_FLAGS       "${CMAKE_SHARED_LINKER_FLAGS} -static-libgcc -static-libstdc++")
 endif ()
 
 set(THREADS_PREFER_PTHREAD_FLAG ON)
+find_package (Threads)
 
 include (cmake/test_compiler.cmake)
 
-if (ARCH_LINUX AND CMAKE_CXX_COMPILER_ID STREQUAL "Clang")
+if (OS_LINUX AND COMPILER_CLANG)
-    set (CMAKE_EXE_LINKER_FLAGS          "${CMAKE_EXE_LINKER_FLAGS} ${GLIBC_COMPATIBILITY_LINK_FLAGS} ${CXX11_ABI_FLAGS}")
+    set (CMAKE_EXE_LINKER_FLAGS          "${CMAKE_EXE_LINKER_FLAGS}")
 
     option (USE_LIBCXX "Use libc++ and libc++abi instead of libstdc++ (only make sense on Linux with Clang)" ${HAVE_LIBCXX})
     set (LIBCXX_PATH "" CACHE STRING "Use custom path for libc++. It should be used for MSan.")
@@ -174,7 +175,7 @@ if (ARCH_LINUX AND CMAKE_CXX_COMPILER_ID STREQUAL "Clang")
         endif ()
 
         if (LIBCXX_PATH)
-#            include_directories (BEFORE SYSTEM "${LIBCXX_PATH}/include" "${LIBCXX_PATH}/include/c++/v1")
+#            include_directories (SYSTEM BEFORE "${LIBCXX_PATH}/include" "${LIBCXX_PATH}/include/c++/v1")
             link_directories ("${LIBCXX_PATH}/lib")
         endif ()
     endif ()
@@ -189,8 +190,6 @@ if (NOT MAKE_STATIC_LIBRARIES)
     set(CMAKE_POSITION_INDEPENDENT_CODE ON)
 endif ()
 
-include (cmake/sanitize.cmake)
-
 # Using "include-what-you-use" tool.
 option (USE_INCLUDE_WHAT_YOU_USE "Use 'include-what-you-use' tool" OFF)
 if (USE_INCLUDE_WHAT_YOU_USE)
@@ -220,14 +219,14 @@ else ()
     set (CLICKHOUSE_ETC_DIR "${CMAKE_INSTALL_PREFIX}/etc")
 endif ()
 
-option (UNBUNDLED "Try find all libraries in system (if fail - use bundled from contrib/)" OFF)
+option (UNBUNDLED "Try find all libraries in system. We recommend to avoid this mode for production builds, because we cannot guarantee exact versions and variants of libraries your system has installed. This mode exists for enthusiastic developers who search for trouble. Also it is useful for maintainers of OS packages." OFF)
 if (UNBUNDLED)
     set(NOT_UNBUNDLED 0)
 else ()
     set(NOT_UNBUNDLED 1)
 endif ()
 # Using system libs can cause lot of warnings in includes.
-if (UNBUNDLED OR NOT (ARCH_LINUX OR APPLE) OR ARCH_32)
+if (UNBUNDLED OR NOT (OS_LINUX OR APPLE) OR ARCH_32)
     option (NO_WERROR "Disable -Werror compiler option" ON)
 endif ()
 
@@ -236,33 +235,31 @@ message (STATUS "Building for: ${CMAKE_SYSTEM} ${CMAKE_SYSTEM_PROCESSOR} ${CMAKE
 include(GNUInstallDirs)
 
 include (cmake/find_ssl.cmake)
-if (NOT OPENSSL_FOUND)
-    message (FATAL_ERROR "Need openssl for build. debian tip: sudo apt install libssl-dev")
-endif ()
-
 include (cmake/lib_name.cmake)
-include (cmake/find_icu4c.cmake)
+include (cmake/find_icu.cmake)
 include (cmake/find_boost.cmake)
-# openssl, zlib before poco
 include (cmake/find_zlib.cmake)
 include (cmake/find_zstd.cmake)
 include (cmake/find_ltdl.cmake) # for odbc
-if (EXISTS ${CMAKE_CURRENT_SOURCE_DIR}/contrib/poco/cmake/FindODBC.cmake)
+include (cmake/find_termcap.cmake)
-    include (${CMAKE_CURRENT_SOURCE_DIR}/contrib/poco/cmake/FindODBC.cmake) # for poco
+include (cmake/find_odbc.cmake)
-else ()
+# openssl, zlib, odbc before poco
-    include (cmake/find_odbc.cmake)
-endif ()
 include (cmake/find_poco.cmake)
 include (cmake/find_lz4.cmake)
 include (cmake/find_sparsehash.cmake)
 include (cmake/find_rt.cmake)
 include (cmake/find_execinfo.cmake)
 include (cmake/find_readline_edit.cmake)
-include (cmake/find_zookeeper.cmake)
 include (cmake/find_re2.cmake)
 include (cmake/find_rdkafka.cmake)
 include (cmake/find_capnp.cmake)
 include (cmake/find_llvm.cmake)
+include (cmake/find_cpuid.cmake)
+include (cmake/find_consistent-hashing.cmake)
+include (cmake/find_base64.cmake)
+if (ENABLE_TESTS)
+    include (cmake/find_gtest.cmake)
+endif ()
 
 include (cmake/find_contrib_lib.cmake)
 find_contrib_lib(cityhash)
@@ -280,12 +277,6 @@ include (libs/libdaemon/cmake/find_unwind.cmake)
 
 include (cmake/print_flags.cmake)
 
-# Directory for Yandex specific files
-set (CLICKHOUSE_PRIVATE_DIR ${ClickHouse_SOURCE_DIR}/private/)
-if (EXISTS ${CLICKHOUSE_PRIVATE_DIR})
-    add_subdirectory (${CLICKHOUSE_PRIVATE_DIR})
-endif ()
-
 add_subdirectory (contrib)
 add_subdirectory (libs)
 add_subdirectory (utils)

CONTRIBUTING.md

@@ -2,7 +2,7 @@
 
 ## Technical info
 Developer guide for writing code for ClickHouse is published on official website alongside the usage and operations documentation:
-https://clickhouse.yandex/docs/en/development/index.html
+https://clickhouse.yandex/docs/en/development/architecture/
 
 ## Legal info
 
@@ -30,3 +30,5 @@ Replace the bracketed text as follows:
 * [link] is the link at the current version of the CLA (you may add here a link https://yandex.ru/legal/cla/?lang=en (in English) or a link https://yandex.ru/legal/cla/?lang=ru (in Russian).
 
 It is enough to provide us such notification at once.
+
+If you don't agree with the CLA, you still can open a pull request to provide your contributions.

MacOS.md

@@ -1,39 +0,0 @@
-## How to increase maxfiles on macOS
-
-To increase maxfiles on macOS, create the following file:
-
-(Note: you'll need to use sudo)
-
-/Library/LaunchDaemons/limit.maxfiles.plist:
-```
-<?xml version="1.0" encoding="UTF-8"?>
-<!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN"
-        "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
-<plist version="1.0">
-  <dict>
-    <key>Label</key>
-    <string>limit.maxfiles</string>
-    <key>ProgramArguments</key>
-    <array>
-      <string>launchctl</string>
-      <string>limit</string>
-      <string>maxfiles</string>
-      <string>524288</string>
-      <string>524288</string>
-    </array>
-    <key>RunAtLoad</key>
-    <true/>
-    <key>ServiceIPC</key>
-    <false/>
-  </dict>
-</plist>
-```
-
-Execute the following command:
-```
-sudo chown root:wheel /Library/LaunchDaemons/limit.maxfiles.plist
-```
-
-Reboot.
-
-To check if it's working, you can use `ulimit -n` command.

PreLoad.cmake

@@ -0,0 +1,21 @@
+# Use Ninja instead of Unix Makefiles by default.
+# https://stackoverflow.com/questions/11269833/cmake-selecting-a-generator-within-cmakelists-txt
+#
+# Reason: it have better startup time than make and it parallelize jobs more uniformly.
+# (when comparing to make with Makefiles that was generated by CMake)
+#
+# How to install Ninja on Ubuntu:
+#  sudo apt-get install ninja-build
+
+# CLion does not support Ninja
+# You can add your vote on CLion task tracker:
+# https://youtrack.jetbrains.com/issue/CPP-2659
+# https://youtrack.jetbrains.com/issue/CPP-870
+
+string(TOLOWER "${CMAKE_COMMAND}" CMAKE_COMMAND_LOWER)
+if (NOT ${CMAKE_COMMAND_LOWER} MATCHES "clion")
+    find_program(NINJA_PATH ninja)
+    if (NINJA_PATH)
+        set(CMAKE_GENERATOR "Ninja" CACHE INTERNAL "" FORCE)
+    endif ()
+endif()

README.md

@@ -1,5 +1,12 @@
+# ClickHouse
+
 ClickHouse is an open-source column-oriented database management system that allows generating analytical data reports in real time.
 
-[Read more...](https://clickhouse.yandex/)
+## Useful Links
 
-[![Build Status](https://travis-ci.org/yandex/ClickHouse.svg?branch=master)](https://travis-ci.org/yandex/ClickHouse)
+* [Official website](https://clickhouse.yandex/) has quick high-level overview of ClickHouse on main page.
+* [Tutorial](https://clickhouse.yandex/tutorial.html) shows how to set up and query small ClickHouse cluster.
+* [Documentation](https://clickhouse.yandex/docs/en/) provides more in-depth information.
+* [Blog](https://clickhouse.yandex/blog/en/) contains various ClickHouse-related articles, as well as announces and reports about events.
+* [Contacts](https://clickhouse.yandex/#contacts) can help to get your questions answered if there are any.
+* You can also [fill this form](https://forms.yandex.com/surveys/meet-yandex-clickhouse-team/) to meet Yandex ClickHouse team in person.

ci/README.md

@@ -0,0 +1,142 @@
+## Build and test ClickHouse on various plaforms
+
+Quick and dirty scripts.
+
+Usage example:
+```
+./run-with-docker.sh ubuntu:bionic jobs/quick-build/run.sh
+```
+
+Another example, check build on ARM 64:
+```
+./prepare-docker-image-ubuntu.sh
+./run-with-docker.sh multiarch/ubuntu-core:arm64-bionic jobs/quick-build/run.sh
+```
+
+Another example, check build on FreeBSD:
+```
+./prepare-vagrant-image-freebsd.sh
+./run-with-vagrant.sh freebsd jobs/quick-build/run.sh
+```
+
+Look at `default_config` and `jobs/quick-build/run.sh`
+
+Various possible options. We are not going to automate testing all of them.
+
+#### CPU architectures:
+- x86_64;
+- AArch64.
+
+x86_64 is the main CPU architecture. We also have minimal support for AArch64.
+
+#### Operating systems:
+- Linux;
+- FreeBSD.
+
+We also target Mac OS X, but it's more difficult to test.  
+Linux is the main. FreeBSD is also supported as production OS.  
+Mac OS is intended only for development and have minimal support: client should work, server should just start.
+
+#### Linux distributions:
+For build:
+- Ubuntu Bionic;
+- Ubuntu Trusty.
+
+For run:
+- Ubuntu Hardy;
+- CentOS 5
+
+We should support almost any Linux to run ClickHouse. That's why we test also on old distributions.
+
+#### How to obtain sources:
+- use sources from local working copy;
+- clone sources from github;
+- download source tarball.
+
+#### Compilers:
+- gcc-7;
+- gcc-8;
+- clang-6;
+- clang-svn.
+
+#### Compiler installation:
+- from OS packages;
+- build from sources.
+
+#### C++ standard library implementation:
+- libc++;
+- libstdc++ with C++11 ABI;
+- libstdc++ with old ABI.
+
+When building with clang, libc++ is used. When building with gcc, we choose libstdc++ with C++11 ABI.
+
+#### Linkers:
+- ldd;
+- gold;
+
+When building with clang on x86_64, ldd is used. Otherwise we use gold.
+
+#### Build types:
+- RelWithDebInfo;
+- Debug;
+- ASan;
+- TSan.
+
+#### Build types, extra:
+- -g0 for quick build;
+- enable test coverage;
+- debug tcmalloc.
+
+#### What to build:
+- only `clickhouse` target;
+- all targets;
+- debian packages;
+
+We also have intent to build RPM and simple tgz packages.
+
+#### Where to get third-party libraries:
+- from contrib directory (submodules);
+- from OS packages.
+
+The only production option is to use libraries from contrib directory.  
+Using libraries from OS packages is discouraged, but we also support this option.
+
+#### Linkage types:
+- static;
+- shared;
+
+Static linking is the only option for production usage.  
+We also have support for shared linking, but it is indended only for developers.
+
+#### Make tools:
+- make;
+- ninja.
+
+#### Installation options:
+- run built `clickhouse` binary directly;
+- install from packages.
+
+#### How to obtain packages:
+- build them;
+- download from repository.
+
+#### Sanity checks:
+- check that clickhouse binary has no dependencies on unexpected shared libraries;
+- check that source code have no style violations.
+
+#### Tests:
+- Functional tests;
+- Integration tests;
+- Unit tests;
+- Simple sh/reference tests;
+- Performance tests (note that they require predictable computing power);
+- Tests for external dictionaries (should be moved to integration tests);
+- Jepsen like tests for quorum inserts (not yet available in opensource).
+
+#### Tests extra:
+- Run functional tests with Valgrind.
+
+#### Static analyzers:
+- CppCheck;
+- clang-tidy;
+- Coverity.

ci/build-clang-from-sources.sh

@@ -0,0 +1,38 @@
+#!/usr/bin/env bash
+set -e -x
+
+source default-config
+
+# TODO Non debian systems
+./install-os-packages.sh svn
+./install-os-packages.sh cmake
+
+mkdir "${WORKSPACE}/llvm"
+
+svn co "http://llvm.org/svn/llvm-project/llvm/${CLANG_SOURCES_BRANCH}" "${WORKSPACE}/llvm/llvm"
+svn co "http://llvm.org/svn/llvm-project/cfe/${CLANG_SOURCES_BRANCH}" "${WORKSPACE}/llvm/llvm/tools/clang"
+svn co "http://llvm.org/svn/llvm-project/lld/${CLANG_SOURCES_BRANCH}" "${WORKSPACE}/llvm/llvm/tools/lld"
+svn co "http://llvm.org/svn/llvm-project/polly/${CLANG_SOURCES_BRANCH}" "${WORKSPACE}/llvm/llvm/tools/polly"
+svn co "http://llvm.org/svn/llvm-project/clang-tools-extra/${CLANG_SOURCES_BRANCH}" "${WORKSPACE}/llvm/llvm/tools/clang/tools/extra"
+svn co "http://llvm.org/svn/llvm-project/compiler-rt/${CLANG_SOURCES_BRANCH}" "${WORKSPACE}/llvm/llvm/projects/compiler-rt"
+svn co "http://llvm.org/svn/llvm-project/libcxx/${CLANG_SOURCES_BRANCH}" "${WORKSPACE}/llvm/llvm/projects/libcxx"
+svn co "http://llvm.org/svn/llvm-project/libcxxabi/${CLANG_SOURCES_BRANCH}" "${WORKSPACE}/llvm/llvm/projects/libcxxabi"
+
+mkdir "${WORKSPACE}/llvm/build"
+cd "${WORKSPACE}/llvm/build"
+
+# NOTE You must build LLVM with the same ABI as ClickHouse.
+# For example, if you compile ClickHouse with libc++, you must add
+#  -DLLVM_ENABLE_LIBCXX=1
+# to the line below.
+
+cmake -DCMAKE_BUILD_TYPE:STRING=Release -DLLVM_ENABLE_LIBCXX=1 -DLLVM_ENABLE_RTTI=1 ../llvm
+
+make -j $THREADS
+$SUDO make install
+hash clang
+
+cd ../../..
+
+export CC=clang
+export CXX=clang++

ci/build-debian-packages.sh

@@ -0,0 +1,8 @@
+#!/usr/bin/env bash
+set -e -x
+
+source default-config
+
+[[ -d "${WORKSPACE}/sources" ]] || die "Run get-sources.sh first"
+
+./sources/release

ci/build-gcc-from-sources.sh

@@ -0,0 +1,47 @@
+#!/usr/bin/env bash
+set -e -x
+
+source default-config
+
+./install-os-packages.sh curl
+
+if [[ "${GCC_SOURCES_VERSION}" == "latest" ]]; then
+    GCC_SOURCES_VERSION=$(curl -sSL https://ftpmirror.gnu.org/gcc/ | grep -oE 'gcc-[0-9]+(\.[0-9]+)+' | sort -Vr | head -n1)
+fi
+
+GCC_VERSION_SHORT=$(echo "$GCC_SOURCES_VERSION" | grep -oE '[0-9]' | head -n1)
+
+echo "Will download ${GCC_SOURCES_VERSION} (short version: $GCC_VERSION_SHORT)."
+
+THREADS=$(grep -c ^processor /proc/cpuinfo)
+
+mkdir "${WORKSPACE}/gcc"
+pushd "${WORKSPACE}/gcc"
+
+wget https://ftpmirror.gnu.org/gcc/${GCC_SOURCES_VERSION}/${GCC_SOURCES_VERSION}.tar.xz
+tar xf ${GCC_SOURCES_VERSION}.tar.xz
+pushd ${GCC_SOURCES_VERSION}
+./contrib/download_prerequisites
+popd
+mkdir gcc-build
+pushd gcc-build
+../${GCC_SOURCES_VERSION}/configure --enable-languages=c,c++ --disable-multilib
+make -j $THREADS
+$SUDO make install
+
+popd
+popd
+
+$SUDO ln -sf /usr/local/bin/gcc /usr/local/bin/gcc-${GCC_GCC_SOURCES_VERSION_SHORT}
+$SUDO ln -sf /usr/local/bin/g++ /usr/local/bin/g++-${GCC_GCC_SOURCES_VERSION_SHORT}
+$SUDO ln -sf /usr/local/bin/gcc /usr/local/bin/cc
+$SUDO ln -sf /usr/local/bin/g++ /usr/local/bin/c++
+
+echo '/usr/local/lib64' | $SUDO tee /etc/ld.so.conf.d/10_local-lib64.conf
+$SUDO ldconfig
+
+hash gcc g++
+gcc --version
+
+export CC=gcc
+export CXX=g++

ci/build-normal.sh

@@ -0,0 +1,22 @@
+#!/usr/bin/env bash
+set -e -x
+
+source default-config
+
+[[ -d "${WORKSPACE}/sources" ]] || die "Run get-sources.sh first"
+
+mkdir -p "${WORKSPACE}/build"
+pushd "${WORKSPACE}/build"
+
+if [[ "${ENABLE_EMBEDDED_COMPILER}" == 1 ]]; then
+    [[ "$USE_LLVM_LIBRARIES_FROM_SYSTEM" == 0 ]] && CMAKE_FLAGS="$CMAKE_FLAGS -DUSE_INTERNAL_LLVM_LIBRARY=1"
+    [[ "$USE_LLVM_LIBRARIES_FROM_SYSTEM" != 0 ]] && CMAKE_FLAGS="$CMAKE_FLAGS -DUSE_INTERNAL_LLVM_LIBRARY=0"
+fi
+
+cmake -DCMAKE_BUILD_TYPE=${BUILD_TYPE} -DENABLE_EMBEDDED_COMPILER=${ENABLE_EMBEDDED_COMPILER} $CMAKE_FLAGS ../sources
+
+[[ "$BUILD_TARGETS" != 'all' ]] && BUILD_TARGETS_STRING="--target $BUILD_TARGETS"
+
+cmake --build . $BUILD_TARGETS_STRING -- -j $THREADS
+
+popd

ci/check-docker.sh

@@ -0,0 +1,7 @@
+#!/usr/bin/env bash
+set -e -x
+
+source default-config
+
+command -v docker > /dev/null || die "You need to install Docker"
+docker ps > /dev/null || die "You need to have access to Docker: run '$SUDO usermod -aG docker $USER' and relogin"

ci/check-syntax.sh

@@ -0,0 +1,20 @@
+#!/usr/bin/env bash
+set -e -x
+
+source default-config
+
+./install-os-packages.sh jq
+
+[[ -d "${WORKSPACE}/sources" ]] || die "Run get-sources.sh first"
+
+mkdir -p "${WORKSPACE}/build"
+pushd "${WORKSPACE}/build"
+
+cmake -DCMAKE_BUILD_TYPE=Debug $CMAKE_FLAGS ../sources
+
+make -j $THREADS re2_st # Generated headers
+
+jq --raw-output '.[] | .command' compile_commands.json | grep -v -P -- '-c .+/contrib/' | sed -r -e 's/-o\s+\S+/-fsyntax-only/' > syntax-commands
+xargs --arg-file=syntax-commands --max-procs=$THREADS --replace /bin/sh -c "{}"
+
+popd

ci/create-sources-tarball.sh

@@ -0,0 +1,10 @@
+#!/usr/bin/env bash
+set -e -x
+
+source default-config
+
+if [[ -d "${WORKSPACE}/sources" ]]; then
+    tar -c -z -f "${WORKSPACE}/sources.tar.gz" --directory "${WORKSPACE}/sources" .
+else
+    die "Run get-sources first"
+fi

ci/default-config

@@ -0,0 +1,65 @@
+#!/usr/bin/env bash
+set -e -x
+
+if [[ -z "$INITIALIZED" ]]; then
+
+INITIALIZED=1
+
+SCRIPTPATH=$(pwd)
+WORKSPACE=${SCRIPTPATH}/workspace
+PROJECT_ROOT=$(cd $SCRIPTPATH/.. && pwd)
+
+# Almost all scripts take no arguments. Arguments should be in config.
+
+# get-sources
+SOURCES_METHOD=local                # clone, local, tarball
+SOURCES_CLONE_URL="https://github.com/yandex/ClickHouse.git"
+SOURCES_BRANCH="master"
+SOURCES_COMMIT=HEAD                 # do checkout of this commit after clone
+
+# prepare-toolchain
+COMPILER=gcc                        # gcc, clang
+COMPILER_INSTALL_METHOD=packages    # packages, sources
+COMPILER_PACKAGE_VERSION=7          # or 6.0 for clang
+
+# install-compiler-from-sources
+CLANG_SOURCES_BRANCH=trunk          # or tags/RELEASE_600/final
+GCC_SOURCES_VERSION=latest          # or gcc-7.1.0
+
+# install-libraries
+USE_LLVM_LIBRARIES_FROM_SYSTEM=0    # 0 or 1
+ENABLE_EMBEDDED_COMPILER=1
+
+# build
+BUILD_METHOD=normal                 # normal, debian
+BUILD_TARGETS=clickhouse            # tagtet name, all; only for "normal"
+BUILD_TYPE=RelWithDebInfo           # RelWithDebInfo, Debug, ASan, TSan
+CMAKE_FLAGS=""
+
+# prepare-docker-image-ubuntu
+DOCKER_UBUNTU_VERSION=bionic
+DOCKER_UBUNTU_ARCH=arm64            # How the architecture is named in a tarball at https://partner-images.canonical.com/core/
+DOCKER_UBUNTU_QUEMU_ARCH=aarch64    # How the architecture is named in QEMU
+DOCKER_UBUNTU_TAG_ARCH=arm64        # How the architecture is named in Docker
+DOCKER_UBUNTU_QEMU_VER=v2.9.1
+DOCKER_UBUNTU_REPO=multiarch/ubuntu-core
+
+THREADS=$(grep -c ^processor /proc/cpuinfo || nproc || sysctl -a | grep -F 'hw.ncpu' | grep -oE '[0-9]+')
+
+# All scripts should return 0 in case of success, 1 in case of permanent error,
+#  2 in case of temporary error, any other code in case of permanent error.
+function die {
+    echo ${1:-Error}
+    exit ${2:1}
+}
+
+[[ $EUID -ne 0 ]] && SUDO=sudo
+
+./install-os-packages.sh prepare
+
+# Configuration parameters may be overriden with CONFIG environment variable pointing to config file.
+[[ -n "$CONFIG" ]] && source $CONFIG
+
+mkdir -p $WORKSPACE
+
+fi

ci/docker-multiarch/LICENSE

@@ -0,0 +1,21 @@
+The MIT License (MIT)
+
+Copyright (c) 2016 Multiarch
+
+Permission is hereby granted, free of charge, to any person obtaining a copy
+of this software and associated documentation files (the "Software"), to deal
+in the Software without restriction, including without limitation the rights
+to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
+copies of the Software, and to permit persons to whom the Software is
+furnished to do so, subject to the following conditions:
+
+The above copyright notice and this permission notice shall be included in all
+copies or substantial portions of the Software.
+
+THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
+IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
+FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
+AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
+LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
+OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
+SOFTWARE.

ci/docker-multiarch/README.md

@@ -0,0 +1,53 @@
+Source: https://github.com/multiarch/ubuntu-core
+Commit: 3972a7794b40a965615abd710759d3ed439c9a55
+
+# :earth_africa: ubuntu-core
+
+![](https://raw.githubusercontent.com/multiarch/dockerfile/master/logo.jpg)
+
+Multiarch Ubuntu images for Docker.
+
+Based on https://github.com/tianon/docker-brew-ubuntu-core/
+
+* `multiarch/ubuntu-core` on [Docker Hub](https://hub.docker.com/r/multiarch/ubuntu-core/)
+* [Available tags](https://hub.docker.com/r/multiarch/ubuntu-core/tags/)
+
+## Usage
+
+Once you need to configure binfmt-support on your Docker host.
+This works locally or remotely (i.e using boot2docker or swarm).
+
+```console
+# configure binfmt-support on the Docker host (works locally or remotely, i.e: using boot2docker)
+$ docker run --rm --privileged multiarch/qemu-user-static:register --reset
+```
+
+Then you can run an `armhf` image from your `x86_64` Docker host.
+
+```console
+$ docker run -it --rm multiarch/ubuntu-core:armhf-wily
+root@a0818570f614:/# uname -a
+Linux a0818570f614 4.1.13-boot2docker #1 SMP Fri Nov 20 19:05:50 UTC 2015 armv7l armv7l armv7l GNU/Linux
+root@a0818570f614:/# exit
+```
+
+Or an `x86_64` image from your `x86_64` Docker host, directly, without qemu emulation.
+
+```console
+$ docker run -it --rm multiarch/ubuntu-core:amd64-wily
+root@27fe384370c9:/# uname -a
+Linux 27fe384370c9 4.1.13-boot2docker #1 SMP Fri Nov 20 19:05:50 UTC 2015 x86_64 x86_64 x86_64 GNU/Linux
+root@27fe384370c9:/#
+```
+
+It also works for `arm64`
+
+```console
+$ docker run -it --rm multiarch/ubuntu-core:arm64-wily
+root@723fb9f184fa:/# uname -a
+Linux 723fb9f184fa 4.1.13-boot2docker #1 SMP Fri Nov 20 19:05:50 UTC 2015 aarch64 aarch64 aarch64 GNU/Linux
+```
+
+## License
+
+MIT

ci/docker-multiarch/update.sh

@@ -0,0 +1,96 @@
+#!/usr/bin/env bash
+set -e -x
+
+# A POSIX variable
+OPTIND=1 # Reset in case getopts has been used previously in the shell.
+
+while getopts "a:v:q:u:d:t:" opt; do
+    case "$opt" in
+    a)  ARCH=$OPTARG
+        ;;
+    v)  VERSION=$OPTARG
+        ;;
+    q)  QEMU_ARCH=$OPTARG
+        ;;
+    u)  QEMU_VER=$OPTARG
+        ;;
+    d)  DOCKER_REPO=$OPTARG
+        ;;
+    t)  TAG_ARCH=$OPTARG
+        ;;
+    esac
+done
+
+thisTarBase="ubuntu-$VERSION-core-cloudimg-$ARCH"
+thisTar="$thisTarBase-root.tar.gz"
+baseUrl="https://partner-images.canonical.com/core/$VERSION"
+
+
+# install qemu-user-static
+if [ -n "${QEMU_ARCH}" ]; then
+    if [ ! -f x86_64_qemu-${QEMU_ARCH}-static.tar.gz ]; then
+        wget -N https://github.com/multiarch/qemu-user-static/releases/download/${QEMU_VER}/x86_64_qemu-${QEMU_ARCH}-static.tar.gz
+    fi
+    tar -xvf x86_64_qemu-${QEMU_ARCH}-static.tar.gz -C $ROOTFS/usr/bin/
+fi
+
+
+# get the image
+if \
+	wget -q --spider "$baseUrl/current" \
+	&& wget -q --spider "$baseUrl/current/$thisTar" \
+	; then
+		baseUrl+='/current'
+fi
+wget -qN "$baseUrl/"{{MD5,SHA{1,256}}SUMS{,.gpg},"$thisTarBase.manifest",'unpacked/build-info.txt'} || true
+wget -N "$baseUrl/$thisTar"
+
+# check checksum
+if [ -f SHA256SUMS ]; then
+	sha256sum="$(sha256sum "$thisTar" | cut -d' ' -f1)"
+	if ! grep -q "$sha256sum" SHA256SUMS; then
+		echo >&2 "error: '$thisTar' has invalid SHA256"
+		exit 1
+	fi
+fi
+
+cat > Dockerfile <<-EOF
+	FROM scratch
+	ADD $thisTar /
+	ENV ARCH=${ARCH} UBUNTU_SUITE=${VERSION} DOCKER_REPO=${DOCKER_REPO}
+EOF
+
+# add qemu-user-static binary
+if [ -n "${QEMU_ARCH}" ]; then
+    cat >> Dockerfile <<EOF
+
+# Add qemu-user-static binary for amd64 builders
+ADD x86_64_qemu-${QEMU_ARCH}-static.tar.gz /usr/bin
+EOF
+fi
+
+cat >> Dockerfile <<-EOF
+	# a few minor docker-specific tweaks
+	# see https://github.com/docker/docker/blob/master/contrib/mkimage/debootstrap
+	RUN echo '#!/bin/sh' > /usr/sbin/policy-rc.d \\
+		&& echo 'exit 101' >> /usr/sbin/policy-rc.d \\
+		&& chmod +x /usr/sbin/policy-rc.d \\
+		&& dpkg-divert --local --rename --add /sbin/initctl \\
+		&& cp -a /usr/sbin/policy-rc.d /sbin/initctl \\
+		&& sed -i 's/^exit.*/exit 0/' /sbin/initctl \\
+		&& echo 'force-unsafe-io' > /etc/dpkg/dpkg.cfg.d/docker-apt-speedup \\
+		&& echo 'DPkg::Post-Invoke { "rm -f /var/cache/apt/archives/*.deb /var/cache/apt/archives/partial/*.deb /var/cache/apt/*.bin || true"; };' > /etc/apt/apt.conf.d/docker-clean \\
+		&& echo 'APT::Update::Post-Invoke { "rm -f /var/cache/apt/archives/*.deb /var/cache/apt/archives/partial/*.deb /var/cache/apt/*.bin || true"; };' >> /etc/apt/apt.conf.d/docker-clean \\
+		&& echo 'Dir::Cache::pkgcache ""; Dir::Cache::srcpkgcache "";' >> /etc/apt/apt.conf.d/docker-clean \\
+		&& echo 'Acquire::Languages "none";' > /etc/apt/apt.conf.d/docker-no-languages \\
+		&& echo 'Acquire::GzipIndexes "true"; Acquire::CompressionTypes::Order:: "gz";' > /etc/apt/apt.conf.d/docker-gzip-indexes
+
+	# enable the universe
+	RUN sed -i 's/^#\s*\(deb.*universe\)$/\1/g' /etc/apt/sources.list
+
+	# overwrite this with 'CMD []' in a dependent Dockerfile
+	CMD ["/bin/bash"]
+EOF
+
+docker build -t "${DOCKER_REPO}:${TAG_ARCH}-${VERSION}" .
+docker run --rm "${DOCKER_REPO}:${TAG_ARCH}-${VERSION}" /bin/bash -ec "echo Hello from Ubuntu!"

ci/get-sources.sh

@@ -0,0 +1,18 @@
+#!/usr/bin/env bash
+set -e -x
+
+source default-config
+
+if [[ "$SOURCES_METHOD" == "clone" ]]; then
+    ./install-os-packages.sh git
+    SOURCES_DIR="${WORKSPACE}/sources"
+    mkdir -p "${SOURCES_DIR}"
+    git clone --recursive --branch "$SOURCES_BRANCH" "$SOURCES_CLONE_URL" "${SOURCES_DIR}"
+    pushd "${SOURCES_DIR}"
+    git checkout --recurse-submodules "$SOURCES_COMMIT"
+    popd
+elif [[ "$SOURCES_METHOD" == "local" ]]; then
+    ln -f -s "${PROJECT_ROOT}" "${WORKSPACE}/sources"
+else
+    die "Unknown SOURCES_METHOD"
+fi

ci/install-compiler-from-packages.sh

@@ -0,0 +1,22 @@
+#!/usr/bin/env bash
+set -e -x
+
+source default-config
+
+# TODO Install from PPA on older Ubuntu
+
+./install-os-packages.sh ${COMPILER}-${COMPILER_PACKAGE_VERSION}
+
+if [[ "$COMPILER" == "gcc" ]]; then
+    if command -v gcc-${COMPILER_PACKAGE_VERSION}; then export CC=gcc-${COMPILER_PACKAGE_VERSION} CXX=g++-${COMPILER_PACKAGE_VERSION};
+    elif command -v gcc${COMPILER_PACKAGE_VERSION}; then export CC=gcc${COMPILER_PACKAGE_VERSION} CXX=g++${COMPILER_PACKAGE_VERSION};
+    elif command -v gcc; then export CC=gcc CXX=g++;
+    fi
+elif [[ "$COMPILER" == "clang" ]]; then
+    if command -v clang-${COMPILER_PACKAGE_VERSION}; then export CC=clang-${COMPILER_PACKAGE_VERSION} CXX=clang++-${COMPILER_PACKAGE_VERSION};
+    elif command -v clang${COMPILER_PACKAGE_VERSION}; then export CC=clang${COMPILER_PACKAGE_VERSION} CXX=clang++${COMPILER_PACKAGE_VERSION};
+    elif command -v clang; then export CC=clang CXX=clang++;
+    fi
+else
+    die "Unknown compiler specified"
+fi

ci/install-compiler-from-sources.sh

@@ -0,0 +1,12 @@
+#!/usr/bin/env bash
+set -e -x
+
+source default-config
+
+if [[ "$COMPILER" == "gcc" ]]; then
+    . build-gcc-from-sources.sh
+elif [[ "$COMPILER" == "clang" ]]; then
+    . build-clang-from-sources.sh
+else
+    die "Unknown COMPILER"
+fi

ci/install-libraries.sh

@@ -0,0 +1,11 @@
+#!/usr/bin/env bash
+set -e -x
+
+source default-config
+
+./install-os-packages.sh libicu-dev
+./install-os-packages.sh libreadline-dev
+
+if [[ "$ENABLE_EMBEDDED_COMPILER" == 1 && "$USE_LLVM_LIBRARIES_FROM_SYSTEM" == 1 ]]; then
+    ./install-os-packages.sh llvm-libs-5.0
+fi

ci/install-os-packages.sh

@@ -0,0 +1,144 @@
+#!/usr/bin/env bash
+set -e -x
+
+# Dispatches package installation on various OS and distributives
+
+WHAT=$1
+
+[[ $EUID -ne 0 ]] && SUDO=sudo
+
+command -v apt-get && PACKAGE_MANAGER=apt
+command -v yum && PACKAGE_MANAGER=yum
+command -v pkg && PACKAGE_MANAGER=pkg
+
+
+case $PACKAGE_MANAGER in
+    apt)
+        case $WHAT in
+            prepare)
+                $SUDO apt-get update
+                ;;
+            svn)
+                $SUDO apt-get install -y subversion
+                ;;
+            gcc*)
+                $SUDO apt-get install -y $WHAT ${WHAT/cc/++}
+                ;;
+            clang*)
+                $SUDO apt-get install -y $WHAT libc++-dev libc++abi-dev
+                [[ $(uname -m) == "x86_64" ]] && $SUDO apt-get install -y ${WHAT/clang/lld} || true
+                ;;
+            git)
+                $SUDO apt-get install -y git
+                ;;
+            cmake)
+                $SUDO apt-get install -y cmake3 || $SUDO apt-get install -y cmake
+                ;;
+            ninja)
+                $SUDO apt-get install -y ninja-build
+                ;;
+            curl)
+                $SUDO apt-get install -y curl
+                ;;
+            jq)
+                $SUDO apt-get install -y jq
+                ;;
+            libicu-dev)
+                $SUDO apt-get install -y libicu-dev
+                ;;
+            libreadline-dev)
+                $SUDO apt-get install -y libreadline-dev
+                ;;
+            llvm-libs*)
+                $SUDO apt-get install -y ${WHAT/llvm-libs/liblld}-dev ${WHAT/llvm-libs/libclang}-dev
+                ;;
+            qemu-user-static)
+                $SUDO apt-get install -y qemu-user-static
+                ;;
+            vagrant-virtualbox)
+                $SUDO apt-get install -y vagrant virtualbox
+                ;;
+            *)
+                echo "Unknown package"; exit 1;
+                ;;
+        esac
+        ;;
+    yum)
+        case $WHAT in
+            prepare)
+                ;;
+            svn)
+                $SUDO yum install -y subversion
+                ;;
+            gcc*)
+                $SUDO yum install -y gcc gcc-c++ libstdc++-static
+                ;;
+            git)
+                $SUDO yum install -y git
+                ;;
+            cmake)
+                $SUDO yum install -y cmake
+                ;;
+            ninja)
+                $SUDO yum install -y ninja-build
+                ;;
+            curl)
+                $SUDO yum install -y curl
+                ;;
+            jq)
+                $SUDO yum install -y jq
+                ;;
+            libicu-dev)
+                $SUDO yum install -y libicu-devel
+                ;;
+            libreadline-dev)
+                $SUDO yum install -y readline-devel
+                ;;
+            *)
+                echo "Unknown package"; exit 1;
+                ;;
+        esac
+        ;;
+    pkg)
+        case $WHAT in
+            prepare)
+                ;;
+            svn)
+                $SUDO pkg install -y subversion
+                ;;
+            gcc*)
+                $SUDO pkg install -y ${WHAT/-/}
+                ;;
+            clang*)
+                $SUDO pkg install -y clang-devel
+                ;;
+            git)
+                $SUDO pkg install -y git
+                ;;
+            cmake)
+                $SUDO pkg install -y cmake
+                ;;
+            ninja)
+                $SUDO pkg install -y ninja-build
+                ;;
+            curl)
+                $SUDO pkg install -y curl
+                ;;
+            jq)
+                $SUDO pkg install -y jq
+                ;;
+            libicu-dev)
+                $SUDO pkg install -y icu
+                ;;
+            libreadline-dev)
+                $SUDO pkg install -y readline
+                ;;
+            *)
+                echo "Unknown package"; exit 1;
+                ;;
+        esac
+        ;;
+    *)
+        echo "Unknown distributive"; exit 1;
+        ;;
+esac

ci/jobs/quick-build/README.md

@@ -0,0 +1,5 @@
+## Build with debug mode and without many libraries
+
+This job is intended as first check that build is not broken on wide variety of platforms. 
+
+Results of this build are not intended for production usage.

ci/jobs/quick-build/run.sh

@@ -0,0 +1,31 @@
+#!/usr/bin/env bash
+set -e -x
+
+# How to run:
+# From "ci" directory:
+#     jobs/quick-build/run.sh
+# or:
+#     ./run-with-docker.sh ubuntu:bionic jobs/quick-build/run.sh
+
+cd "$(dirname $0)"/../..
+
+. default-config
+
+SOURCES_METHOD=local
+COMPILER=clang
+COMPILER_INSTALL_METHOD=packages
+COMPILER_PACKAGE_VERSION=6.0
+USE_LLVM_LIBRARIES_FROM_SYSTEM=0
+BUILD_METHOD=normal
+BUILD_TARGETS=clickhouse
+BUILD_TYPE=Debug
+ENABLE_EMBEDDED_COMPILER=0
+
+CMAKE_FLAGS="-D CMAKE_C_FLAGS_ADD=-g0 -D CMAKE_CXX_FLAGS_ADD=-g0 -D ENABLE_JEMALLOC=0 -D ENABLE_CAPNP=0 -D ENABLE_RDKAFKA=0 -D ENABLE_UNWIND=0 -D ENABLE_ICU=0 -D ENABLE_POCO_MONGODB=0 -D ENABLE_POCO_NETSSL=0 -D ENABLE_POCO_ODBC=0 -D ENABLE_ODBC=0 -D ENABLE_MYSQL=0"
+
+[[ $(uname) == "FreeBSD" ]] && COMPILER_PACKAGE_VERSION=devel && export COMPILER_PATH=/usr/local/bin
+
+. get-sources.sh
+. prepare-toolchain.sh
+. install-libraries.sh
+. build-normal.sh

ci/prepare-docker-image-ubuntu.sh

@@ -0,0 +1,23 @@
+#!/usr/bin/env bash
+set -e -x
+
+source default-config
+
+./check-docker.sh
+
+# http://fl47l1n3.net/2015/12/24/binfmt/
+./install-os-packages.sh qemu-user-static
+
+pushd docker-multiarch
+
+$SUDO ./update.sh \
+ -a "$DOCKER_UBUNTU_ARCH" \
+ -v "$DOCKER_UBUNTU_VERSION" \
+ -q "$DOCKER_UBUNTU_QUEMU_ARCH" \
+ -u "$DOCKER_UBUNTU_QEMU_VER" \
+ -d "$DOCKER_UBUNTU_REPO" \
+ -t "$DOCKER_UBUNTU_TAG_ARCH"
+
+docker run --rm --privileged multiarch/qemu-user-static:register
+
+popd

ci/prepare-toolchain.sh

@@ -0,0 +1,15 @@
+#!/usr/bin/env bash
+set -e -x
+
+source default-config
+
+./install-os-packages.sh cmake
+./install-os-packages.sh ninja
+
+if [[ "$COMPILER_INSTALL_METHOD" == "packages" ]]; then
+    . install-compiler-from-packages.sh
+elif [[ "$COMPILER_INSTALL_METHOD" == "sources" ]]; then
+    . install-compiler-from-sources.sh
+else
+    die "Unknown COMPILER_INSTALL_METHOD"
+fi

ci/prepare-vagrant-image-freebsd.sh

@@ -0,0 +1,12 @@
+#!/usr/bin/env bash
+set -e -x
+
+source default-config
+
+./install-os-packages.sh vagrant-virtualbox
+
+pushd "vagrant-freebsd"
+vagrant up
+vagrant ssh-config > vagrant-ssh
+ssh -F vagrant-ssh default 'uname -a'
+popd

ci/run-clickhouse-from-binaries.sh

@@ -0,0 +1,18 @@
+#!/usr/bin/env bash
+set -e -x
+
+# Usage example:
+# ./run-with-docker.sh centos:centos6 ./run-clickhouse-from-binaries.sh
+
+source default-config
+
+SERVER_BIN="${WORKSPACE}/build/dbms/src/Server/clickhouse"
+SERVER_CONF="${WORKSPACE}/sources/dbms/src/Server/config.xml"
+SERVER_DATADIR="${WORKSPACE}/clickhouse"
+
+[[ -x "$SERVER_BIN" ]] || die "Run build-normal.sh first"
+[[ -r "$SERVER_CONF" ]] || die "Run get-sources.sh first"
+
+mkdir -p "${SERVER_DATADIR}"
+
+$SERVER_BIN server --config-file "$SERVER_CONF" --pid-file="${WORKSPACE}/clickhouse.pid" -- --path "$SERVER_DATADIR"

ci/run-with-docker.sh

@@ -0,0 +1,9 @@
+#!/usr/bin/env bash
+set -e -x
+
+mkdir -p /var/cache/ccache
+DOCKER_ENV+=" --mount=type=bind,source=/var/cache/ccache,destination=/ccache -e CCACHE_DIR=/ccache "
+
+PROJECT_ROOT="$(cd "$(dirname "$0")/.."; pwd -P)"
+[[ -n "$CONFIG" ]] && DOCKER_ENV="--env=CONFIG"
+docker run -t --network=host --mount=type=bind,source=${PROJECT_ROOT},destination=/ClickHouse --workdir=/ClickHouse/ci $DOCKER_ENV "$1" "$2"

ci/run-with-vagrant.sh

@@ -0,0 +1,14 @@
+#!/usr/bin/env bash
+set -e -x
+
+[[ -r "vagrant-${1}/vagrant-ssh" ]] || die "Run prepare-vagrant-image-... first."
+
+pushd vagrant-$1
+
+shopt -s extglob
+
+vagrant ssh -c "mkdir -p ClickHouse"
+scp -q -F vagrant-ssh -r ../../!(*build*) default:~/ClickHouse
+vagrant ssh -c "cd ClickHouse/ci; $2"
+
+popd

ci/vagrant-freebsd/.gitignore

@@ -0,0 +1 @@
+.vagrant

ci/vagrant-freebsd/Vagrantfile

@@ -0,0 +1,3 @@
+Vagrant.configure("2") do |config|
+  config.vm.box = "generic/freebsd11"
+end

cmake/Modules/FindICU.cmake

@@ -0,0 +1,394 @@
+# Distributed under the OSI-approved BSD 3-Clause License.  See accompanying
+# file Copyright.txt or https://cmake.org/licensing for details.
+
+#.rst:
+# FindICU
+# -------
+#
+# Find the International Components for Unicode (ICU) libraries and
+# programs.
+#
+# This module supports multiple components.
+# Components can include any of: ``data``, ``i18n``, ``io``, ``le``,
+# ``lx``, ``test``, ``tu`` and ``uc``.
+#
+# Note that on Windows ``data`` is named ``dt`` and ``i18n`` is named
+# ``in``; any of the names may be used, and the appropriate
+# platform-specific library name will be automatically selected.
+#
+# This module reports information about the ICU installation in
+# several variables.  General variables::
+#
+#   ICU_VERSION - ICU release version
+#   ICU_FOUND - true if the main programs and libraries were found
+#   ICU_LIBRARIES - component libraries to be linked
+#   ICU_INCLUDE_DIRS - the directories containing the ICU headers
+#
+# Imported targets::
+#
+#   ICU::<C>
+#
+# Where ``<C>`` is the name of an ICU component, for example
+# ``ICU::i18n``.
+#
+# ICU programs are reported in::
+#
+#   ICU_GENCNVAL_EXECUTABLE - path to gencnval executable
+#   ICU_ICUINFO_EXECUTABLE - path to icuinfo executable
+#   ICU_GENBRK_EXECUTABLE - path to genbrk executable
+#   ICU_ICU-CONFIG_EXECUTABLE - path to icu-config executable
+#   ICU_GENRB_EXECUTABLE - path to genrb executable
+#   ICU_GENDICT_EXECUTABLE - path to gendict executable
+#   ICU_DERB_EXECUTABLE - path to derb executable
+#   ICU_PKGDATA_EXECUTABLE - path to pkgdata executable
+#   ICU_UCONV_EXECUTABLE - path to uconv executable
+#   ICU_GENCFU_EXECUTABLE - path to gencfu executable
+#   ICU_MAKECONV_EXECUTABLE - path to makeconv executable
+#   ICU_GENNORM2_EXECUTABLE - path to gennorm2 executable
+#   ICU_GENCCODE_EXECUTABLE - path to genccode executable
+#   ICU_GENSPREP_EXECUTABLE - path to gensprep executable
+#   ICU_ICUPKG_EXECUTABLE - path to icupkg executable
+#   ICU_GENCMN_EXECUTABLE - path to gencmn executable
+#
+# ICU component libraries are reported in::
+#
+#   ICU_<C>_FOUND - ON if component was found
+#   ICU_<C>_LIBRARIES - libraries for component
+#
+# ICU datafiles are reported in::
+#
+#   ICU_MAKEFILE_INC - Makefile.inc
+#   ICU_PKGDATA_INC - pkgdata.inc
+#
+# Note that ``<C>`` is the uppercased name of the component.
+#
+# This module reads hints about search results from::
+#
+#   ICU_ROOT - the root of the ICU installation
+#
+# The environment variable ``ICU_ROOT`` may also be used; the
+# ICU_ROOT variable takes precedence.
+#
+# The following cache variables may also be set::
+#
+#   ICU_<P>_EXECUTABLE - the path to executable <P>
+#   ICU_INCLUDE_DIR - the directory containing the ICU headers
+#   ICU_<C>_LIBRARY - the library for component <C>
+#
+# .. note::
+#
+#   In most cases none of the above variables will require setting,
+#   unless multiple ICU versions are available and a specific version
+#   is required.
+#
+# Other variables one may set to control this module are::
+#
+#   ICU_DEBUG - Set to ON to enable debug output from FindICU.
+
+# Written by Roger Leigh <rleigh@codelibre.net>
+
+set(icu_programs
+  gencnval
+  icuinfo
+  genbrk
+  icu-config
+  genrb
+  gendict
+  derb
+  pkgdata
+  uconv
+  gencfu
+  makeconv
+  gennorm2
+  genccode
+  gensprep
+  icupkg
+  gencmn)
+
+set(icu_data
+  Makefile.inc
+  pkgdata.inc)
+
+# The ICU checks are contained in a function due to the large number
+# of temporary variables needed.
+function(_ICU_FIND)
+  # Set up search paths, taking compiler into account.  Search ICU_ROOT,
+  # with ICU_ROOT in the environment as a fallback if unset.
+  if(ICU_ROOT)
+    list(APPEND icu_roots "${ICU_ROOT}")
+  else()
+    if(NOT "$ENV{ICU_ROOT}" STREQUAL "")
+      file(TO_CMAKE_PATH "$ENV{ICU_ROOT}" NATIVE_PATH)
+      list(APPEND icu_roots "${NATIVE_PATH}")
+      set(ICU_ROOT "${NATIVE_PATH}"
+          CACHE PATH "Location of the ICU installation" FORCE)
+    endif()
+  endif()
+
+  # Find include directory
+  list(APPEND icu_include_suffixes "include")
+  find_path(ICU_INCLUDE_DIR
+            NAMES "unicode/utypes.h"
+            HINTS ${icu_roots}
+            PATH_SUFFIXES ${icu_include_suffixes}
+            DOC "ICU include directory")
+  set(ICU_INCLUDE_DIR "${ICU_INCLUDE_DIR}" PARENT_SCOPE)
+
+  # Get version
+  if(ICU_INCLUDE_DIR AND EXISTS "${ICU_INCLUDE_DIR}/unicode/uvernum.h")
+    file(STRINGS "${ICU_INCLUDE_DIR}/unicode/uvernum.h" icu_header_str
+      REGEX "^#define[\t ]+U_ICU_VERSION[\t ]+\".*\".*")
+
+    string(REGEX REPLACE "^#define[\t ]+U_ICU_VERSION[\t ]+\"([^ \\n]*)\".*"
+      "\\1" icu_version_string "${icu_header_str}")
+    set(ICU_VERSION "${icu_version_string}")
+    set(ICU_VERSION "${icu_version_string}" PARENT_SCOPE)
+    unset(icu_header_str)
+    unset(icu_version_string)
+  endif()
+
+  if(CMAKE_SIZEOF_VOID_P EQUAL 8)
+    # 64-bit binary directory
+    set(_bin64 "bin64")
+    # 64-bit library directory
+    set(_lib64 "lib64")
+  endif()
+
+
+  # Find all ICU programs
+  list(APPEND icu_binary_suffixes "${_bin64}" "bin")
+  foreach(program ${icu_programs})
+    string(TOUPPER "${program}" program_upcase)
+    set(cache_var "ICU_${program_upcase}_EXECUTABLE")
+    set(program_var "ICU_${program_upcase}_EXECUTABLE")
+    find_program("${cache_var}" "${program}"
+      HINTS ${icu_roots}
+      PATH_SUFFIXES ${icu_binary_suffixes}
+      DOC "ICU ${program} executable")
+    mark_as_advanced(cache_var)
+    set("${program_var}" "${${cache_var}}" PARENT_SCOPE)
+  endforeach()
+
+  # Find all ICU libraries
+  list(APPEND icu_library_suffixes "${_lib64}" "lib")
+  set(ICU_REQUIRED_LIBS_FOUND ON)
+  foreach(component ${ICU_FIND_COMPONENTS})
+    string(TOUPPER "${component}" component_upcase)
+    set(component_cache "ICU_${component_upcase}_LIBRARY")
+    set(component_cache_release "${component_cache}_RELEASE")
+    set(component_cache_debug "${component_cache}_DEBUG")
+    set(component_found "${component_upcase}_FOUND")
+    set(component_libnames "icu${component}")
+    set(component_debug_libnames "icu${component}d")
+
+    # Special case deliberate library naming mismatches between Unix
+    # and Windows builds
+    unset(component_libnames)
+    unset(component_debug_libnames)
+    list(APPEND component_libnames "icu${component}")
+    list(APPEND component_debug_libnames "icu${component}d")
+    if(component STREQUAL "data")
+      list(APPEND component_libnames "icudt")
+      # Note there is no debug variant at present
+      list(APPEND component_debug_libnames "icudtd")
+    endif()
+    if(component STREQUAL "dt")
+      list(APPEND component_libnames "icudata")
+      # Note there is no debug variant at present
+      list(APPEND component_debug_libnames "icudatad")
+    endif()
+    if(component STREQUAL "i18n")
+      list(APPEND component_libnames "icuin")
+      list(APPEND component_debug_libnames "icuind")
+    endif()
+    if(component STREQUAL "in")
+      list(APPEND component_libnames "icui18n")
+      list(APPEND component_debug_libnames "icui18nd")
+    endif()
+
+    find_library("${component_cache_release}" ${component_libnames}
+      HINTS ${icu_roots}
+      PATH_SUFFIXES ${icu_library_suffixes}
+      DOC "ICU ${component} library (release)")
+    find_library("${component_cache_debug}" ${component_debug_libnames}
+      HINTS ${icu_roots}
+      PATH_SUFFIXES ${icu_library_suffixes}
+      DOC "ICU ${component} library (debug)")
+    include(SelectLibraryConfigurations)
+    select_library_configurations(ICU_${component_upcase})
+    mark_as_advanced("${component_cache_release}" "${component_cache_debug}")
+    if(${component_cache})
+      set("${component_found}" ON)
+      list(APPEND ICU_LIBRARY "${${component_cache}}")
+    endif()
+    mark_as_advanced("${component_found}")
+    set("${component_cache}" "${${component_cache}}" PARENT_SCOPE)
+    set("${component_found}" "${${component_found}}" PARENT_SCOPE)
+    if(${component_found})
+      if (ICU_FIND_REQUIRED_${component})
+        list(APPEND ICU_LIBS_FOUND "${component} (required)")
+      else()
+        list(APPEND ICU_LIBS_FOUND "${component} (optional)")
+      endif()
+    else()
+      if (ICU_FIND_REQUIRED_${component})
+        set(ICU_REQUIRED_LIBS_FOUND OFF)
+        list(APPEND ICU_LIBS_NOTFOUND "${component} (required)")
+      else()
+        list(APPEND ICU_LIBS_NOTFOUND "${component} (optional)")
+      endif()
+    endif()
+  endforeach()
+  set(_ICU_REQUIRED_LIBS_FOUND "${ICU_REQUIRED_LIBS_FOUND}" PARENT_SCOPE)
+  set(ICU_LIBRARY "${ICU_LIBRARY}" PARENT_SCOPE)
+
+  # Find all ICU data files
+  if(CMAKE_LIBRARY_ARCHITECTURE)
+    list(APPEND icu_data_suffixes
+      "${_lib64}/${CMAKE_LIBRARY_ARCHITECTURE}/icu/${ICU_VERSION}"
+      "lib/${CMAKE_LIBRARY_ARCHITECTURE}/icu/${ICU_VERSION}"
+      "${_lib64}/${CMAKE_LIBRARY_ARCHITECTURE}/icu"
+      "lib/${CMAKE_LIBRARY_ARCHITECTURE}/icu")
+  endif()
+  list(APPEND icu_data_suffixes
+    "${_lib64}/icu/${ICU_VERSION}"
+    "lib/icu/${ICU_VERSION}"
+    "${_lib64}/icu"
+    "lib/icu")
+  foreach(data ${icu_data})
+    string(TOUPPER "${data}" data_upcase)
+    string(REPLACE "." "_" data_upcase "${data_upcase}")
+    set(cache_var "ICU_${data_upcase}")
+    set(data_var "ICU_${data_upcase}")
+    find_file("${cache_var}" "${data}"
+      HINTS ${icu_roots}
+      PATH_SUFFIXES ${icu_data_suffixes}
+      DOC "ICU ${data} data file")
+    mark_as_advanced(cache_var)
+    set("${data_var}" "${${cache_var}}" PARENT_SCOPE)
+  endforeach()
+
+  if(NOT ICU_FIND_QUIETLY)
+    if(ICU_LIBS_FOUND)
+      message(STATUS "Found the following ICU libraries:")
+      foreach(found ${ICU_LIBS_FOUND})
+        message(STATUS "  ${found}")
+      endforeach()
+    endif()
+    if(ICU_LIBS_NOTFOUND)
+      message(STATUS "The following ICU libraries were not found:")
+      foreach(notfound ${ICU_LIBS_NOTFOUND})
+        message(STATUS "  ${notfound}")
+      endforeach()
+    endif()
+  endif()
+
+  if(ICU_DEBUG)
+    message(STATUS "--------FindICU.cmake search debug--------")
+    message(STATUS "ICU binary path search order: ${icu_roots}")
+    message(STATUS "ICU include path search order: ${icu_roots}")
+    message(STATUS "ICU library path search order: ${icu_roots}")
+    message(STATUS "----------------")
+  endif()
+endfunction()
+
+_ICU_FIND()
+
+include(FindPackageHandleStandardArgs)
+FIND_PACKAGE_HANDLE_STANDARD_ARGS(ICU
+                                  FOUND_VAR ICU_FOUND
+                                  REQUIRED_VARS ICU_INCLUDE_DIR
+                                                ICU_LIBRARY
+                                                _ICU_REQUIRED_LIBS_FOUND
+                                  VERSION_VAR ICU_VERSION
+                                  FAIL_MESSAGE "Failed to find all ICU components")
+
+unset(_ICU_REQUIRED_LIBS_FOUND)
+
+if(ICU_FOUND)
+  set(ICU_INCLUDE_DIRS "${ICU_INCLUDE_DIR}")
+  set(ICU_LIBRARIES "${ICU_LIBRARY}")
+  foreach(_ICU_component ${ICU_FIND_COMPONENTS})
+    string(TOUPPER "${_ICU_component}" _ICU_component_upcase)
+    set(_ICU_component_cache "ICU_${_ICU_component_upcase}_LIBRARY")
+    set(_ICU_component_cache_release "ICU_${_ICU_component_upcase}_LIBRARY_RELEASE")
+    set(_ICU_component_cache_debug "ICU_${_ICU_component_upcase}_LIBRARY_DEBUG")
+    set(_ICU_component_lib "ICU_${_ICU_component_upcase}_LIBRARIES")
+    set(_ICU_component_found "${_ICU_component_upcase}_FOUND")
+    set(_ICU_imported_target "ICU::${_ICU_component}")
+    if(${_ICU_component_found})
+      set("${_ICU_component_lib}" "${${_ICU_component_cache}}")
+      if(NOT TARGET ${_ICU_imported_target})
+        add_library(${_ICU_imported_target} UNKNOWN IMPORTED)
+        if(ICU_INCLUDE_DIR)
+          set_target_properties(${_ICU_imported_target} PROPERTIES
+            INTERFACE_INCLUDE_DIRECTORIES "${ICU_INCLUDE_DIR}")
+        endif()
+        if(EXISTS "${${_ICU_component_cache}}")
+          set_target_properties(${_ICU_imported_target} PROPERTIES
+            IMPORTED_LINK_INTERFACE_LANGUAGES "CXX"
+            IMPORTED_LOCATION "${${_ICU_component_cache}}")
+        endif()
+        if(EXISTS "${${_ICU_component_cache_release}}")
+          set_property(TARGET ${_ICU_imported_target} APPEND PROPERTY
+            IMPORTED_CONFIGURATIONS RELEASE)
+          set_target_properties(${_ICU_imported_target} PROPERTIES
+            IMPORTED_LINK_INTERFACE_LANGUAGES_RELEASE "CXX"
+            IMPORTED_LOCATION_RELEASE "${${_ICU_component_cache_release}}")
+        endif()
+        if(EXISTS "${${_ICU_component_cache_debug}}")
+          set_property(TARGET ${_ICU_imported_target} APPEND PROPERTY
+            IMPORTED_CONFIGURATIONS DEBUG)
+          set_target_properties(${_ICU_imported_target} PROPERTIES
+            IMPORTED_LINK_INTERFACE_LANGUAGES_DEBUG "CXX"
+            IMPORTED_LOCATION_DEBUG "${${_ICU_component_cache_debug}}")
+        endif()
+      endif()
+    endif()
+    unset(_ICU_component_upcase)
+    unset(_ICU_component_cache)
+    unset(_ICU_component_lib)
+    unset(_ICU_component_found)
+    unset(_ICU_imported_target)
+  endforeach()
+endif()
+
+if(ICU_DEBUG)
+  message(STATUS "--------FindICU.cmake results debug--------")
+  message(STATUS "ICU found: ${ICU_FOUND}")
+  message(STATUS "ICU_VERSION number: ${ICU_VERSION}")
+  message(STATUS "ICU_ROOT directory: ${ICU_ROOT}")
+  message(STATUS "ICU_INCLUDE_DIR directory: ${ICU_INCLUDE_DIR}")
+  message(STATUS "ICU_LIBRARIES: ${ICU_LIBRARIES}")
+
+  foreach(program IN LISTS icu_programs)
+    string(TOUPPER "${program}" program_upcase)
+    set(program_lib "ICU_${program_upcase}_EXECUTABLE")
+    message(STATUS "${program} program: ${${program_lib}}")
+    unset(program_upcase)
+    unset(program_lib)
+  endforeach()
+
+  foreach(data IN LISTS icu_data)
+    string(TOUPPER "${data}" data_upcase)
+    string(REPLACE "." "_" data_upcase "${data_upcase}")
+    set(data_lib "ICU_${data_upcase}")
+    message(STATUS "${data} data: ${${data_lib}}")
+    unset(data_upcase)
+    unset(data_lib)
+  endforeach()
+
+  foreach(component IN LISTS ICU_FIND_COMPONENTS)
+    string(TOUPPER "${component}" component_upcase)
+    set(component_lib "ICU_${component_upcase}_LIBRARIES")
+    set(component_found "${component_upcase}_FOUND")
+    message(STATUS "${component} library found: ${${component_found}}")
+    message(STATUS "${component} library: ${${component_lib}}")
+    unset(component_upcase)
+    unset(component_lib)
+    unset(component_found)
+  endforeach()
+  message(STATUS "----------------")
+endif()
+
+unset(icu_programs)

cmake/Modules/FindODBC.cmake

@@ -0,0 +1,88 @@
+# This file copied from contrib/poco/cmake/FindODBC.cmake to allow build without submodules
+
+#
+# Find the ODBC driver manager includes and library.
+#
+# ODBC is an open standard for connecting to different databases in a
+# semi-vendor-independent fashion.  First you install the ODBC driver
+# manager.  Then you need a driver for each separate database you want
+# to connect to (unless a generic one works).  VTK includes neither
+# the driver manager nor the vendor-specific drivers: you have to find
+# those yourself.
+#
+# This module defines
+# ODBC_INCLUDE_DIRECTORIES, where to find sql.h
+# ODBC_LIBRARIES, the libraries to link against to use ODBC
+# ODBC_FOUND.  If false, you cannot build anything that requires ODBC.
+
+option (ENABLE_ODBC "Enable ODBC" ${OS_LINUX})
+if (OS_LINUX)
+    option (USE_INTERNAL_ODBC_LIBRARY "Set to FALSE to use system odbc library instead of bundled" ${NOT_UNBUNDLED})
+else ()
+    option (USE_INTERNAL_ODBC_LIBRARY "Set to FALSE to use system odbc library instead of bundled" OFF)
+endif ()
+
+if (USE_INTERNAL_ODBC_LIBRARY AND NOT EXISTS "${ClickHouse_SOURCE_DIR}/contrib/unixodbc/README")
+    message (WARNING "submodule contrib/unixodbc is missing. to fix try run: \n git submodule update --init --recursive")
+   set (USE_INTERNAL_ODBC_LIBRARY 0)
+endif ()
+
+if (ENABLE_ODBC)
+    if (USE_INTERNAL_ODBC_LIBRARY)
+        set (ODBC_LIBRARIES unixodbc)
+        set (ODBC_INCLUDE_DIRECTORIES ${CMAKE_SOURCE_DIR}/contrib/unixodbc/include)
+        set (ODBC_FOUND 1)
+        set (USE_ODBC 1)
+    else ()
+        find_path(ODBC_INCLUDE_DIRECTORIES
+            NAMES sql.h
+            HINTS
+            /usr/include
+            /usr/include/iodbc
+            /usr/include/odbc
+            /usr/local/include
+            /usr/local/include/iodbc
+            /usr/local/include/odbc
+            /usr/local/iodbc/include
+            /usr/local/odbc/include
+            "C:/Program Files/ODBC/include"
+            "C:/Program Files/Microsoft SDKs/Windows/v7.0/include"
+            "C:/Program Files/Microsoft SDKs/Windows/v6.0a/include"
+            "C:/ODBC/include"
+            DOC "Specify the directory containing sql.h."
+        )
+
+        find_library(ODBC_LIBRARIES
+            NAMES iodbc odbc iodbcinst odbcinst odbc32
+            HINTS
+            /usr/lib
+            /usr/lib/iodbc
+            /usr/lib/odbc
+            /usr/local/lib
+            /usr/local/lib/iodbc
+            /usr/local/lib/odbc
+            /usr/local/iodbc/lib
+            /usr/local/odbc/lib
+            "C:/Program Files/ODBC/lib"
+            "C:/ODBC/lib/debug"
+            "C:/Program Files (x86)/Microsoft SDKs/Windows/v7.0A/Lib"
+            DOC "Specify the ODBC driver manager library here."
+        )
+
+        # MinGW find usually fails
+        if(MINGW)
+            set(ODBC_INCLUDE_DIRECTORIES ".")
+            set(ODBC_LIBRARIES odbc32)
+        endif()
+
+        include(FindPackageHandleStandardArgs)
+        find_package_handle_standard_args(ODBC
+            DEFAULT_MSG
+            ODBC_INCLUDE_DIRECTORIES
+            ODBC_LIBRARIES)
+
+        mark_as_advanced(ODBC_FOUND ODBC_LIBRARIES ODBC_INCLUDE_DIRECTORIES)
+    endif ()
+endif ()
+
+message (STATUS "Using odbc: ${ODBC_INCLUDE_DIRECTORIES} : ${ODBC_LIBRARIES}")

cmake/Modules/FindPoco.cmake

@@ -51,6 +51,7 @@
 
 set(Poco_HINTS
     /usr/local
+    /usr/local/include/Poco
     C:/AppliedInformatics
     ${Poco_DIR}
     $ENV{Poco_DIR}
@@ -116,28 +117,35 @@ foreach( component ${components} )
 
     # include directory for the component
     if(NOT Poco_${component}_INCLUDE_DIR)
+        set (component_alt "${component}")
+        set (component_root "${component}")
         if (${component} STREQUAL "DataODBC")
-            set (component_in_data "ODBC")
+            set (component_top "Data")
-        else ()
+            set (component_in "ODBC")
-            set (component_in_data "")
+            set (component_root "Data/ODBC")
+        endif ()
+        if (${component} STREQUAL "SQLODBC")
+            set (component_top "SQL")
+            set (component_in "ODBC")
+            set (component_root "SQL/ODBC")
         endif ()
         if (${component} STREQUAL "NetSSL")
             set (component_alt "Net")
-        else ()
+            set (component_root "NetSSL_OpenSSL")
-            set (component_alt ${component})
         endif ()
         find_path(Poco_${component}_INCLUDE_DIR
             NAMES
                 Poco/${component}.h     # e.g. Foundation.h
                 Poco/${component}/${component}.h # e.g. OSP/OSP.h Util/Util.h
                 Poco/${component_alt}/${component}.h # e.g. Net/NetSSL.h
-                Poco/Data/${component_in_data}/${component_in_data}.h # e.g. Data/ODBC/ODBC.h
+                Poco/${component_top}/${component_in}/${component_in}.h # e.g. Data/ODBC/ODBC.h
             HINTS
                 ${Poco_ROOT_DIR}
             PATH_SUFFIXES
                 include
-                ${component}/include
+                ${component_root}/include
         )
+        # message(STATUS "poco include debug: {component}: ${Poco_${component}_INCLUDE_DIR}")
     endif()
     if(NOT Poco_${component}_INCLUDE_DIR)
         message(WARNING "Poco_${component}_INCLUDE_DIR NOT FOUND")
@@ -189,6 +197,8 @@ foreach( component ${components} )
     elseif(NOT Poco_FIND_QUIETLY)
         message(WARNING "Could not find Poco component ${component}!")
     endif()
+
+    # message(STATUS "Poco component ${component}: Poco_${component}_LIBRARY : Poco_${component}_INCLUDE_DIR")
 endforeach()
 
 if(Poco_DataODBC_LIBRARY)
@@ -196,6 +206,11 @@ if(Poco_DataODBC_LIBRARY)
     list(APPEND Poco_INCLUDE_DIRS ${ODBC_INCLUDE_DIRECTORIES})
 endif()
 
+if(Poco_SQLODBC_LIBRARY)
+    list(APPEND Poco_SQLODBC_LIBRARY ${ODBC_LIBRARIES} ${LTDL_LIBRARY})
+    list(APPEND Poco_INCLUDE_DIRS ${ODBC_INCLUDE_DIRECTORIES})
+endif()
+
 if(Poco_NetSSL_LIBRARY)
     list(APPEND Poco_NetSSL_LIBRARY ${OPENSSL_LIBRARIES})
     list(APPEND Poco_INCLUDE_DIRS ${OPENSSL_INCLUDE_DIR})
@@ -230,5 +245,3 @@ if(${Poco_OSP_FOUND})
 endif()
 
 message(STATUS "Found Poco: ${Poco_LIBRARIES}")
-
-

cmake/arch.cmake

@@ -7,19 +7,16 @@ endif ()
 if (CMAKE_LIBRARY_ARCHITECTURE MATCHES "i386")
     set (ARCH_I386 1)
 endif ()
-if ( ( ARCH_ARM AND NOT ARCH_AARCH64 ) OR ARCH_I386)
+if ((ARCH_ARM AND NOT ARCH_AARCH64) OR ARCH_I386)
     set (ARCH_32 1)
-    message (WARNING "Support for 32bit platforms is highly experimental")
+    message (FATAL_ERROR "32bit platforms are not supported")
-endif ()
-if (CMAKE_SYSTEM MATCHES "Linux")
-    set (ARCH_LINUX 1)
-endif ()
-if (CMAKE_SYSTEM MATCHES "FreeBSD")
-    set (ARCH_FREEBSD 1)
 endif ()
 
-if (NOT MSVC)
+if (CMAKE_SYSTEM MATCHES "Linux")
-    set (NOT_MSVC 1)
+    set (OS_LINUX 1)
+endif ()
+if (CMAKE_SYSTEM MATCHES "FreeBSD")
+    set (OS_FREEBSD 1)
 endif ()
 
 if (CMAKE_CXX_COMPILER_ID STREQUAL "GNU")

cmake/dbms_generate_function.cmake

@@ -1,13 +0,0 @@
-
-function(generate_function_register FUNCTION_AREA)
-
-  foreach(FUNCTION IN LISTS ARGN)
-    configure_file (registerFunction.h.in register${FUNCTION}.h)
-    configure_file (registerFunction.cpp.in register${FUNCTION}.cpp)
-    set(REGISTER_HEADERS "${REGISTER_HEADERS} #include \"register${FUNCTION}.h\"\n")
-    set(REGISTER_FUNCTIONS "${REGISTER_FUNCTIONS} register${FUNCTION}(factory);\n")
-  endforeach()
-
-  configure_file (registerFunctions_area.cpp.in registerFunctions${FUNCTION_AREA}.cpp)
-
-endfunction()

cmake/find_base64.cmake

@@ -0,0 +1,12 @@
+option (ENABLE_BASE64 "Enable base64" ON)
+
+if (ENABLE_BASE64)
+    if (NOT EXISTS "${ClickHouse_SOURCE_DIR}/contrib/base64")
+        message (WARNING "submodule contrib/base64 is missing. to fix try run: \n git submodule update --init --recursive")
+    else()
+        set (BASE64_INCLUDE_DIR ${ClickHouse_SOURCE_DIR}/contrib/base64/include)
+        set (BASE64_LIBRARY base64)
+        set (USE_BASE64 1)
+    endif()
+endif ()
+

cmake/find_boost.cmake

@@ -26,9 +26,9 @@ endif ()
 
 if (NOT Boost_SYSTEM_LIBRARY)
     set (USE_INTERNAL_BOOST_LIBRARY 1)
-    set (Boost_PROGRAM_OPTIONS_LIBRARY boost_program_options_internal)
     set (Boost_SYSTEM_LIBRARY boost_system_internal)
-    set (Boost_FILESYSTEM_LIBRARY boost_filesystem_internal)
+    set (Boost_PROGRAM_OPTIONS_LIBRARY boost_program_options_internal)
+    set (Boost_FILESYSTEM_LIBRARY boost_filesystem_internal ${Boost_SYSTEM_LIBRARY})
 
     set (Boost_INCLUDE_DIRS)
 

cmake/find_capnp.cmake

@@ -1,7 +1,6 @@
-option (ENABLE_CAPNP "Enable Cap'n Proto" ${NOT_MSVC})
+option (ENABLE_CAPNP "Enable Cap'n Proto" ON)
 
 if (ENABLE_CAPNP)
-
     # cmake 3.5.1 bug:
     # capnproto uses this cmake feature:
     # target_compile_features(kj PUBLIC cxx_constexpr)
@@ -30,7 +29,7 @@ if (ENABLE_CAPNP)
         find_library (CAPNP capnp PATHS ${CAPNP_PATHS})
         find_library (CAPNPC capnpc PATHS ${CAPNP_PATHS})
         find_library (KJ kj PATHS ${CAPNP_PATHS})
-        set (CAPNP_LIBRARY ${CAPNP} ${CAPNPC} ${KJ})
+        set (CAPNP_LIBRARY ${CAPNPC} ${CAPNP} ${KJ})
         find_path (CAPNP_INCLUDE_DIR NAMES capnp/schema-parser.h PATHS ${CAPNP_INCLUDE_PATHS})
     endif ()
 
@@ -42,7 +41,6 @@ if (ENABLE_CAPNP)
         set (CAPNP_LIBRARY capnpc)
         set (USE_CAPNP 1)
     endif ()
-
 endif ()
 
 if (USE_CAPNP)

cmake/find_consistent-hashing.cmake

@@ -0,0 +1,14 @@
+option (USE_INTERNAL_CONSISTENT_HASHING_LIBRARY "Set to FALSE to use consistent-hashing library from Arcadia (Yandex internal repository) instead of bundled" ${NOT_UNBUNDLED})
+
+if (NOT USE_INTERNAL_CONSISTENT_HASHING_LIBRARY)
+    find_library (CONSISTENT_HASHING_LIBRARY consistent-hashing)
+    find_path (CONSISTENT_HASHING_INCLUDE_DIR NAMES consistent_hashing.h PATHS ${CONSISTENT_HASHING_INCLUDE_PATHS})
+endif ()
+
+if (CONSISTENT_HASHING_LIBRARY AND CONSISTENT_HASHING_INCLUDE_DIR)
+else ()
+    set (USE_INTERNAL_CONSISTENT_HASHING_LIBRARY 1)
+    set (CONSISTENT_HASHING_LIBRARY consistent-hashing)
+endif ()
+
+message (STATUS "Using consistent-hashing: ${CONSISTENT_HASHING_INCLUDE_DIR} : ${CONSISTENT_HASHING_LIBRARY}")

cmake/find_cpuid.cmake

@@ -0,0 +1,29 @@
+if (NOT ARCH_ARM)
+    option (USE_INTERNAL_CPUID_LIBRARY "Set to FALSE to use system cpuid library instead of bundled" ${NOT_UNBUNDLED})
+endif ()
+
+#if (USE_INTERNAL_CPUID_LIBRARY AND NOT EXISTS "${ClickHouse_SOURCE_DIR}/contrib/libcpuid/include/cpuid/libcpuid.h")
+#   message (WARNING "submodule contrib/libcpuid is missing. to fix try run: \n git submodule update --init --recursive")
+#   set (USE_INTERNAL_CPUID_LIBRARY 0)
+#   set (MISSING_INTERNAL_CPUID_LIBRARY 1)
+#endif ()
+
+if (NOT USE_INTERNAL_CPUID_LIBRARY)
+    find_library (CPUID_LIBRARY cpuid)
+    find_path (CPUID_INCLUDE_DIR NAMES libcpuid/libcpuid.h PATHS ${CPUID_INCLUDE_PATHS})
+endif ()
+
+if (CPUID_LIBRARY AND CPUID_INCLUDE_DIR)
+    if (OS_FREEBSD)
+        # need in /usr/local/include/libcpuid/libcpuid_types.h
+        # Freebsd: /usr/local/include/libcpuid/libcpuid_types.h:61:29: error: conflicting declaration 'typedef long long int int64_t'
+        add_definitions(-DHAVE_STDINT_H)
+        # TODO: make virtual target cpuid:cpuid with COMPILE_DEFINITIONS property
+    endif ()
+elseif (NOT MISSING_INTERNAL_CPUID_LIBRARY)
+    set (CPUID_INCLUDE_DIR ${ClickHouse_SOURCE_DIR}/contrib/libcpuid/include)
+    set (USE_INTERNAL_CPUID_LIBRARY 1)
+    set (CPUID_LIBRARY cpuid)
+endif ()
+
+message (STATUS "Using cpuid: ${CPUID_INCLUDE_DIR} : ${CPUID_LIBRARY}")

cmake/find_execinfo.cmake

@@ -1,6 +1,9 @@
-if (ARCH_FREEBSD)
+if (OS_FREEBSD)
     find_library (EXECINFO_LIBRARY execinfo)
+    find_library (ELF_LIBRARY elf)
     message (STATUS "Using execinfo: ${EXECINFO_LIBRARY}")
+    message (STATUS "Using elf: ${ELF_LIBRARY}")
 else ()
     set (EXECINFO_LIBRARY "")
+    set (ELF_LIBRARY "")
 endif ()

cmake/find_gtest.cmake

@@ -9,20 +9,12 @@ if (NOT EXISTS "${ClickHouse_SOURCE_DIR}/contrib/googletest/googletest/CMakeList
 endif ()
 
 if (NOT USE_INTERNAL_GTEST_LIBRARY)
-    find_path (GTEST_INCLUDE_DIR NAMES /gtest/gtest.h PATHS ${GTEST_INCLUDE_PATHS})
+    find_package (GTest)
-    find_path (GTEST_ROOT NAMES src/gtest-all.cc PATHS /usr/src/googletest/googletest /usr/src/gtest)
 endif ()
 
-if (GTEST_INCLUDE_DIR AND GTEST_ROOT)
+if (NOT GTEST_INCLUDE_DIRS AND NOT MISSING_INTERNAL_GTEST_LIBRARY)
-    # googletest package have no lib
-    add_library(gtest ${GTEST_ROOT}/src/gtest-all.cc)
-    add_library(gtest_main ${GTEST_ROOT}/src/gtest_main.cc)
-    target_include_directories(gtest PRIVATE ${GTEST_ROOT})
-    target_link_libraries(gtest_main gtest)
-    set (GTEST_LIBRARY gtest_main)
-elseif (NOT MISSING_INTERNAL_GTEST_LIBRARY)
     set (USE_INTERNAL_GTEST_LIBRARY 1)
-    set (GTEST_LIBRARY gtest_main)
+    set (GTEST_MAIN_LIBRARIES gtest_main)
 endif ()
 
-message (STATUS "Using gtest: ${GTEST_INCLUDE_DIR} : ${GTEST_LIBRARY}")
+message (STATUS "Using gtest: ${GTEST_INCLUDE_DIRS} : ${GTEST_MAIN_LIBRARIES}")

cmake/find_icu.cmake

@@ -0,0 +1,16 @@
+option (ENABLE_ICU "Enable ICU" ON)
+
+if (ENABLE_ICU)
+    find_package(ICU COMPONENTS data i18n uc) # TODO: remove Modules/FindICU.cmake after cmake 3.7
+    #set (ICU_LIBRARIES ${ICU_I18N_LIBRARY} ${ICU_UC_LIBRARY} ${ICU_DATA_LIBRARY} CACHE STRING "")
+    set (ICU_LIBRARIES ICU::i18n ICU::uc ICU::data CACHE STRING "")
+    if (ICU_FOUND)
+        set(USE_ICU 1)
+    endif ()
+endif ()
+
+if (USE_ICU)
+    message (STATUS "Using icu=${USE_ICU}: ${ICU_INCLUDE_DIR} : ${ICU_LIBRARIES}")
+else ()
+    message (STATUS "Build without ICU (support for collations and charset conversion functions will be disabled)")
+endif ()

cmake/find_icu4c.cmake

@@ -1,21 +0,0 @@
-option (ENABLE_ICU "Enable ICU" ON)
-
-if (ENABLE_ICU)
-    set (ICU_PATHS "/usr/local/opt/icu4c/lib")
-    set (ICU_INCLUDE_PATHS "/usr/local/opt/icu4c/include")
-    find_library (ICUI18N icui18n PATHS ${ICU_PATHS})
-    find_library (ICUUC icuuc PATHS ${ICU_PATHS})
-    find_library (ICUDATA icudata PATHS ${ICU_PATHS})
-    set (ICU_LIBS ${ICUI18N} ${ICUUC} ${ICUDATA})
-
-    find_path (ICU_INCLUDE_DIR NAMES unicode/unistr.h PATHS ${ICU_INCLUDE_PATHS})
-    if (ICU_INCLUDE_DIR AND ICU_LIBS)
-        set(USE_ICU 1)
-    endif ()
-endif ()
-
-if (USE_ICU)
-    message (STATUS "Using icu=${USE_ICU}: ${ICU_INCLUDE_DIR} : ${ICU_LIBS}")
-else ()
-    message (STATUS "Build without ICU (support for collations and charset conversion functions will be disabled)")
-endif ()

cmake/find_llvm.cmake

@@ -1,107 +1,88 @@
-option (ENABLE_EMBEDDED_COMPILER "Set to TRUE to enable support for 'compile' option for query execution" FALSE)
+# Broken in macos. TODO: update clang, re-test, enable
+if (NOT APPLE)
+    option (ENABLE_EMBEDDED_COMPILER "Set to TRUE to enable support for 'compile' option for query execution" 1)
+    option (USE_INTERNAL_LLVM_LIBRARY "Use bundled or system LLVM library. Default: system library for quicker developer builds." ${APPLE})
+endif ()
 
 if (ENABLE_EMBEDDED_COMPILER)
-    # Based on source code of YT.
+    if (USE_INTERNAL_LLVM_LIBRARY AND NOT EXISTS "${ClickHouse_SOURCE_DIR}/contrib/llvm/llvm/CMakeLists.txt")
-    # Authors: Ivan Puzyrevskiy, Alexey Lukyanchikov, Ruslan Savchenko.
+        message (WARNING "submodule contrib/llvm is missing. to fix try run: \n git submodule update --init --recursive")
+        set (USE_INTERNAL_LLVM_LIBRARY 0)
+    endif ()
 
-    #  Find LLVM includes and libraries.
+    if (NOT USE_INTERNAL_LLVM_LIBRARY)
-    #
+        set (LLVM_PATHS "/usr/local/lib/llvm")
-    #  LLVM_VERSION      - LLVM version.
-    #  LLVM_INCLUDE_DIRS - Directory containing LLVM headers.
-    #  LLVM_LIBRARY_DIRS - Directory containing LLVM libraries.
-    #  LLVM_CXXFLAGS     - C++ compiler flags for files that include LLVM headers.
-    #  LLVM_FOUND        - True if LLVM was found.
 
-    #  llvm_map_components_to_libraries - Maps LLVM used components to required libraries.
+        if (LLVM_VERSION)
-    #  Usage: llvm_map_components_to_libraries(REQUIRED_LLVM_LIBRARIES core jit interpreter native ...)
+            find_package(LLVM ${LLVM_VERSION} CONFIG PATHS ${LLVM_PATHS})
+        elseif (CMAKE_CXX_COMPILER_ID STREQUAL "Clang")
+            find_package(LLVM ${CMAKE_CXX_COMPILER_VERSION} CONFIG PATHS ${LLVM_PATHS})
+        else ()
+            find_package (LLVM 7 CONFIG PATHS ${LLVM_PATHS})
+            if (NOT LLVM_FOUND)
+                find_package (LLVM 6 CONFIG PATHS ${LLVM_PATHS})
+            endif ()
+            if (NOT LLVM_FOUND)
+                find_package (LLVM 5 CONFIG PATHS ${LLVM_PATHS})
+            endif ()
+        endif ()
 
-    if (CMAKE_CXX_COMPILER_ID STREQUAL "Clang")
+        if (LLVM_FOUND)
-        set(LLVM_VERSION_POSTFIX "${COMPILER_POSTFIX}" CACHE STRING "")
+            find_library (LLD_LIBRARY_TEST lldCore PATHS ${LLVM_LIBRARY_DIRS})
-    else()
+            find_path (LLD_INCLUDE_DIR_TEST NAMES lld/Core/AbsoluteAtom.h PATHS ${LLVM_INCLUDE_DIRS})
-        if (ARCH_FREEBSD)
+            if (NOT LLD_LIBRARY_TEST OR NOT LLD_INCLUDE_DIR_TEST)
-           set(LLVM_VERSION_POSTFIX "50" CACHE STRING "")
+                set (LLVM_FOUND 0)
+                message(WARNING "liblld (${LLD_LIBRARY_TEST}, ${LLD_INCLUDE_DIR_TEST}) not found in ${LLVM_INCLUDE_DIRS} ${LLVM_LIBRARY_DIRS}. Disabling internal compiler.")
+            endif ()
+        endif ()
+
+        if (LLVM_FOUND)
+            # Remove dynamically-linked zlib and libedit from LLVM's dependencies:
+            set_target_properties(LLVMSupport PROPERTIES INTERFACE_LINK_LIBRARIES "-lpthread;LLVMDemangle;${ZLIB_LIBRARIES}")
+            set_target_properties(LLVMLineEditor PROPERTIES INTERFACE_LINK_LIBRARIES "LLVMSupport")
+
+            option(LLVM_HAS_RTTI "Enable if LLVM was build with RTTI enabled" ON)
+            set (USE_EMBEDDED_COMPILER 1)
         else()
-           set(LLVM_VERSION_POSTFIX "-5.0" CACHE STRING "")
+            set (USE_EMBEDDED_COMPILER 0)
         endif()
-    endif()
 
-    find_program(LLVM_CONFIG_EXECUTABLE
+        if (LLVM_FOUND AND OS_LINUX AND USE_LIBCXX)
-        NAMES llvm-config${LLVM_VERSION_POSTFIX} llvm-config llvm-config-devel
+            message(WARNING "Option USE_INTERNAL_LLVM_LIBRARY is not set but the LLVM library from OS packages in Linux is incompatible with libc++ ABI. LLVM Will be disabled.")
-        PATHS $ENV{LLVM_ROOT}/bin)
+            set (LLVM_FOUND 0)
-
+            set (USE_EMBEDDED_COMPILER 0)
-    mark_as_advanced(LLVM_CONFIG_EXECUTABLE)
+        endif ()
-
-    if(NOT LLVM_CONFIG_EXECUTABLE)
-        message(FATAL_ERROR "Cannot find LLVM (looking for `llvm-config${LLVM_VERSION_POSTFIX}`, `llvm-config`, `llvm-config-devel`). Please, provide LLVM_ROOT environment variable.")
     else()
-        set(LLVM_FOUND TRUE)
+        set (LLVM_FOUND 1)
-
+        set (USE_EMBEDDED_COMPILER 1)
-        execute_process(
+        set (LLVM_VERSION "7.0.0bundled")
-            COMMAND ${LLVM_CONFIG_EXECUTABLE} --version
+        set (LLVM_INCLUDE_DIRS
-            OUTPUT_VARIABLE LLVM_VERSION
+            ${ClickHouse_SOURCE_DIR}/contrib/llvm/llvm/include
-            OUTPUT_STRIP_TRAILING_WHITESPACE)
+            ${ClickHouse_BINARY_DIR}/contrib/llvm/llvm/include
-
+            ${ClickHouse_SOURCE_DIR}/contrib/llvm/clang/include
-        if(LLVM_VERSION VERSION_LESS "5")
+            ${ClickHouse_BINARY_DIR}/contrib/llvm/clang/include
-            message(FATAL_ERROR "LLVM 5+ is required. You have ${LLVM_VERSION} (${LLVM_CONFIG_EXECUTABLE})")
+            ${ClickHouse_BINARY_DIR}/contrib/llvm/llvm/tools/clang/include
-        endif()
+            ${ClickHouse_SOURCE_DIR}/contrib/llvm/lld/include
-
+            ${ClickHouse_BINARY_DIR}/contrib/llvm/lld/include
-        message(STATUS "LLVM config: ${LLVM_CONFIG_EXECUTABLE}; version: ${LLVM_VERSION}")
+            ${ClickHouse_BINARY_DIR}/contrib/llvm/llvm/tools/lld/include)
-
+        set (LLVM_LIBRARY_DIRS ${ClickHouse_BINARY_DIR}/contrib/llvm/llvm)
-        execute_process(
-            COMMAND ${LLVM_CONFIG_EXECUTABLE} --includedir
-            OUTPUT_VARIABLE LLVM_INCLUDE_DIRS
-            OUTPUT_STRIP_TRAILING_WHITESPACE)
-
-        execute_process(
-            COMMAND ${LLVM_CONFIG_EXECUTABLE} --libdir
-            OUTPUT_VARIABLE LLVM_LIBRARY_DIRS
-            OUTPUT_STRIP_TRAILING_WHITESPACE)
-
-        execute_process(
-            COMMAND ${LLVM_CONFIG_EXECUTABLE} --cxxflags
-            OUTPUT_VARIABLE LLVM_CXXFLAGS
-            OUTPUT_STRIP_TRAILING_WHITESPACE)
-
-        execute_process(
-            COMMAND ${LLVM_CONFIG_EXECUTABLE} --targets-built
-            OUTPUT_VARIABLE LLVM_TARGETS_BUILT
-            OUTPUT_STRIP_TRAILING_WHITESPACE)
-
-        string(REPLACE " " ";" LLVM_TARGETS_BUILT "${LLVM_TARGETS_BUILT}")
-
-        if (USE_STATIC_LIBRARIES)
-            set (LLVM_CONFIG_ADD "--link-static")
-        endif()
-
-        # Get the link libs we need.
-        function(llvm_map_components_to_libraries RESULT)
-            execute_process(
-                COMMAND ${LLVM_CONFIG_EXECUTABLE} ${LLVM_CONFIG_ADD} --libs ${ARGN}
-                OUTPUT_VARIABLE _tmp
-                OUTPUT_STRIP_TRAILING_WHITESPACE)
-
-            string(REPLACE " " ";" _libs_module "${_tmp}")
-
-            #message(STATUS "LLVM Libraries for '${ARGN}': ${_libs_module}")
-
-            execute_process(
-                COMMAND ${LLVM_CONFIG_EXECUTABLE} --system-libs ${ARGN}
-                OUTPUT_VARIABLE _libs_system
-                OUTPUT_STRIP_TRAILING_WHITESPACE)
-
-            string(REPLACE "\n" " " _libs_system "${_libs_system}")
-            string(REPLACE "    " " " _libs_system "${_libs_system}")
-            string(REPLACE " "    ";" _libs_system "${_libs_system}")
-
-            set(${RESULT} ${_libs_module} ${_libs_system} PARENT_SCOPE)
-        endfunction(llvm_map_components_to_libraries)
-
-        message(STATUS "LLVM Include Directory: ${LLVM_INCLUDE_DIRS}")
-        message(STATUS "LLVM Library Directory: ${LLVM_LIBRARY_DIRS}")
-        message(STATUS "LLVM C++ Compiler: ${LLVM_CXXFLAGS}")
     endif()
 
-    if (LLVM_FOUND AND LLVM_INCLUDE_DIRS AND LLVM_LIBRARY_DIRS)
+    if (LLVM_FOUND)
-        set(USE_EMBEDDED_COMPILER TRUE)
+        message(STATUS "LLVM version: ${LLVM_PACKAGE_VERSION}")
+        message(STATUS "LLVM include Directory: ${LLVM_INCLUDE_DIRS}")
+        message(STATUS "LLVM library Directory: ${LLVM_LIBRARY_DIRS}")
+        message(STATUS "LLVM C++ compiler flags: ${LLVM_CXXFLAGS}")
     endif()
 endif()
+
+
+function(llvm_libs_all REQUIRED_LLVM_LIBRARIES)
+    llvm_map_components_to_libnames (result all)
+    list (REMOVE_ITEM result "LTO" "LLVM")
+    if (TERMCAP_LIBRARY)
+        list (APPEND result ${TERMCAP_LIBRARY})
+    endif ()
+    list (APPEND result ${CMAKE_DL_LIBS} ${ZLIB_LIBRARIES})
+    set (${REQUIRED_LLVM_LIBRARIES} ${result} PARENT_SCOPE)
+endfunction()

cmake/find_ltdl.cmake

@@ -1,3 +1,5 @@
-set (LTDL_PATHS "/usr/local/opt/libtool/lib")
+if (ENABLE_ODBC AND NOT USE_INTERNAL_ODBC_LIBRARY)
-find_library (LTDL_LIBRARY ltdl PATHS ${LTDL_PATHS})
+    set (LTDL_PATHS "/usr/local/opt/libtool/lib")
-message (STATUS "Using ltdl: ${LTDL_LIBRARY}")
+    find_library (LTDL_LIBRARY ltdl PATHS ${LTDL_PATHS})
+    message (STATUS "Using ltdl: ${LTDL_LIBRARY}")
+endif ()

cmake/find_odbc.cmake

@@ -13,54 +13,81 @@
 # This module defines
 # ODBC_INCLUDE_DIRECTORIES, where to find sql.h
 # ODBC_LIBRARIES, the libraries to link against to use ODBC
-# ODBC_FOUND.  If false, you cannot build anything that requires MySQL.
+# ODBC_FOUND.  If false, you cannot build anything that requires ODBC.
 
-find_path(ODBC_INCLUDE_DIRECTORIES
+option (ENABLE_ODBC "Enable ODBC" ${OS_LINUX})
-	NAMES sql.h
+if (OS_LINUX)
-	HINTS
+    option (USE_INTERNAL_ODBC_LIBRARY "Set to FALSE to use system odbc library instead of bundled" ${NOT_UNBUNDLED})
-	/usr/include
+else ()
-	/usr/include/odbc
+    option (USE_INTERNAL_ODBC_LIBRARY "Set to FALSE to use system odbc library instead of bundled" OFF)
-	/usr/include/iodbc
+endif ()
-	/usr/local/include
-	/usr/local/include/odbc
-	/usr/local/include/iodbc
-	/usr/local/odbc/include
-	/usr/local/iodbc/include
-	"C:/Program Files/ODBC/include"
-	"C:/Program Files/Microsoft SDKs/Windows/v7.0/include"
-	"C:/Program Files/Microsoft SDKs/Windows/v6.0a/include"
-	"C:/ODBC/include"
-	DOC "Specify the directory containing sql.h."
-)
 
-find_library(ODBC_LIBRARIES
+if (USE_INTERNAL_ODBC_LIBRARY AND NOT EXISTS "${ClickHouse_SOURCE_DIR}/contrib/unixodbc/README")
-	NAMES iodbc odbc iodbcinst odbcinst odbc32
+    message (WARNING "submodule contrib/unixodbc is missing. to fix try run: \n git submodule update --init --recursive")
-	HINTS
+   set (USE_INTERNAL_ODBC_LIBRARY 0)
-	/usr/lib
+endif ()
-	/usr/lib/odbc
-	/usr/lib/iodbc
-	/usr/local/lib
-	/usr/local/lib/odbc
-	/usr/local/lib/iodbc
-	/usr/local/odbc/lib
-	/usr/local/iodbc/lib
-	"C:/Program Files/ODBC/lib"
-	"C:/ODBC/lib/debug"
-	"C:/Program Files (x86)/Microsoft SDKs/Windows/v7.0A/Lib"
-	DOC "Specify the ODBC driver manager library here."
-)
 
-# MinGW find usually fails
+set (ODBC_INCLUDE_DIRECTORIES ) # Include directories will be either used automatically by target_include_directories or set later.
-if(MINGW)
-	set(ODBC_INCLUDE_DIRECTORIES ".")
-	set(ODBC_LIBRARIES odbc32)
-endif()
 
-include(FindPackageHandleStandardArgs)
+if (ENABLE_ODBC)
-find_package_handle_standard_args(ODBC
+    if (USE_INTERNAL_ODBC_LIBRARY)
-	DEFAULT_MSG
+        set (ODBC_LIBRARIES unixodbc)
-	ODBC_INCLUDE_DIRECTORIES
+        set (ODBC_FOUND 1)
-	ODBC_LIBRARIES
+        set (USE_ODBC 1)
-	)
+    else ()
+        find_path(ODBC_INCLUDE_DIRECTORIES
+            NAMES sql.h
+            HINTS
+            /usr/include
+            /usr/include/iodbc
+            /usr/include/odbc
+            /usr/local/include
+            /usr/local/include/iodbc
+            /usr/local/include/odbc
+            /usr/local/iodbc/include
+            /usr/local/odbc/include
+            "C:/Program Files/ODBC/include"
+            "C:/Program Files/Microsoft SDKs/Windows/v7.0/include"
+            "C:/Program Files/Microsoft SDKs/Windows/v6.0a/include"
+            "C:/ODBC/include"
+            DOC "Specify the directory containing sql.h."
+        )
 
-mark_as_advanced(ODBC_FOUND ODBC_LIBRARIES ODBC_INCLUDE_DIRECTORIES)
+        find_library(ODBC_LIBRARIES
+            NAMES iodbc odbc iodbcinst odbcinst odbc32
+            HINTS
+            /usr/lib
+            /usr/lib/iodbc
+            /usr/lib/odbc
+            /usr/local/lib
+            /usr/local/lib/iodbc
+            /usr/local/lib/odbc
+            /usr/local/iodbc/lib
+            /usr/local/odbc/lib
+            "C:/Program Files/ODBC/lib"
+            "C:/ODBC/lib/debug"
+            "C:/Program Files (x86)/Microsoft SDKs/Windows/v7.0A/Lib"
+            DOC "Specify the ODBC driver manager library here."
+        )
+
+        # MinGW find usually fails
+        if (MINGW)
+            set(ODBC_INCLUDE_DIRECTORIES ".")
+            set(ODBC_LIBRARIES odbc32)
+        endif ()
+
+        include(FindPackageHandleStandardArgs)
+        find_package_handle_standard_args(ODBC
+            DEFAULT_MSG
+            ODBC_INCLUDE_DIRECTORIES
+            ODBC_LIBRARIES)
+
+        if (USE_STATIC_LIBRARIES)
+            list(APPEND ODBC_LIBRARIES ${LTDL_LIBRARY})
+        endif ()
+
+        mark_as_advanced(ODBC_FOUND ODBC_LIBRARIES ODBC_INCLUDE_DIRECTORIES)
+    endif ()
+endif ()
+
+message (STATUS "Using odbc=${ODBC_FOUND}: ${ODBC_INCLUDE_DIRECTORIES} : ${ODBC_LIBRARIES}")

cmake/find_poco.cmake

@@ -8,13 +8,25 @@ if (NOT EXISTS "${ClickHouse_SOURCE_DIR}/contrib/poco/CMakeLists.txt")
    set (MISSING_INTERNAL_POCO_LIBRARY 1)
 endif ()
 
+set (POCO_COMPONENTS Net XML SQL Data)
+if (NOT DEFINED ENABLE_POCO_NETSSL OR ENABLE_POCO_NETSSL)
+    list (APPEND POCO_COMPONENTS Crypto NetSSL)
+endif ()
+if (NOT DEFINED ENABLE_POCO_MONGODB OR ENABLE_POCO_MONGODB)
+    list (APPEND POCO_COMPONENTS MongoDB)
+endif ()
+# TODO: after new poco release with SQL library rename ENABLE_POCO_ODBC -> ENABLE_POCO_SQLODBC
+if (NOT DEFINED ENABLE_POCO_ODBC OR ENABLE_POCO_ODBC)
+    list (APPEND POCO_COMPONENTS DataODBC)
+    list (APPEND POCO_COMPONENTS SQLODBC)
+endif ()
+
 if (NOT USE_INTERNAL_POCO_LIBRARY)
-    find_package (Poco COMPONENTS Net NetSSL XML Data Crypto DataODBC MongoDB)
+    find_package (Poco COMPONENTS ${POCO_COMPONENTS})
 endif ()
 
 if (Poco_INCLUDE_DIRS AND Poco_Foundation_LIBRARY)
 elseif (NOT MISSING_INTERNAL_POCO_LIBRARY)
-
     set (USE_INTERNAL_POCO_LIBRARY 1)
 
     set (ENABLE_ZIP 0 CACHE BOOL "")
@@ -24,6 +36,15 @@ elseif (NOT MISSING_INTERNAL_POCO_LIBRARY)
     set (ENABLE_DATA_SQLITE 0 CACHE BOOL "")
     set (ENABLE_DATA_MYSQL 0 CACHE BOOL "")
     set (ENABLE_DATA_POSTGRESQL 0 CACHE BOOL "")
+    # new after 2.0.0:
+    set (POCO_ENABLE_ZIP 0 CACHE BOOL "")
+    set (POCO_ENABLE_PAGECOMPILER 0 CACHE BOOL "")
+    set (POCO_ENABLE_PAGECOMPILER_FILE2PAGE 0 CACHE BOOL "")
+    set (POCO_ENABLE_REDIS 0 CACHE BOOL "")
+    set (POCO_ENABLE_SQL_SQLITE 0 CACHE BOOL "")
+    set (POCO_ENABLE_SQL_MYSQL 0 CACHE BOOL "")
+    set (POCO_ENABLE_SQL_POSTGRESQL 0 CACHE BOOL "")
+
     set (POCO_UNBUNDLED 1 CACHE BOOL "")
     set (POCO_UNBUNDLED_PCRE 0 CACHE BOOL "")
     set (POCO_UNBUNDLED_EXPAT 0 CACHE BOOL "")
@@ -37,23 +58,43 @@ elseif (NOT MISSING_INTERNAL_POCO_LIBRARY)
         "${ClickHouse_SOURCE_DIR}/contrib/poco/Util/include/"
     )
 
-    if (NOT DEFINED POCO_ENABLE_MONGODB OR POCO_ENABLE_MONGODB)
+    if (NOT DEFINED ENABLE_POCO_MONGODB OR ENABLE_POCO_MONGODB)
-        set (Poco_MongoDB_FOUND 1)
         set (Poco_MongoDB_LIBRARY PocoMongoDB)
-        set (Poco_MongoDB_INCLUDE_DIRS "${ClickHouse_SOURCE_DIR}/contrib/poco/MongoDB/include/")
+        set (Poco_MongoDB_INCLUDE_DIR "${ClickHouse_SOURCE_DIR}/contrib/poco/MongoDB/include/")
     endif ()
 
-    if (ODBC_FOUND)
+    if (EXISTS "${ClickHouse_SOURCE_DIR}/contrib/poco/SQL/ODBC/include/")
-        set (Poco_DataODBC_FOUND 1)
+        set (Poco_SQL_FOUND 1)
-        set (Poco_DataODBC_LIBRARY PocoDataODBC ${ODBC_LIBRARIES} ${LTDL_LIBRARY})
+        set (Poco_SQL_LIBRARY PocoSQL)
-        set (Poco_DataODBC_INCLUDE_DIRS "${ClickHouse_SOURCE_DIR}/contrib/poco/Data/ODBC/include/")
+        set (Poco_SQL_INCLUDE_DIR
+             "${ClickHouse_SOURCE_DIR}/contrib/poco/SQL/include"
+             "${ClickHouse_SOURCE_DIR}/contrib/poco/Data/include"
+             )
+        if ((NOT DEFINED POCO_ENABLE_SQL_ODBC OR POCO_ENABLE_SQL_ODBC) AND ODBC_FOUND)
+            set (Poco_SQLODBC_INCLUDE_DIR
+                "${ClickHouse_SOURCE_DIR}/contrib/poco/SQL/ODBC/include/"
+                "${ClickHouse_SOURCE_DIR}/contrib/poco/Data/ODBC/include/"
+                ${ODBC_INCLUDE_DIRECTORIES}
+                )
+            set (Poco_SQLODBC_LIBRARY PocoSQLODBC ${ODBC_LIBRARIES} ${LTDL_LIBRARY})
+        endif ()
+    else ()
+        set (Poco_Data_FOUND 1)
+        set (Poco_Data_INCLUDE_DIR "${ClickHouse_SOURCE_DIR}/contrib/poco/Data/include")
+        set (Poco_Data_LIBRARY PocoData)
+        if ((NOT DEFINED ENABLE_DATA_ODBC OR ENABLE_DATA_ODBC) AND ODBC_FOUND)
+            set (USE_POCO_DATAODBC 1)
+            set (Poco_DataODBC_INCLUDE_DIR
+                "${ClickHouse_SOURCE_DIR}/contrib/poco/Data/ODBC/include/"
+                ${ODBC_INCLUDE_DIRECTORIES}
+            )
+            set (Poco_DataODBC_LIBRARY PocoDataODBC ${ODBC_LIBRARIES} ${LTDL_LIBRARY})
+        endif ()
     endif ()
 
-    # TODO! fix internal ssl
+    if (OPENSSL_FOUND AND (NOT DEFINED ENABLE_POCO_NETSSL OR ENABLE_POCO_NETSSL))
-    if (OPENSSL_FOUND AND NOT USE_INTERNAL_SSL_LIBRARY)
+        set (Poco_NetSSL_LIBRARY PocoNetSSL ${OPENSSL_LIBRARIES})
-        set (Poco_NetSSL_FOUND 1)
+        set (Poco_Crypto_LIBRARY PocoCrypto ${OPENSSL_LIBRARIES})
-        set (Poco_NetSSL_LIBRARY PocoNetSSL)
-        set (Poco_Crypto_LIBRARY PocoCrypto)
     endif ()
 
     if (USE_STATIC_LIBRARIES AND USE_INTERNAL_ZLIB_LIBRARY)
@@ -66,11 +107,23 @@ elseif (NOT MISSING_INTERNAL_POCO_LIBRARY)
     set (Poco_Foundation_LIBRARY PocoFoundation)
     set (Poco_Util_LIBRARY PocoUtil)
     set (Poco_Net_LIBRARY PocoNet)
-    set (Poco_Data_LIBRARY PocoData)
     set (Poco_XML_LIBRARY PocoXML)
 endif ()
 
-message(STATUS "Using Poco: ${Poco_INCLUDE_DIRS} : ${Poco_Foundation_LIBRARY},${Poco_Util_LIBRARY},${Poco_Net_LIBRARY},${Poco_NetSSL_LIBRARY},${Poco_XML_LIBRARY},${Poco_Data_LIBRARY},${Poco_DataODBC_LIBRARY},${Poco_MongoDB_LIBRARY}; MongoDB=${Poco_MongoDB_FOUND}, DataODBC=${Poco_DataODBC_FOUND}, NetSSL=${Poco_NetSSL_FOUND}")
+if (Poco_NetSSL_LIBRARY AND Poco_Crypto_LIBRARY)
+    set (USE_POCO_NETSSL 1)
+endif ()
+if (Poco_MongoDB_LIBRARY)
+    set (USE_POCO_MONGODB 1)
+endif ()
+if (Poco_DataODBC_LIBRARY AND ODBC_FOUND)
+    set (USE_POCO_DATAODBC 1)
+endif ()
+if (Poco_SQLODBC_LIBRARY AND ODBC_FOUND)
+    set (USE_POCO_SQLODBC 1)
+endif ()
+
+message(STATUS "Using Poco: ${Poco_INCLUDE_DIRS} : ${Poco_Foundation_LIBRARY},${Poco_Util_LIBRARY},${Poco_Net_LIBRARY},${Poco_NetSSL_LIBRARY},${Poco_Crypto_LIBRARY},${Poco_XML_LIBRARY},${Poco_Data_LIBRARY},${Poco_DataODBC_LIBRARY},${Poco_SQL_LIBRARY},${Poco_SQLODBC_LIBRARY},${Poco_MongoDB_LIBRARY}; MongoDB=${USE_POCO_MONGODB}, DataODBC=${USE_POCO_DATAODBC}, NetSSL=${USE_POCO_NETSSL}")
 
 # How to make sutable poco:
 # use branch:
@@ -86,3 +139,5 @@ message(STATUS "Using Poco: ${Poco_INCLUDE_DIRS} : ${Poco_Foundation_LIBRARY},${
 # ClickHouse-Extras/clickhouse_warning
 # ClickHouse-Extras/clickhouse-purge-logs-on-no-space
 # ClickHouse-Extras/clickhouse_freebsd
+# ClickHouse-Extras/clikhouse_no_zlib
+# ClickHouse-Extras/clickhouse-fix-atomic

cmake/find_rdkafka.cmake

@@ -1,8 +1,12 @@
-option (ENABLE_RDKAFKA "Enable kafka" ${NOT_MSVC})
+if (NOT ARCH_ARM)
+    option (ENABLE_RDKAFKA "Enable kafka" ON)
+endif ()
 
 if (ENABLE_RDKAFKA)
 
-option (USE_INTERNAL_RDKAFKA_LIBRARY "Set to FALSE to use system librdkafka instead of the bundled" ${NOT_UNBUNDLED})
+if (OS_LINUX)
+    option (USE_INTERNAL_RDKAFKA_LIBRARY "Set to FALSE to use system librdkafka instead of the bundled" ${NOT_UNBUNDLED})
+endif ()
 
 if (USE_INTERNAL_RDKAFKA_LIBRARY AND NOT EXISTS "${ClickHouse_SOURCE_DIR}/contrib/librdkafka/CMakeLists.txt")
    message (WARNING "submodule contrib/librdkafka is missing. to fix try run: \n git submodule update --init --recursive")
@@ -13,7 +17,7 @@ endif ()
 if (NOT USE_INTERNAL_RDKAFKA_LIBRARY)
     find_library (RDKAFKA_LIB rdkafka)
     find_path (RDKAFKA_INCLUDE_DIR NAMES librdkafka/rdkafka.h PATHS ${RDKAFKA_INCLUDE_PATHS})
-    if (USE_STATIC_LIBRARIES AND NOT ARCH_FREEBSD)
+    if (USE_STATIC_LIBRARIES AND NOT OS_FREEBSD)
        find_library (SASL2_LIBRARY sasl2)
     endif ()
 endif ()
@@ -24,6 +28,9 @@ if (RDKAFKA_LIB AND RDKAFKA_INCLUDE_DIR)
     if (SASL2_LIBRARY)
        list (APPEND RDKAFKA_LIBRARY ${SASL2_LIBRARY})
     endif ()
+    if (LZ4_LIBRARY)
+       list (APPEND RDKAFKA_LIBRARY ${LZ4_LIBRARY})
+    endif ()
 elseif (NOT MISSING_INTERNAL_RDKAFKA_LIBRARY)
     set (USE_INTERNAL_RDKAFKA_LIBRARY 1)
     set (RDKAFKA_INCLUDE_DIR "${ClickHouse_SOURCE_DIR}/contrib/librdkafka/src")

cmake/find_readline_edit.cmake

@@ -1,6 +1,9 @@
 include (CMakePushCheckState)
 cmake_push_check_state ()
 
+option (ENABLE_READLINE "Enable readline" 1)
+if (ENABLE_READLINE)
+
 set (READLINE_PATHS "/usr/local/opt/readline/lib")
 # First try find custom lib for macos users (default lib without history support)
 find_library (READLINE_LIB NAMES readline PATHS ${READLINE_PATHS} NO_DEFAULT_PATH)
@@ -10,30 +13,31 @@ endif ()
 
 list(APPEND CMAKE_FIND_LIBRARY_SUFFIXES .so.2)
 
-find_library (TERMCAP_LIB NAMES termcap)
 find_library (EDIT_LIB NAMES edit)
 
 set(READLINE_INCLUDE_PATHS "/usr/local/opt/readline/include")
-if (READLINE_LIB AND TERMCAP_LIB)
+if (READLINE_LIB AND TERMCAP_LIBRARY)
     find_path (READLINE_INCLUDE_DIR NAMES readline/readline.h PATHS ${READLINE_INCLUDE_PATHS} NO_DEFAULT_PATH)
     if (NOT READLINE_INCLUDE_DIR)
         find_path (READLINE_INCLUDE_DIR NAMES readline/readline.h PATHS ${READLINE_INCLUDE_PATHS})
     endif ()
     if (READLINE_INCLUDE_DIR AND READLINE_LIB)
         set (USE_READLINE 1)
-        set (LINE_EDITING_LIBS ${READLINE_LIB} ${TERMCAP_LIB})
+        set (LINE_EDITING_LIBS ${READLINE_LIB} ${TERMCAP_LIBRARY})
         message (STATUS "Using line editing libraries (readline): ${READLINE_INCLUDE_DIR} : ${LINE_EDITING_LIBS}")
     endif ()
-elseif (EDIT_LIB AND TERMCAP_LIB)
+elseif (EDIT_LIB AND TERMCAP_LIBRARY)
     find_library (CURSES_LIB NAMES curses)
     find_path (READLINE_INCLUDE_DIR NAMES editline/readline.h PATHS ${READLINE_INCLUDE_PATHS})
     if (CURSES_LIB AND READLINE_INCLUDE_DIR)
         set (USE_LIBEDIT 1)
-        set (LINE_EDITING_LIBS ${EDIT_LIB} ${CURSES_LIB} ${TERMCAP_LIB})
+        set (LINE_EDITING_LIBS ${EDIT_LIB} ${CURSES_LIB} ${TERMCAP_LIBRARY})
         message (STATUS "Using line editing libraries (edit): ${READLINE_INCLUDE_DIR} : ${LINE_EDITING_LIBS}")
     endif ()
 endif ()
 
+endif ()
+
 if (LINE_EDITING_LIBS AND READLINE_INCLUDE_DIR)
     include (CheckCXXSourceRuns)
 

cmake/find_rt.cmake

@@ -1,15 +1,10 @@
 if (APPLE)
     # lib from libs/libcommon
     set (RT_LIBRARY "apple_rt")
-else ()
+elseif (OS_FREEBSD)
     find_library (RT_LIBRARY rt)
+else ()
+    set (RT_LIBRARY "")
 endif ()
 
 message(STATUS "Using rt: ${RT_LIBRARY}")
-
-function (target_link_rt_by_force TARGET)
-    if (NOT APPLE)
-        set (FLAGS "-Wl,-no-as-needed -lrt -Wl,-as-needed")
-        set_property (TARGET ${TARGET} APPEND PROPERTY LINK_FLAGS "${FLAGS}")
-    endif ()
-endfunction ()

cmake/find_ssl.cmake

@@ -1,4 +1,6 @@
-option (USE_INTERNAL_SSL_LIBRARY "Set to FALSE to use system *ssl library instead of bundled" ${MSVC})
+#if (OS_LINUX)
+option (USE_INTERNAL_SSL_LIBRARY "Set to FALSE to use system *ssl library instead of bundled" ${NOT_UNBUNDLED})
+#endif ()
 
 set (OPENSSL_USE_STATIC_LIBS ${USE_STATIC_LIBRARIES})
 

cmake/find_termcap.cmake

@@ -0,0 +1,5 @@
+find_library (TERMCAP_LIBRARY termcap)
+if (NOT TERMCAP_LIBRARY)
+    find_library (TERMCAP_LIBRARY tinfo)
+endif()
+message (STATUS "Using termcap: ${TERMCAP_LIBRARY}")

cmake/find_zlib.cmake

@@ -1,4 +1,6 @@
-option (USE_INTERNAL_ZLIB_LIBRARY "Set to FALSE to use system zlib library instead of bundled" ${NOT_UNBUNDLED})
+if (NOT OS_FREEBSD)
+    option (USE_INTERNAL_ZLIB_LIBRARY "Set to FALSE to use system zlib library instead of bundled" ${NOT_UNBUNDLED})
+endif ()
 
 if (NOT USE_INTERNAL_ZLIB_LIBRARY)
     find_package (ZLIB)
@@ -15,15 +17,6 @@ if (NOT ZLIB_FOUND)
     endif ()
 
     set (USE_INTERNAL_ZLIB_LIBRARY 1)
-    set (ZLIB_COMPAT 1) # for zlib-ng, also enables WITH_GZFILEOP
-    set (WITH_NATIVE_INSTRUCTIONS ${ARCHNATIVE})
-    if (ARCH_FREEBSD OR ARCH_I386)
-        set (WITH_OPTIM 0 CACHE INTERNAL "") # Bug in assembler
-    endif ()
-    if (ARCH_AARCH64)
-        set(WITH_NEON 1 CACHE INTERNAL "")
-        set(WITH_ACLE 1 CACHE INTERNAL "")
-    endif ()
     set (ZLIB_INCLUDE_DIR "${ClickHouse_SOURCE_DIR}/contrib/${INTERNAL_ZLIB_NAME}" "${ClickHouse_BINARY_DIR}/contrib/${INTERNAL_ZLIB_NAME}") # generated zconf.h
     set (ZLIB_INCLUDE_DIRS ${ZLIB_INCLUDE_DIR}) # for poco
     set (ZLIB_FOUND 1) # for poco

cmake/find_zookeeper.cmake

@@ -1,35 +0,0 @@
-if (ARCH_ARM)
-    # bundled have some asm broken for arm, use package libzookeeper-mt-dev
-    set(USE_INTERNAL_ZOOKEEPER_LIBRARY 0 CACHE BOOL "")
-endif ()
-
-option (USE_INTERNAL_ZOOKEEPER_LIBRARY "Set to FALSE to use system zookeeper library instead of bundled" ${NOT_UNBUNDLED})
-
-if (USE_INTERNAL_ZOOKEEPER_LIBRARY AND NOT EXISTS "${ClickHouse_SOURCE_DIR}/contrib/zookeeper/src/c/CMakeLists.txt")
-   message (WARNING "submodule contrib/zookeeper is missing. to fix try run: \n git submodule update --init --recursive")
-   set (USE_INTERNAL_ZOOKEEPER_LIBRARY 0)
-endif ()
-
-if (NOT USE_INTERNAL_ZOOKEEPER_LIBRARY)
-    find_library (ZOOKEEPER_LIBRARY zookeeper_mt)
-    find_path (ZOOKEEPER_INCLUDE_DIR NAMES zookeeper/zookeeper.h PATHS ${ZOOKEEPER_INCLUDE_PATHS})
-    set(ZOOKEEPER_INCLUDE_DIR "${ZOOKEEPER_INCLUDE_DIR}/zookeeper")
-endif ()
-
-if (ZOOKEEPER_LIBRARY AND ZOOKEEPER_INCLUDE_DIR)
-else ()
-    set (USE_INTERNAL_ZOOKEEPER_LIBRARY 1)
-    set(WANT_CPPUNIT 0 CACHE BOOL "")
-    set (ZOOKEEPER_LIBRARY zookeeper)
-endif ()
-
-message (STATUS "Using zookeeper: ${ZOOKEEPER_INCLUDE_DIR} : ${ZOOKEEPER_LIBRARY}")
-
-
-# how to make clickhouse branch of https://github.com/ClickHouse-Extras/zookeeper.git :
-# git remote add upstream https://github.com/apache/zookeeper.git
-# git checkhout upstream/master
-# git branch -D clickhouse
-# git checkout -b clickhouse
-# git merge clickhouse_misc
-# git merge clickhouse_706

cmake/generate_code.cmake

@@ -0,0 +1,5 @@
+function(generate_code TEMPLATE_FILE)
+    foreach(NAME IN LISTS ARGN)
+       configure_file (${TEMPLATE_FILE}.cpp.in ${CMAKE_CURRENT_BINARY_DIR}/generated/${TEMPLATE_FILE}_${NAME}.cpp)
+    endforeach()
+endfunction()

cmake/lib_name.cmake

@@ -1,5 +1,4 @@
 set(DIVIDE_INCLUDE_DIR ${ClickHouse_SOURCE_DIR}/contrib/libdivide)
-set(CITYHASH_CONTRIB_INCLUDE_DIR ${ClickHouse_SOURCE_DIR}/contrib/libcityhash/include)
 set(COMMON_INCLUDE_DIR ${ClickHouse_SOURCE_DIR}/libs/libcommon/include ${ClickHouse_BINARY_DIR}/libs/libcommon/include)
 set(DBMS_INCLUDE_DIR ${ClickHouse_SOURCE_DIR}/dbms/src ${ClickHouse_BINARY_DIR}/dbms/src)
 set(DOUBLE_CONVERSION_CONTRIB_INCLUDE_DIR ${ClickHouse_SOURCE_DIR}/contrib/double-conversion)

cmake/print_include_directories.cmake

@@ -10,6 +10,9 @@ list(APPEND dirs ${dirs1})
 get_property (dirs1 TARGET common PROPERTY INCLUDE_DIRECTORIES)
 list(APPEND dirs ${dirs1})
 
+get_property (dirs1 TARGET cityhash PROPERTY INCLUDE_DIRECTORIES)
+list(APPEND dirs ${dirs1})
+
 if (USE_INTERNAL_BOOST_LIBRARY)
     get_property (dirs1 TARGET ${Boost_PROGRAM_OPTIONS_LIBRARY} PROPERTY INCLUDE_DIRECTORIES)
     list(APPEND dirs ${dirs1})

cmake/sanitize.cmake

@@ -1,27 +1,37 @@
+option (SANITIZE "Enable sanitizer: address, memory, thread, undefined" "")
+
 set (SAN_FLAGS "${SAN_FLAGS} -g -fno-omit-frame-pointer -DSANITIZER")
-if (SAN_DEBUG)
-    set (SAN_FLAGS "${SAN_FLAGS} -O0")
-else ()
-    set (SAN_FLAGS "${SAN_FLAGS} -O3")
-endif ()
 
-set (CMAKE_CXX_FLAGS_ASAN                "${CMAKE_CXX_FLAGS_ASAN}  ${SAN_FLAGS} -fsanitize=address")
+if (SANITIZE)
-set (CMAKE_C_FLAGS_ASAN                  "${CMAKE_C_FLAGS_ASAN}    ${SAN_FLAGS} -fsanitize=address")
+    if (SANITIZE STREQUAL "address")
-set (CMAKE_EXE_LINKER_FLAGS_ASAN         "${CMAKE_EXE_LINKER_FLAGS_ASAN}        -fsanitize=address")
+        set (CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} ${SAN_FLAGS} -fsanitize=address -fsanitize-address-use-after-scope")
-set (CMAKE_CXX_FLAGS_UBSAN               "${CMAKE_CXX_FLAGS_UBSAN} ${SAN_FLAGS} -fsanitize=undefined")
+        set (CMAKE_C_FLAGS "${CMAKE_C_FLAGS} ${SAN_FLAGS} -fsanitize=address -fsanitize-address-use-after-scope")
-set (CMAKE_C_FLAGS_UBSAN                 "${CMAKE_C_FLAGS_UBSAN}   ${SAN_FLAGS} -fsanitize=undefined")
+        set (CMAKE_EXE_LINKER_FLAGS "${CMAKE_EXE_LINKER_FLAGS} -fsanitize=address -fsanitize-address-use-after-scope")
-set (CMAKE_EXE_LINKER_FLAGS_UBSAN        "${CMAKE_EXE_LINKER_FLAGS_UBSAN}       -fsanitize=undefined")
+        if (MAKE_STATIC_LIBRARIES AND CMAKE_CXX_COMPILER_ID STREQUAL "GNU")
-set (CMAKE_CXX_FLAGS_MSAN                "${CMAKE_CXX_FLAGS_MSAN}  ${SAN_FLAGS} -fsanitize=memory")
+            set (CMAKE_EXE_LINKER_FLAGS "${CMAKE_EXE_LINKER_FLAGS} -static-libasan")
-set (CMAKE_C_FLAGS_MSAN                  "${CMAKE_C_FLAGS_MSAN}    ${SAN_FLAGS} -fsanitize=memory")
+        endif ()
-set (CMAKE_EXE_LINKER_FLAGS_MSAN         "${CMAKE_EXE_LINKER_FLAGS_MSAN}        -fsanitize=memory")
+    elseif (SANITIZE STREQUAL "memory")
-set (CMAKE_CXX_FLAGS_TSAN                "${CMAKE_CXX_FLAGS_TSAN}  ${SAN_FLAGS} -fsanitize=thread")
+        set (CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} ${SAN_FLAGS} -fsanitize=memory")
-set (CMAKE_C_FLAGS_TSAN                  "${CMAKE_C_FLAGS_TSAN}    ${SAN_FLAGS} -fsanitize=thread")
+        set (CMAKE_C_FLAGS "${CMAKE_C_FLAGS} ${SAN_FLAGS} -fsanitize=memory")
-set (CMAKE_EXE_LINKER_FLAGS_TSAN         "${CMAKE_EXE_LINKER_FLAGS_TSAN}        -fsanitize=thread")
+        set (CMAKE_EXE_LINKER_FLAGS "${CMAKE_EXE_LINKER_FLAGS} -fsanitize=memory")
-
+        if (MAKE_STATIC_LIBRARIES AND CMAKE_CXX_COMPILER_ID STREQUAL "GNU")
-# clang use static linking by default
+            set (CMAKE_EXE_LINKER_FLAGS "${CMAKE_EXE_LINKER_FLAGS} -static-libmsan")
-if (MAKE_STATIC_LIBRARIES AND CMAKE_CXX_COMPILER_ID STREQUAL "GNU")
+        endif ()
-    set (CMAKE_EXE_LINKER_FLAGS_ASAN     "${CMAKE_EXE_LINKER_FLAGS_ASAN} -static-libasan")
+    elseif (SANITIZE STREQUAL "thread")
-    set (CMAKE_EXE_LINKER_FLAGS_UBSAN    "${CMAKE_EXE_LINKER_FLAGS_UBSAN} -static-libubsan")
+        set (CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} ${SAN_FLAGS} -fsanitize=thread")
-    set (CMAKE_EXE_LINKER_FLAGS_MSAN     "${CMAKE_EXE_LINKER_FLAGS_MSAN} -static-libmsan")
+        set (CMAKE_C_FLAGS "${CMAKE_C_FLAGS} ${SAN_FLAGS} -fsanitize=thread")
-    set (CMAKE_EXE_LINKER_FLAGS_TSAN     "${CMAKE_EXE_LINKER_FLAGS_TSAN} -static-libtsan")
+        set (CMAKE_EXE_LINKER_FLAGS "${CMAKE_EXE_LINKER_FLAGS} -fsanitize=thread")
-endif ()
+        if (MAKE_STATIC_LIBRARIES AND CMAKE_CXX_COMPILER_ID STREQUAL "GNU")
+            set (CMAKE_EXE_LINKER_FLAGS "${CMAKE_EXE_LINKER_FLAGS} -static-libtsan")
+        endif ()
+    elseif (SANITIZE STREQUAL "undefined")
+        set (CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} ${SAN_FLAGS} -fsanitize=undefined")
+        set (CMAKE_C_FLAGS "${CMAKE_C_FLAGS} ${SAN_FLAGS} -fsanitize=undefined")
+        set (CMAKE_EXE_LINKER_FLAGS "${CMAKE_EXE_LINKER_FLAGS} -fsanitize=undefined")
+        if (MAKE_STATIC_LIBRARIES AND CMAKE_CXX_COMPILER_ID STREQUAL "GNU")
+            set (CMAKE_EXE_LINKER_FLAGS "${CMAKE_EXE_LINKER_FLAGS} -static-libubsan")
+        endif ()
+    else ()
+        message (FATAL_ERROR "Unknown sanitizer type: ${SANITIZE}")
+    endif ()
+endif()

cmake/test_compiler.cmake

@@ -14,6 +14,7 @@ if (CMAKE_CXX_COMPILER_ID STREQUAL "Clang")
     endif ()
 
     set (CMAKE_REQUIRED_FLAGS "${TEST_FLAG}")
+    set (CMAKE_REQUIRED_LIBRARIES ${CMAKE_REQUIRED_LIBRARIES} Threads::Threads)
 
     check_cxx_source_compiles("
         #include <iostream>
@@ -25,8 +26,6 @@ if (CMAKE_CXX_COMPILER_ID STREQUAL "Clang")
 
 else ()
 
-    cmake_push_check_state ()
-
     set (TEST_FLAG "-no-pie")
     set (CMAKE_REQUIRED_FLAGS "${TEST_FLAG}")
 
@@ -40,7 +39,6 @@ else ()
         set (FLAG_NO_PIE ${TEST_FLAG})
     endif ()
 
-
 endif ()
 
 cmake_pop_check_state ()

cmake/test_cpu.cmake

@@ -14,11 +14,12 @@ cmake_push_check_state ()
 #define __SSE4_1__ 1
 
 set (TEST_FLAG "-msse4.1")
-set (CMAKE_REQUIRED_FLAGS "${TEST_FLAG}")
+set (CMAKE_REQUIRED_FLAGS "${TEST_FLAG} -O0")
 check_cxx_source_compiles("
     #include <smmintrin.h>
     int main() {
-        _mm_insert_epi8(__m128i(), 0, 0);
+        auto a = _mm_insert_epi8(__m128i(), 0, 0);
+        (void)a;
         return 0;
     }
 " HAVE_SSE41)
@@ -31,11 +32,12 @@ endif ()
 #define __SSE4_2__ 1
 
 set (TEST_FLAG "-msse4.2")
-set (CMAKE_REQUIRED_FLAGS "${TEST_FLAG}")
+set (CMAKE_REQUIRED_FLAGS "${TEST_FLAG} -O0")
 check_cxx_source_compiles("
     #include <nmmintrin.h>
     int main() {
-        _mm_crc32_u64(0, 0);
+        auto a = _mm_crc32_u64(0, 0);
+        (void)a;
         return 0;
     }
 " HAVE_SSE42)
@@ -43,16 +45,49 @@ if (HAVE_SSE42)
     set (COMPILER_FLAGS "${COMPILER_FLAGS} ${TEST_FLAG}")
 endif ()
 
+set (TEST_FLAG "-mssse3")
+set (CMAKE_REQUIRED_FLAGS "${TEST_FLAG} -O0")
+check_cxx_source_compiles("
+    #include <tmmintrin.h>
+    int main() {
+        __m64 a = _mm_abs_pi8(__m64());
+        (void)a;
+        return 0;
+    }
+" HAVE_SSSE3)
+
+set (TEST_FLAG "-mavx")
+set (CMAKE_REQUIRED_FLAGS "${TEST_FLAG} -O0")
+check_cxx_source_compiles("
+    #include <immintrin.h>
+    int main() {
+        auto a = _mm256_insert_epi8(__m256i(), 0, 0);
+        (void)a;
+        return 0;
+    }
+" HAVE_AVX)
+
+set (TEST_FLAG "-mavx2")
+set (CMAKE_REQUIRED_FLAGS "${TEST_FLAG} -O0")
+check_cxx_source_compiles("
+    #include <immintrin.h>
+    int main() {
+        auto a = _mm256_add_epi16(__m256i(), __m256i());
+        (void)a;
+        return 0;
+    }
+" HAVE_AVX2)
 
 # gcc -dM -E -mpopcnt - < /dev/null | sort > gcc-dump-popcnt
 #define __POPCNT__ 1
 
 set (TEST_FLAG "-mpopcnt")
 
-set (CMAKE_REQUIRED_FLAGS "${TEST_FLAG}")
+set (CMAKE_REQUIRED_FLAGS "${TEST_FLAG} -O0")
 check_cxx_source_compiles("
     int main() {
-        __builtin_popcountll(0);
+        auto a = __builtin_popcountll(0);
+        (void)a;
         return 0;
     }
 " HAVE_POPCNT)
@@ -62,5 +97,3 @@ if (HAVE_POPCNT AND NOT ARCH_AARCH64)
 endif ()
 
 cmake_pop_check_state ()
-
-# TODO: add here sse3 test if you want use it

contrib/CMakeLists.txt

@@ -1,5 +1,11 @@
-if (NOT MSVC)
+# Third-party libraries may have substandard code.
-    set (CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -Wno-old-style-cast")
+
+if (CMAKE_CXX_COMPILER_ID STREQUAL "GNU")
+    set (CMAKE_C_FLAGS "${CMAKE_C_FLAGS} -Wno-unused-function -Wno-unused-variable -Wno-unused-but-set-variable -Wno-unused-result -Wno-deprecated-declarations -Wno-maybe-uninitialized -Wno-format -Wno-misleading-indentation -Wno-stringop-overflow")
+    set (CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -Wno-old-style-cast -Wno-unused-function -Wno-unused-variable -Wno-unused-but-set-variable -Wno-unused-result -Wno-deprecated-declarations -Wno-non-virtual-dtor -Wno-maybe-uninitialized -Wno-format -Wno-misleading-indentation -Wno-implicit-fallthrough -Wno-class-memaccess -std=c++1z")
+elseif (CMAKE_CXX_COMPILER_ID STREQUAL "Clang")
+    set (CMAKE_C_FLAGS "${CMAKE_C_FLAGS} -Wno-unused-function -Wno-unused-variable -Wno-unused-result -Wno-deprecated-declarations -Wno-format -Wno-parentheses-equality")
+    set (CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -Wno-old-style-cast -Wno-unused-function -Wno-unused-variable -Wno-unused-result -Wno-deprecated-declarations -Wno-non-virtual-dtor -Wno-format -std=c++1z")
 endif ()
 
 if (USE_INTERNAL_BOOST_LIBRARY)
@@ -21,16 +27,12 @@ if (USE_INTERNAL_RE2_LIBRARY)
 endif ()
 
 if (USE_INTERNAL_DOUBLE_CONVERSION_LIBRARY)
-    set (BUILD_TESTING ${ENABLE_TESTS} CACHE INTERNAL "")
+    set (BUILD_TESTING 0 CACHE INTERNAL "")
     add_subdirectory (double-conversion)
 endif ()
 
-if (USE_INTERNAL_ZOOKEEPER_LIBRARY)
-    add_subdirectory (zookeeper/src/c)
-endif ()
-
 if (USE_INTERNAL_CITYHASH_LIBRARY)
-    add_subdirectory (libcityhash)
+    add_subdirectory (cityhash102)
 endif ()
 
 if (USE_INTERNAL_FARMHASH_LIBRARY)
@@ -41,6 +43,8 @@ if (USE_INTERNAL_METROHASH_LIBRARY)
     add_subdirectory (libmetrohash)
 endif ()
 
+add_subdirectory (murmurhash)
+
 if (USE_INTERNAL_BTRIE_LIBRARY)
     add_subdirectory (libbtrie)
 endif ()
@@ -50,14 +54,24 @@ if (USE_INTERNAL_UNWIND_LIBRARY)
 endif ()
 
 if (USE_INTERNAL_ZLIB_LIBRARY)
+    set (ZLIB_COMPAT 1 CACHE INTERNAL "") # also enables WITH_GZFILEOP
+    set (WITH_NATIVE_INSTRUCTIONS ${ARCH_NATIVE} CACHE INTERNAL "")
+    if (OS_FREEBSD OR ARCH_I386)
+        set (WITH_OPTIM 0 CACHE INTERNAL "") # Bug in assembler
+    endif ()
+    if (ARCH_AARCH64)
+        set(WITH_NEON 1 CACHE INTERNAL "")
+        set(WITH_ACLE 1 CACHE INTERNAL "")
+    endif ()
+
     add_subdirectory (${INTERNAL_ZLIB_NAME})
     # todo: make pull to Dead2/zlib-ng and remove:
     # We should use same defines when including zlib.h as used when zlib compiled
     target_compile_definitions (zlib PUBLIC ZLIB_COMPAT WITH_GZFILEOP)
     target_compile_definitions (zlibstatic PUBLIC ZLIB_COMPAT WITH_GZFILEOP)
     if(CMAKE_SYSTEM_PROCESSOR MATCHES "x86_64" OR CMAKE_SYSTEM_PROCESSOR MATCHES "AMD64")
-       target_compile_definitions (zlib PUBLIC X86_64)
+       target_compile_definitions (zlib PUBLIC X86_64 UNALIGNED_OK)
-       target_compile_definitions (zlibstatic PUBLIC X86_64)
+       target_compile_definitions (zlibstatic PUBLIC X86_64 UNALIGNED_OK)
     endif ()
 
     set_target_properties(example PROPERTIES EXCLUDE_FROM_ALL 1)
@@ -79,7 +93,11 @@ if (ENABLE_TCMALLOC AND USE_INTERNAL_GPERFTOOLS_LIBRARY)
     add_subdirectory (libtcmalloc)
 endif ()
 
-if (NOT ARCH_ARM)
+if (ENABLE_JEMALLOC AND USE_INTERNAL_JEMALLOC_LIBRARY)
+    add_subdirectory (jemalloc-cmake)
+endif ()
+
+if (USE_INTERNAL_CPUID_LIBRARY)
     add_subdirectory (libcpuid)
 endif ()
 
@@ -88,40 +106,30 @@ if (USE_INTERNAL_SSL_LIBRARY)
         set (BUILD_SHARED 1)
     endif ()
     set (USE_SHARED ${USE_STATIC_LIBRARIES})
+    set (LIBRESSL_SKIP_INSTALL 1)
     add_subdirectory (ssl)
-    target_include_directories(${OPENSSL_CRYPTO_LIBRARY} PUBLIC ${OPENSSL_INCLUDE_DIR})
+    target_include_directories(${OPENSSL_CRYPTO_LIBRARY} SYSTEM PUBLIC ${OPENSSL_INCLUDE_DIR})
-    target_include_directories(${OPENSSL_SSL_LIBRARY} PUBLIC ${OPENSSL_INCLUDE_DIR})
+    target_include_directories(${OPENSSL_SSL_LIBRARY} SYSTEM PUBLIC ${OPENSSL_INCLUDE_DIR})
+endif ()
+
+if (ENABLE_MYSQL AND USE_INTERNAL_MYSQL_LIBRARY)
+    add_subdirectory (mariadb-connector-c-cmake)
+    target_include_directories(mysqlclient BEFORE PRIVATE ${ZLIB_INCLUDE_DIR})
+    target_include_directories(mysqlclient BEFORE PRIVATE ${OPENSSL_INCLUDE_DIR})
 endif ()
 
 if (USE_INTERNAL_RDKAFKA_LIBRARY)
-    set (RDKAFKA_BUILD_EXAMPLES OFF CACHE INTERNAL "")
+    add_subdirectory (librdkafka-cmake)
-    set (RDKAFKA_BUILD_TESTS OFF CACHE INTERNAL "")
+    target_include_directories(rdkafka BEFORE PRIVATE ${ZLIB_INCLUDE_DIR})
-    set (RDKAFKA_BUILD_STATIC ${MAKE_STATIC_LIBRARIES} CACHE INTERNAL "")
+    target_include_directories(rdkafka BEFORE PRIVATE ${OPENSSL_INCLUDE_DIR})
-    mark_as_advanced (ZLIB_INCLUDE_DIR)
+endif ()
 
-    if (USE_INTERNAL_SSL_LIBRARY)
+if (ENABLE_ODBC AND USE_INTERNAL_ODBC_LIBRARY)
-        if (MAKE_STATIC_LIBRARIES)
+    add_subdirectory (unixodbc-cmake)
-            add_library(bundled-ssl ALIAS ${OPENSSL_SSL_LIBRARY})
-            set (WITH_BUNDLED_SSL 1 CACHE INTERNAL "")
-        else ()
-            set (WITH_SSL 0 CACHE INTERNAL "")
-        endif ()
-    endif ()
-
-    add_subdirectory (librdkafka)
-
-    if (USE_INTERNAL_SSL_LIBRARY AND MAKE_STATIC_LIBRARIES)
-        target_include_directories(rdkafka PRIVATE BEFORE ${OPENSSL_INCLUDE_DIR})
-    endif ()
-    target_include_directories(rdkafka PRIVATE BEFORE ${ZLIB_INCLUDE_DIR})
 endif ()
 
 if (USE_INTERNAL_CAPNP_LIBRARY)
-    if (APPLE) # tests never end
+    set (BUILD_TESTING 0 CACHE INTERNAL "")
-        set (BUILD_TESTING 0 CACHE INTERNAL "")
-    else ()
-        set (BUILD_TESTING ${ENABLE_TESTS} CACHE INTERNAL "")
-    endif ()
     set (_save ${CMAKE_CXX_EXTENSIONS})
     set (CMAKE_CXX_EXTENSIONS)
     add_subdirectory (capnproto/c++)
@@ -129,18 +137,13 @@ if (USE_INTERNAL_CAPNP_LIBRARY)
     target_include_directories(${CAPNP_LIBRARY} PUBLIC $<BUILD_INTERFACE:${CMAKE_CURRENT_SOURCE_DIR}/capnproto/c++/src>)
 endif ()
 
-
 if (USE_INTERNAL_POCO_LIBRARY)
     set (save_CMAKE_CXX_FLAGS ${CMAKE_CXX_FLAGS})
     set (save_CMAKE_C_FLAGS ${CMAKE_C_FLAGS})
     set (_save ${ENABLE_TESTS})
     set (ENABLE_TESTS 0)
+    set (POCO_ENABLE_TESTS 0)
     set (CMAKE_DISABLE_FIND_PACKAGE_ZLIB 1)
-    if (USE_INTERNAL_SSL_LIBRARY)
-        set (DISABLE_INTERNAL_OPENSSL 1 CACHE INTERNAL "")
-        set (ENABLE_NETSSL 0 CACHE INTERNAL "") # TODO!
-        set (ENABLE_CRYPTO 0 CACHE INTERNAL "") # TODO!
-    endif ()
     if (MSVC)
         set (ENABLE_DATA_ODBC 0 CACHE INTERNAL "") # TODO (build fail)
     endif ()
@@ -149,8 +152,45 @@ if (USE_INTERNAL_POCO_LIBRARY)
     set (ENABLE_TESTS ${_save})
     set (CMAKE_CXX_FLAGS ${save_CMAKE_CXX_FLAGS})
     set (CMAKE_C_FLAGS ${save_CMAKE_C_FLAGS})
-    if (OPENSSL_FOUND AND TARGET Crypto)
+
+    if (OPENSSL_FOUND AND TARGET Crypto AND (NOT DEFINED ENABLE_POCO_NETSSL OR ENABLE_POCO_NETSSL))
         # Bug in poco https://github.com/pocoproject/poco/pull/2100 found on macos
-        target_include_directories(Crypto PUBLIC ${OPENSSL_INCLUDE_DIR})
+        target_include_directories(Crypto SYSTEM PUBLIC ${OPENSSL_INCLUDE_DIR})
     endif ()
 endif ()
+
+if (USE_INTERNAL_GTEST_LIBRARY)
+    # Google Test from sources
+    add_subdirectory(${ClickHouse_SOURCE_DIR}/contrib/googletest/googletest ${CMAKE_CURRENT_BINARY_DIR}/googletest)
+    # avoid problems with <regexp.h>
+    target_compile_definitions (gtest INTERFACE GTEST_HAS_POSIX_RE=0)
+    target_include_directories (gtest SYSTEM INTERFACE ${ClickHouse_SOURCE_DIR}/contrib/googletest/include)
+endif ()
+
+if (USE_INTERNAL_LLVM_LIBRARY)
+    file(GENERATE OUTPUT ${CMAKE_CURRENT_BINARY_DIR}/empty.cpp CONTENT " ")
+    add_library(LLVM0 ${CMAKE_CURRENT_BINARY_DIR}/empty.cpp) # silly cmake bug fix
+    # ld: unknown option: --color-diagnostics
+    if (APPLE)
+        set (LINKER_SUPPORTS_COLOR_DIAGNOSTICS 0 CACHE INTERNAL "")
+    endif ()
+    set (LLVM_ENABLE_EH 1 CACHE INTERNAL "")
+    set (LLVM_ENABLE_RTTI 1 CACHE INTERNAL "")
+    set (LLVM_INCLUDE_TESTS 0 CACHE INTERNAL "")
+    set (LLVM_INCLUDE_EXAMPLES 0 CACHE INTERNAL "")
+    set (LLVM_INCLUDE_TOOLS 0 CACHE INTERNAL "")
+    set (LLVM_INSTALL_TOOLCHAIN_ONLY 0 CACHE INTERNAL "")
+    set (CLANG_BUILT_STANDALONE 0 CACHE INTERNAL "")
+    set (LLDB_BUILT_STANDALONE 0 CACHE INTERNAL "")
+    set (CLANG_ENABLE_STATIC_ANALYZER 0 CACHE INTERNAL "")
+    set (CLANG_ENABLE_ARCMT 0 CACHE INTERNAL "")
+    set (CLANG_BUILD_TOOLS 0 CACHE INTERNAL "")
+    set (BENCHMARK_ENABLE_GTEST_TESTS 0 CACHE INTERNAL "")
+    set (BENCHMARK_ENABLE_ASSEMBLY_TESTS 0 CACHE INTERNAL "")
+    set (LLVM_TARGETS_TO_BUILD "X86;AArch64" CACHE INTERNAL "")
+    add_subdirectory (llvm/llvm)
+endif ()
+
+if (USE_BASE64)
+    add_subdirectory (base64-cmake)
+endif()

contrib/base64

@@ -0,0 +1 @@
+Subproject commit a27c565d1b6c676beaf297fe503c4518185666f7

contrib/base64-cmake/.gitignore

@@ -0,0 +1 @@
+config.h

contrib/base64-cmake/CMakeLists.txt

@@ -0,0 +1,52 @@
+SET(LIBRARY_DIR ${ClickHouse_SOURCE_DIR}/contrib/base64)
+
+set(base64_compile_instructions "")
+LIST(LENGTH base64_compile_instructions 0)
+macro(cast_to_bool var instruction)
+    if (HAVE_${var})
+        set(base64_${var} 1)
+        set(base64_${var}_opt ${instruction})
+    else()
+        set(base64_${var} 0)
+    endif()
+endmacro()
+
+cast_to_bool(SSSE3 "-mssse3")
+cast_to_bool(SSE41 "-msse4.1")
+cast_to_bool(SSE42 "-msse4.2")
+cast_to_bool(AVX   "-mavx")
+cast_to_bool(AVX2  "-mavx2")
+
+# write config.h file, to include it in application
+file(READ config-header.tpl header)
+file(WRITE config.h ${header})
+file(APPEND config.h "#define HAVE_SSSE3                 ${base64_SSSE3}\n")
+file(APPEND config.h "#define HAVE_SSE41                 ${base64_SSE41}\n")
+file(APPEND config.h "#define HAVE_SSE42                 ${base64_SSE42}\n")
+file(APPEND config.h "#define HAVE_AVX                   ${base64_AVX}\n")
+file(APPEND config.h "#define HAVE_AVX2                  ${base64_AVX2}\n")
+
+set(HAVE_FAST_UNALIGNED_ACCESS 0)
+if (${base64_SSSE3} OR ${base64_SSE41} OR ${base64_SSE42} OR ${base64_AVX} OR ${base64_AVX2})
+    set(HAVE_FAST_UNALIGNED_ACCESS 1)
+endif ()
+
+file(APPEND config.h "#define HAVE_FAST_UNALIGNED_ACCESS " ${HAVE_FAST_UNALIGNED_ACCESS} "\n")
+
+add_library(base64 ${LINK_MODE}
+        ${LIBRARY_DIR}/lib/lib.c
+        ${LIBRARY_DIR}/lib/codec_choose.c
+        ${LIBRARY_DIR}/lib/arch/avx/codec.c
+        ${LIBRARY_DIR}/lib/arch/avx2/codec.c
+        ${LIBRARY_DIR}/lib/arch/generic/codec.c
+        ${LIBRARY_DIR}/lib/arch/neon32/codec.c
+        ${LIBRARY_DIR}/lib/arch/neon64/codec.c
+        ${LIBRARY_DIR}/lib/arch/sse41/codec.c
+        ${LIBRARY_DIR}/lib/arch/sse42/codec.c
+        ${LIBRARY_DIR}/lib/arch/ssse3/codec.c
+
+        ${LIBRARY_DIR}/lib/codecs.h
+        config.h)
+
+target_compile_options(base64 PRIVATE ${base64_SSSE3_opt} ${base64_SSE41_opt} ${base64_SSE42_opt} ${base64_AVX_opt} ${base64_AVX2_opt})
+target_include_directories(base64 PRIVATE ${LIBRARY_DIR}/include .)

contrib/base64-cmake/config-header.tpl

@@ -0,0 +1,2 @@
+#define HAVE_NEON32                0
+#define HAVE_NEON64                0

contrib/boost

@@ -1 +1 @@
-Subproject commit 5121cc9d0375c7b81b24b6087a51684e6cd62ded
+Subproject commit 2d5cb2c86f61126f4e1efe9ab97332efd44e7dea

contrib/boost-cmake/CMakeLists.txt

@@ -16,7 +16,7 @@ if (NOT MSVC)
     add_definitions(-Wno-unused-variable -Wno-deprecated-declarations)
 endif ()
 
-add_library(boost_program_options_internal
+add_library(boost_program_options_internal ${LINK_MODE}
 ${LIBRARY_DIR}/libs/program_options/src/cmdline.cpp
 ${LIBRARY_DIR}/libs/program_options/src/config_file.cpp
 ${LIBRARY_DIR}/libs/program_options/src/convert.cpp
@@ -29,7 +29,7 @@ ${LIBRARY_DIR}/libs/program_options/src/value_semantic.cpp
 ${LIBRARY_DIR}/libs/program_options/src/variables_map.cpp
 ${LIBRARY_DIR}/libs/program_options/src/winmain.cpp)
 
-add_library(boost_filesystem_internal
+add_library(boost_filesystem_internal ${LINK_MODE}
 ${LIBRARY_DIR}/libs/filesystem/src/codecvt_error_category.cpp
 ${LIBRARY_DIR}/libs/filesystem/src/operations.cpp
 ${LIBRARY_DIR}/libs/filesystem/src/path.cpp
@@ -39,12 +39,14 @@ ${LIBRARY_DIR}/libs/filesystem/src/unique_path.cpp
 ${LIBRARY_DIR}/libs/filesystem/src/utf8_codecvt_facet.cpp
 ${LIBRARY_DIR}/libs/filesystem/src/windows_file_codecvt.cpp)
 
-add_library(boost_system_internal
+add_library(boost_system_internal ${LINK_MODE}
 ${LIBRARY_DIR}/libs/system/src/error_code.cpp)
 
-target_include_directories (boost_program_options_internal BEFORE PUBLIC ${Boost_INCLUDE_DIRS})
+target_link_libraries (boost_filesystem_internal PUBLIC boost_system_internal)
-target_include_directories (boost_filesystem_internal BEFORE PUBLIC ${Boost_INCLUDE_DIRS})
+
-target_include_directories (boost_system_internal BEFORE PUBLIC ${Boost_INCLUDE_DIRS})
+target_include_directories (boost_program_options_internal SYSTEM BEFORE PUBLIC ${Boost_INCLUDE_DIRS})
+target_include_directories (boost_filesystem_internal SYSTEM BEFORE PUBLIC ${Boost_INCLUDE_DIRS})
+target_include_directories (boost_system_internal SYSTEM BEFORE PUBLIC ${Boost_INCLUDE_DIRS})
 
 target_compile_definitions (boost_program_options_internal PUBLIC BOOST_SYSTEM_NO_DEPRECATED)
 target_compile_definitions (boost_filesystem_internal PUBLIC BOOST_SYSTEM_NO_DEPRECATED)

contrib/boost-cmake/README

@@ -3,7 +3,7 @@ Motivation
 
 For reproducible build, we need to control, what exactly version of boost we build,
  because different versions of boost obviously have slightly different behaviour.
-You may already have installed arbitary version of boost on your system, to build another projects.
+You may already have installed arbitrary version of boost on your system, to build another projects.
 
 We need to have all libraries with C++ interface to be located in tree and to be build together.
 This is needed to allow quickly changing build options, that could introduce changes in ABI of that libraries.

contrib/capnproto

@@ -1 +1 @@
-Subproject commit c949a18da5f041a36cc218c5c4b79c7705999b4f
+Subproject commit a00ccd91b3746ef2ab51d40fe3265829949d1ace

contrib/cctz-cmake/CMakeLists.txt

@@ -1,6 +1,6 @@
 SET(LIBRARY_DIR ${ClickHouse_SOURCE_DIR}/contrib/cctz)
 
-add_library(cctz
+add_library(cctz ${LINK_MODE}
     ${LIBRARY_DIR}/src/civil_time_detail.cc
     ${LIBRARY_DIR}/src/time_zone_fixed.cc
     ${LIBRARY_DIR}/src/time_zone_format.cc

contrib/cityhash102/CMakeLists.txt

@@ -0,0 +1,8 @@
+add_library(cityhash
+	src/city.cc
+	include/citycrc.h
+	include/city.h
+	src/config.h)
+
+target_include_directories(cityhash BEFORE PUBLIC include)
+target_include_directories(cityhash PRIVATE src)

contrib/cityhash102/src/config.h

@@ -116,3 +116,10 @@
 /* Define to the type of an unsigned integer type of width exactly 8 bits if
    such a type exists and the standard includes do not define it. */
 /* #undef uint8_t */
+
+#ifdef _MSC_VER
+    #include <basetsd.h>
+    typedef SSIZE_T ssize_t;
+#else
+    #include <sys/types.h>
+#endif

contrib/jemalloc

@@ -0,0 +1 @@
+Subproject commit cd2931ad9bbd78208565716ab102e86d858c2fff

contrib/jemalloc-cmake/CMakeLists.txt

@@ -0,0 +1,62 @@
+set(JEMALLOC_SOURCE_DIR ${CMAKE_SOURCE_DIR}/contrib/jemalloc)
+
+set(SRCS
+${JEMALLOC_SOURCE_DIR}/src/arena.c
+${JEMALLOC_SOURCE_DIR}/src/background_thread.c
+${JEMALLOC_SOURCE_DIR}/src/base.c
+${JEMALLOC_SOURCE_DIR}/src/bin.c
+${JEMALLOC_SOURCE_DIR}/src/bitmap.c
+${JEMALLOC_SOURCE_DIR}/src/ckh.c
+${JEMALLOC_SOURCE_DIR}/src/ctl.c
+${JEMALLOC_SOURCE_DIR}/src/div.c
+${JEMALLOC_SOURCE_DIR}/src/extent.c
+${JEMALLOC_SOURCE_DIR}/src/extent_dss.c
+${JEMALLOC_SOURCE_DIR}/src/extent_mmap.c
+${JEMALLOC_SOURCE_DIR}/src/hash.c
+${JEMALLOC_SOURCE_DIR}/src/hook.c
+${JEMALLOC_SOURCE_DIR}/src/jemalloc.c
+${JEMALLOC_SOURCE_DIR}/src/jemalloc_cpp.cpp
+${JEMALLOC_SOURCE_DIR}/src/large.c
+${JEMALLOC_SOURCE_DIR}/src/log.c
+${JEMALLOC_SOURCE_DIR}/src/malloc_io.c
+${JEMALLOC_SOURCE_DIR}/src/mutex.c
+${JEMALLOC_SOURCE_DIR}/src/mutex_pool.c
+${JEMALLOC_SOURCE_DIR}/src/nstime.c
+${JEMALLOC_SOURCE_DIR}/src/pages.c
+${JEMALLOC_SOURCE_DIR}/src/prng.c
+${JEMALLOC_SOURCE_DIR}/src/prof.c
+${JEMALLOC_SOURCE_DIR}/src/rtree.c
+${JEMALLOC_SOURCE_DIR}/src/sc.c
+${JEMALLOC_SOURCE_DIR}/src/stats.c
+${JEMALLOC_SOURCE_DIR}/src/sz.c
+${JEMALLOC_SOURCE_DIR}/src/tcache.c
+${JEMALLOC_SOURCE_DIR}/src/test_hooks.c
+${JEMALLOC_SOURCE_DIR}/src/ticker.c
+${JEMALLOC_SOURCE_DIR}/src/tsd.c
+${JEMALLOC_SOURCE_DIR}/src/witness.c
+)
+
+if(CMAKE_SYSTEM_NAME MATCHES "Darwin")
+  list(APPEND SRCS ${JEMALLOC_SOURCE_DIR}/src/zone.c)
+endif()
+
+add_library(jemalloc STATIC ${SRCS})
+
+target_include_directories(jemalloc PUBLIC
+    ${CMAKE_CURRENT_SOURCE_DIR}/include
+    ${CMAKE_CURRENT_SOURCE_DIR}/include_linux_x86_64) # jemalloc.h
+
+target_include_directories(jemalloc PRIVATE
+    ${JEMALLOC_SOURCE_DIR}/include)
+
+target_compile_definitions(jemalloc PRIVATE -DJEMALLOC_NO_PRIVATE_NAMESPACE)
+
+if (CMAKE_BUILD_TYPE_UC STREQUAL "DEBUG")
+    target_compile_definitions(jemalloc PRIVATE -DJEMALLOC_DEBUG=1 -DJEMALLOC_PROF=1)
+
+    if (USE_UNWIND)
+        target_compile_definitions (jemalloc PRIVATE -DJEMALLOC_PROF_LIBUNWIND=1)
+        target_include_directories (jemalloc BEFORE PRIVATE ${UNWIND_INCLUDE_DIR})
+        target_link_libraries (jemalloc PRIVATE ${UNWIND_LIBRARY})
+    endif ()
+endif ()

contrib/jemalloc-cmake/README

@@ -0,0 +1 @@
+It allows to integrate JEMalloc into CMake project.

contrib/jemalloc-cmake/include/jemalloc/jemalloc.h

@@ -0,0 +1,16 @@
+#pragma once
+
+#ifdef __cplusplus
+extern "C" {
+#endif
+
+#include <jemalloc/jemalloc_defs.h>
+#include <jemalloc/jemalloc_rename.h>
+#include <jemalloc/jemalloc_macros.h>
+#include <jemalloc/jemalloc_protos.h>
+#include <jemalloc/jemalloc_typedefs.h>
+
+#ifdef __cplusplus
+}
+#endif
+

contrib/jemalloc-cmake/include/jemalloc/jemalloc_rename.h

@@ -0,0 +1,29 @@
+/*
+ * Name mangling for public symbols is controlled by --with-mangling and
+ * --with-jemalloc-prefix.  With default settings the je_ prefix is stripped by
+ * these macro definitions.
+ */
+#ifndef JEMALLOC_NO_RENAME
+#  define je_aligned_alloc aligned_alloc
+#  define je_calloc calloc
+#  define je_dallocx dallocx
+#  define je_free free
+#  define je_mallctl mallctl
+#  define je_mallctlbymib mallctlbymib
+#  define je_mallctlnametomib mallctlnametomib
+#  define je_malloc malloc
+#  define je_malloc_conf malloc_conf
+#  define je_malloc_message malloc_message
+#  define je_malloc_stats_print malloc_stats_print
+#  define je_malloc_usable_size malloc_usable_size
+#  define je_mallocx mallocx
+#  define je_nallocx nallocx
+#  define je_posix_memalign posix_memalign
+#  define je_rallocx rallocx
+#  define je_realloc realloc
+#  define je_sallocx sallocx
+#  define je_sdallocx sdallocx
+#  define je_xallocx xallocx
+#  define je_memalign memalign
+#  define je_valloc valloc
+#endif

contrib/jemalloc-cmake/include_linux_x86_64/README

@@ -0,0 +1,7 @@
+Here are pre-generated files from jemalloc on Linux x86_64.
+You can obtain these files by running ./autogen.sh inside jemalloc source directory.
+
+Added #define GNU_SOURCE
+Added JEMALLOC_OVERRIDE___POSIX_MEMALIGN because why not.
+Removed JEMALLOC_HAVE_ATTR_FORMAT_GNU_PRINTF because it's non standard.
+Removed JEMALLOC_PURGE_MADVISE_FREE because it's available only from Linux 4.5.

contrib/jemalloc-cmake/include_linux_x86_64/jemalloc/internal/jemalloc_internal_defs.h

@@ -0,0 +1,373 @@
+/* include/jemalloc/internal/jemalloc_internal_defs.h.  Generated from jemalloc_internal_defs.h.in by configure.  */
+#ifndef JEMALLOC_INTERNAL_DEFS_H_
+#define JEMALLOC_INTERNAL_DEFS_H_
+
+#ifndef _GNU_SOURCE
+    #define _GNU_SOURCE
+#endif
+
+/*
+ * If JEMALLOC_PREFIX is defined via --with-jemalloc-prefix, it will cause all
+ * public APIs to be prefixed.  This makes it possible, with some care, to use
+ * multiple allocators simultaneously.
+ */
+/* #undef JEMALLOC_PREFIX */
+/* #undef JEMALLOC_CPREFIX */
+
+/*
+ * Define overrides for non-standard allocator-related functions if they are
+ * present on the system.
+ */
+#define JEMALLOC_OVERRIDE___LIBC_CALLOC
+#define JEMALLOC_OVERRIDE___LIBC_FREE
+#define JEMALLOC_OVERRIDE___LIBC_MALLOC
+#define JEMALLOC_OVERRIDE___LIBC_MEMALIGN
+#define JEMALLOC_OVERRIDE___LIBC_REALLOC
+#define JEMALLOC_OVERRIDE___LIBC_VALLOC
+#define JEMALLOC_OVERRIDE___POSIX_MEMALIGN
+
+/*
+ * JEMALLOC_PRIVATE_NAMESPACE is used as a prefix for all library-private APIs.
+ * For shared libraries, symbol visibility mechanisms prevent these symbols
+ * from being exported, but for static libraries, naming collisions are a real
+ * possibility.
+ */
+#define JEMALLOC_PRIVATE_NAMESPACE je_
+
+/*
+ * Hyper-threaded CPUs may need a special instruction inside spin loops in
+ * order to yield to another virtual CPU.
+ */
+#define CPU_SPINWAIT __asm__ volatile("pause")
+/* 1 if CPU_SPINWAIT is defined, 0 otherwise. */
+#define HAVE_CPU_SPINWAIT 1
+
+/*
+ * Number of significant bits in virtual addresses.  This may be less than the
+ * total number of bits in a pointer, e.g. on x64, for which the uppermost 16
+ * bits are the same as bit 47.
+ */
+#define LG_VADDR 48
+
+/* Defined if C11 atomics are available. */
+#define JEMALLOC_C11_ATOMICS 1
+
+/* Defined if GCC __atomic atomics are available. */
+#define JEMALLOC_GCC_ATOMIC_ATOMICS 1
+
+/* Defined if GCC __sync atomics are available. */
+#define JEMALLOC_GCC_SYNC_ATOMICS 1
+
+/*
+ * Defined if __sync_add_and_fetch(uint32_t *, uint32_t) and
+ * __sync_sub_and_fetch(uint32_t *, uint32_t) are available, despite
+ * __GCC_HAVE_SYNC_COMPARE_AND_SWAP_4 not being defined (which means the
+ * functions are defined in libgcc instead of being inlines).
+ */
+/* #undef JE_FORCE_SYNC_COMPARE_AND_SWAP_4 */
+
+/*
+ * Defined if __sync_add_and_fetch(uint64_t *, uint64_t) and
+ * __sync_sub_and_fetch(uint64_t *, uint64_t) are available, despite
+ * __GCC_HAVE_SYNC_COMPARE_AND_SWAP_8 not being defined (which means the
+ * functions are defined in libgcc instead of being inlines).
+ */
+/* #undef JE_FORCE_SYNC_COMPARE_AND_SWAP_8 */
+
+/*
+ * Defined if __builtin_clz() and __builtin_clzl() are available.
+ */
+#define JEMALLOC_HAVE_BUILTIN_CLZ
+
+/*
+ * Defined if os_unfair_lock_*() functions are available, as provided by Darwin.
+ */
+/* #undef JEMALLOC_OS_UNFAIR_LOCK */
+
+/*
+ * Defined if OSSpin*() functions are available, as provided by Darwin, and
+ * documented in the spinlock(3) manual page.
+ */
+/* #undef JEMALLOC_OSSPIN */
+
+/* Defined if syscall(2) is usable. */
+#define JEMALLOC_USE_SYSCALL
+
+/*
+ * Defined if secure_getenv(3) is available.
+ */
+// Don't want dependency on newer GLIBC
+//#define JEMALLOC_HAVE_SECURE_GETENV
+
+/*
+ * Defined if issetugid(2) is available.
+ */
+/* #undef JEMALLOC_HAVE_ISSETUGID */
+
+/* Defined if pthread_atfork(3) is available. */
+#define JEMALLOC_HAVE_PTHREAD_ATFORK
+
+/* Defined if pthread_setname_np(3) is available. */
+#define JEMALLOC_HAVE_PTHREAD_SETNAME_NP
+
+/*
+ * Defined if clock_gettime(CLOCK_MONOTONIC_COARSE, ...) is available.
+ */
+#define JEMALLOC_HAVE_CLOCK_MONOTONIC_COARSE 1
+
+/*
+ * Defined if clock_gettime(CLOCK_MONOTONIC, ...) is available.
+ */
+#define JEMALLOC_HAVE_CLOCK_MONOTONIC 1
+
+/*
+ * Defined if mach_absolute_time() is available.
+ */
+/* #undef JEMALLOC_HAVE_MACH_ABSOLUTE_TIME */
+
+/*
+ * Defined if _malloc_thread_cleanup() exists.  At least in the case of
+ * FreeBSD, pthread_key_create() allocates, which if used during malloc
+ * bootstrapping will cause recursion into the pthreads library.  Therefore, if
+ * _malloc_thread_cleanup() exists, use it as the basis for thread cleanup in
+ * malloc_tsd.
+ */
+/* #undef JEMALLOC_MALLOC_THREAD_CLEANUP */
+
+/*
+ * Defined if threaded initialization is known to be safe on this platform.
+ * Among other things, it must be possible to initialize a mutex without
+ * triggering allocation in order for threaded allocation to be safe.
+ */
+#define JEMALLOC_THREADED_INIT
+
+/*
+ * Defined if the pthreads implementation defines
+ * _pthread_mutex_init_calloc_cb(), in which case the function is used in order
+ * to avoid recursive allocation during mutex initialization.
+ */
+/* #undef JEMALLOC_MUTEX_INIT_CB */
+
+/* Non-empty if the tls_model attribute is supported. */
+#define JEMALLOC_TLS_MODEL __attribute__((tls_model("initial-exec")))
+
+/*
+ * JEMALLOC_DEBUG enables assertions and other sanity checks, and disables
+ * inline functions.
+ */
+/* #undef JEMALLOC_DEBUG */
+
+/* JEMALLOC_STATS enables statistics calculation. */
+#define JEMALLOC_STATS
+
+/* JEMALLOC_PROF enables allocation profiling. */
+/* #undef JEMALLOC_PROF */
+
+/* Use libunwind for profile backtracing if defined. */
+/* #undef JEMALLOC_PROF_LIBUNWIND */
+
+/* Use libgcc for profile backtracing if defined. */
+/* #undef JEMALLOC_PROF_LIBGCC */
+
+/* Use gcc intrinsics for profile backtracing if defined. */
+/* #undef JEMALLOC_PROF_GCC */
+
+/*
+ * JEMALLOC_DSS enables use of sbrk(2) to allocate extents from the data storage
+ * segment (DSS).
+ */
+#define JEMALLOC_DSS
+
+/* Support memory filling (junk/zero). */
+#define JEMALLOC_FILL
+
+/* Support utrace(2)-based tracing. */
+/* #undef JEMALLOC_UTRACE */
+
+/* Support optional abort() on OOM. */
+/* #undef JEMALLOC_XMALLOC */
+
+/* Support lazy locking (avoid locking unless a second thread is launched). */
+/* #undef JEMALLOC_LAZY_LOCK */
+
+/*
+ * Minimum allocation alignment is 2^LG_QUANTUM bytes (ignoring tiny size
+ * classes).
+ */
+/* #undef LG_QUANTUM */
+
+/* One page is 2^LG_PAGE bytes. */
+#define LG_PAGE 12
+
+/*
+ * One huge page is 2^LG_HUGEPAGE bytes.  Note that this is defined even if the
+ * system does not explicitly support huge pages; system calls that require
+ * explicit huge page support are separately configured.
+ */
+#define LG_HUGEPAGE 21
+
+/*
+ * If defined, adjacent virtual memory mappings with identical attributes
+ * automatically coalesce, and they fragment when changes are made to subranges.
+ * This is the normal order of things for mmap()/munmap(), but on Windows
+ * VirtualAlloc()/VirtualFree() operations must be precisely matched, i.e.
+ * mappings do *not* coalesce/fragment.
+ */
+#define JEMALLOC_MAPS_COALESCE
+
+/*
+ * If defined, retain memory for later reuse by default rather than using e.g.
+ * munmap() to unmap freed extents.  This is enabled on 64-bit Linux because
+ * common sequences of mmap()/munmap() calls will cause virtual memory map
+ * holes.
+ */
+#define JEMALLOC_RETAIN
+
+/* TLS is used to map arenas and magazine caches to threads. */
+#define JEMALLOC_TLS
+
+/*
+ * Used to mark unreachable code to quiet "end of non-void" compiler warnings.
+ * Don't use this directly; instead use unreachable() from util.h
+ */
+#define JEMALLOC_INTERNAL_UNREACHABLE __builtin_unreachable
+
+/*
+ * ffs*() functions to use for bitmapping.  Don't use these directly; instead,
+ * use ffs_*() from util.h.
+ */
+#define JEMALLOC_INTERNAL_FFSLL __builtin_ffsll
+#define JEMALLOC_INTERNAL_FFSL __builtin_ffsl
+#define JEMALLOC_INTERNAL_FFS __builtin_ffs
+
+/*
+ * If defined, explicitly attempt to more uniformly distribute large allocation
+ * pointer alignments across all cache indices.
+ */
+#define JEMALLOC_CACHE_OBLIVIOUS
+
+/*
+ * If defined, enable logging facilities.  We make this a configure option to
+ * avoid taking extra branches everywhere.
+ */
+/* #undef JEMALLOC_LOG */
+
+/*
+ * Darwin (OS X) uses zones to work around Mach-O symbol override shortcomings.
+ */
+/* #undef JEMALLOC_ZONE */
+
+/*
+ * Methods for determining whether the OS overcommits.
+ * JEMALLOC_PROC_SYS_VM_OVERCOMMIT_MEMORY: Linux's
+ *                                         /proc/sys/vm.overcommit_memory file.
+ * JEMALLOC_SYSCTL_VM_OVERCOMMIT: FreeBSD's vm.overcommit sysctl.
+ */
+/* #undef JEMALLOC_SYSCTL_VM_OVERCOMMIT */
+#define JEMALLOC_PROC_SYS_VM_OVERCOMMIT_MEMORY
+
+/* Defined if madvise(2) is available. */
+#define JEMALLOC_HAVE_MADVISE
+
+/*
+ * Defined if transparent huge pages are supported via the MADV_[NO]HUGEPAGE
+ * arguments to madvise(2).
+ */
+#define JEMALLOC_HAVE_MADVISE_HUGE
+
+/*
+ * Methods for purging unused pages differ between operating systems.
+ *
+ *   madvise(..., MADV_FREE) : This marks pages as being unused, such that they
+ *                             will be discarded rather than swapped out.
+ *   madvise(..., MADV_DONTNEED) : If JEMALLOC_PURGE_MADVISE_DONTNEED_ZEROS is
+ *                                 defined, this immediately discards pages,
+ *                                 such that new pages will be demand-zeroed if
+ *                                 the address region is later touched;
+ *                                 otherwise this behaves similarly to
+ *                                 MADV_FREE, though typically with higher
+ *                                 system overhead.
+ */
+//#define JEMALLOC_PURGE_MADVISE_FREE
+#define JEMALLOC_PURGE_MADVISE_DONTNEED
+#define JEMALLOC_PURGE_MADVISE_DONTNEED_ZEROS
+
+/* Defined if madvise(2) is available but MADV_FREE is not (x86 Linux only). */
+/* #undef JEMALLOC_DEFINE_MADVISE_FREE */
+
+/*
+ * Defined if MADV_DO[NT]DUMP is supported as an argument to madvise.
+ */
+#define JEMALLOC_MADVISE_DONTDUMP
+
+/*
+ * Defined if transparent huge pages (THPs) are supported via the
+ * MADV_[NO]HUGEPAGE arguments to madvise(2), and THP support is enabled.
+ */
+/* #undef JEMALLOC_THP */
+
+/* Define if operating system has alloca.h header. */
+#define JEMALLOC_HAS_ALLOCA_H 1
+
+/* C99 restrict keyword supported. */
+#define JEMALLOC_HAS_RESTRICT 1
+
+/* For use by hash code. */
+/* #undef JEMALLOC_BIG_ENDIAN */
+
+/* sizeof(int) == 2^LG_SIZEOF_INT. */
+#define LG_SIZEOF_INT 2
+
+/* sizeof(long) == 2^LG_SIZEOF_LONG. */
+#define LG_SIZEOF_LONG 3
+
+/* sizeof(long long) == 2^LG_SIZEOF_LONG_LONG. */
+#define LG_SIZEOF_LONG_LONG 3
+
+/* sizeof(intmax_t) == 2^LG_SIZEOF_INTMAX_T. */
+#define LG_SIZEOF_INTMAX_T 3
+
+/* glibc malloc hooks (__malloc_hook, __realloc_hook, __free_hook). */
+#define JEMALLOC_GLIBC_MALLOC_HOOK
+
+/* glibc memalign hook. */
+#define JEMALLOC_GLIBC_MEMALIGN_HOOK
+
+/* pthread support */
+#define JEMALLOC_HAVE_PTHREAD
+
+/* dlsym() support */
+#define JEMALLOC_HAVE_DLSYM
+
+/* Adaptive mutex support in pthreads. */
+#define JEMALLOC_HAVE_PTHREAD_MUTEX_ADAPTIVE_NP
+
+/* GNU specific sched_getcpu support */
+#define JEMALLOC_HAVE_SCHED_GETCPU
+
+/* GNU specific sched_setaffinity support */
+#define JEMALLOC_HAVE_SCHED_SETAFFINITY
+
+/*
+ * If defined, all the features necessary for background threads are present.
+ */
+#define JEMALLOC_BACKGROUND_THREAD 1
+
+/*
+ * If defined, jemalloc symbols are not exported (doesn't work when
+ * JEMALLOC_PREFIX is not defined).
+ */
+/* #undef JEMALLOC_EXPORT */
+
+/* config.malloc_conf options string. */
+#define JEMALLOC_CONFIG_MALLOC_CONF ""
+
+/* If defined, jemalloc takes the malloc/free/etc. symbol names. */
+#define JEMALLOC_IS_MALLOC 1
+
+/*
+ * Defined if strerror_r returns char * if _GNU_SOURCE is defined.
+ */
+#define JEMALLOC_STRERROR_R_RETURNS_CHAR_WITH_GNU_SOURCE
+
+#endif /* JEMALLOC_INTERNAL_DEFS_H_ */

contrib/jemalloc-cmake/include_linux_x86_64/jemalloc/internal/jemalloc_preamble.h

@@ -0,0 +1,194 @@
+#ifndef JEMALLOC_PREAMBLE_H
+#define JEMALLOC_PREAMBLE_H
+
+#include "jemalloc_internal_defs.h"
+#include "jemalloc/internal/jemalloc_internal_decls.h"
+
+#ifdef JEMALLOC_UTRACE
+#include <sys/ktrace.h>
+#endif
+
+#define JEMALLOC_NO_DEMANGLE
+#ifdef JEMALLOC_JET
+#  undef JEMALLOC_IS_MALLOC
+#  define JEMALLOC_N(n) jet_##n
+#  include "jemalloc/internal/public_namespace.h"
+#  define JEMALLOC_NO_RENAME
+#  include "jemalloc/jemalloc.h"
+#  undef JEMALLOC_NO_RENAME
+#else
+#  define JEMALLOC_N(n) je_##n
+#  include "jemalloc/jemalloc.h"
+#endif
+
+#if (defined(JEMALLOC_OSATOMIC) || defined(JEMALLOC_OSSPIN))
+#include <libkern/OSAtomic.h>
+#endif
+
+#ifdef JEMALLOC_ZONE
+#include <mach/mach_error.h>
+#include <mach/mach_init.h>
+#include <mach/vm_map.h>
+#endif
+
+#include "jemalloc/internal/jemalloc_internal_macros.h"
+
+/*
+ * Note that the ordering matters here; the hook itself is name-mangled.  We
+ * want the inclusion of hooks to happen early, so that we hook as much as
+ * possible.
+ */
+#ifndef JEMALLOC_NO_PRIVATE_NAMESPACE
+#  ifndef JEMALLOC_JET
+#    include "jemalloc/internal/private_namespace.h"
+#  else
+#    include "jemalloc/internal/private_namespace_jet.h"
+#  endif
+#endif
+#include "jemalloc/internal/test_hooks.h"
+
+#ifdef JEMALLOC_DEFINE_MADVISE_FREE
+#  define JEMALLOC_MADV_FREE 8
+#endif
+
+static const bool config_debug =
+#ifdef JEMALLOC_DEBUG
+    true
+#else
+    false
+#endif
+    ;
+static const bool have_dss =
+#ifdef JEMALLOC_DSS
+    true
+#else
+    false
+#endif
+    ;
+static const bool have_madvise_huge =
+#ifdef JEMALLOC_HAVE_MADVISE_HUGE
+    true
+#else
+    false
+#endif
+    ;
+static const bool config_fill =
+#ifdef JEMALLOC_FILL
+    true
+#else
+    false
+#endif
+    ;
+static const bool config_lazy_lock =
+#ifdef JEMALLOC_LAZY_LOCK
+    true
+#else
+    false
+#endif
+    ;
+static const char * const config_malloc_conf = JEMALLOC_CONFIG_MALLOC_CONF;
+static const bool config_prof =
+#ifdef JEMALLOC_PROF
+    true
+#else
+    false
+#endif
+    ;
+static const bool config_prof_libgcc =
+#ifdef JEMALLOC_PROF_LIBGCC
+    true
+#else
+    false
+#endif
+    ;
+static const bool config_prof_libunwind =
+#ifdef JEMALLOC_PROF_LIBUNWIND
+    true
+#else
+    false
+#endif
+    ;
+static const bool maps_coalesce =
+#ifdef JEMALLOC_MAPS_COALESCE
+    true
+#else
+    false
+#endif
+    ;
+static const bool config_stats =
+#ifdef JEMALLOC_STATS
+    true
+#else
+    false
+#endif
+    ;
+static const bool config_tls =
+#ifdef JEMALLOC_TLS
+    true
+#else
+    false
+#endif
+    ;
+static const bool config_utrace =
+#ifdef JEMALLOC_UTRACE
+    true
+#else
+    false
+#endif
+    ;
+static const bool config_xmalloc =
+#ifdef JEMALLOC_XMALLOC
+    true
+#else
+    false
+#endif
+    ;
+static const bool config_cache_oblivious =
+#ifdef JEMALLOC_CACHE_OBLIVIOUS
+    true
+#else
+    false
+#endif
+    ;
+/*
+ * Undocumented, for jemalloc development use only at the moment.  See the note
+ * in jemalloc/internal/log.h.
+ */
+static const bool config_log =
+#ifdef JEMALLOC_LOG
+    true
+#else
+    false
+#endif
+    ;
+#ifdef JEMALLOC_HAVE_SCHED_GETCPU
+/* Currently percpu_arena depends on sched_getcpu. */
+#define JEMALLOC_PERCPU_ARENA
+#endif
+static const bool have_percpu_arena =
+#ifdef JEMALLOC_PERCPU_ARENA
+    true
+#else
+    false
+#endif
+    ;
+/*
+ * Undocumented, and not recommended; the application should take full
+ * responsibility for tracking provenance.
+ */
+static const bool force_ivsalloc =
+#ifdef JEMALLOC_FORCE_IVSALLOC
+    true
+#else
+    false
+#endif
+    ;
+static const bool have_background_thread =
+#ifdef JEMALLOC_BACKGROUND_THREAD
+    true
+#else
+    false
+#endif
+    ;
+
+#endif /* JEMALLOC_PREAMBLE_H */

contrib/jemalloc-cmake/include_linux_x86_64/jemalloc/jemalloc_defs.h

@@ -0,0 +1,43 @@
+/* include/jemalloc/jemalloc_defs.h.  Generated from jemalloc_defs.h.in by configure.  */
+/* Defined if __attribute__((...)) syntax is supported. */
+#define JEMALLOC_HAVE_ATTR
+
+/* Defined if alloc_size attribute is supported. */
+#define JEMALLOC_HAVE_ATTR_ALLOC_SIZE
+
+/* Defined if format(printf, ...) attribute is supported. */
+#define JEMALLOC_HAVE_ATTR_FORMAT_PRINTF
+
+/*
+ * Define overrides for non-standard allocator-related functions if they are
+ * present on the system.
+ */
+#define JEMALLOC_OVERRIDE_MEMALIGN
+#define JEMALLOC_OVERRIDE_VALLOC
+
+/*
+ * At least Linux omits the "const" in:
+ *
+ *   size_t malloc_usable_size(const void *ptr);
+ *
+ * Match the operating system's prototype.
+ */
+#define JEMALLOC_USABLE_SIZE_CONST
+
+/*
+ * If defined, specify throw() for the public function prototypes when compiling
+ * with C++.  The only justification for this is to match the prototypes that
+ * glibc defines.
+ */
+#define JEMALLOC_USE_CXX_THROW
+
+#ifdef _MSC_VER
+#  ifdef _WIN64
+#    define LG_SIZEOF_PTR_WIN 3
+#  else
+#    define LG_SIZEOF_PTR_WIN 2
+#  endif
+#endif
+
+/* sizeof(void *) == 2^LG_SIZEOF_PTR. */
+#define LG_SIZEOF_PTR 3

contrib/jemalloc-cmake/include_linux_x86_64/jemalloc/jemalloc_macros.h

@@ -0,0 +1,122 @@
+#include <stdlib.h>
+#include <stdbool.h>
+#include <stdint.h>
+#include <limits.h>
+#include <strings.h>
+
+#define JEMALLOC_VERSION "5.1.0-56-g41b7372eadee941b9164751b8d4963f915d3ceae"
+#define JEMALLOC_VERSION_MAJOR 5
+#define JEMALLOC_VERSION_MINOR 1
+#define JEMALLOC_VERSION_BUGFIX 0
+#define JEMALLOC_VERSION_NREV 56
+#define JEMALLOC_VERSION_GID "41b7372eadee941b9164751b8d4963f915d3ceae"
+
+#define MALLOCX_LG_ALIGN(la)	((int)(la))
+#if LG_SIZEOF_PTR == 2
+#  define MALLOCX_ALIGN(a)	((int)(ffs((int)(a))-1))
+#else
+#  define MALLOCX_ALIGN(a)						\
+     ((int)(((size_t)(a) < (size_t)INT_MAX) ? ffs((int)(a))-1 :	\
+     ffs((int)(((size_t)(a))>>32))+31))
+#endif
+#define MALLOCX_ZERO	((int)0x40)
+/*
+ * Bias tcache index bits so that 0 encodes "automatic tcache management", and 1
+ * encodes MALLOCX_TCACHE_NONE.
+ */
+#define MALLOCX_TCACHE(tc)	((int)(((tc)+2) << 8))
+#define MALLOCX_TCACHE_NONE	MALLOCX_TCACHE(-1)
+/*
+ * Bias arena index bits so that 0 encodes "use an automatically chosen arena".
+ */
+#define MALLOCX_ARENA(a)	((((int)(a))+1) << 20)
+
+/*
+ * Use as arena index in "arena.<i>.{purge,decay,dss}" and
+ * "stats.arenas.<i>.*" mallctl interfaces to select all arenas.  This
+ * definition is intentionally specified in raw decimal format to support
+ * cpp-based string concatenation, e.g.
+ *
+ *   #define STRINGIFY_HELPER(x) #x
+ *   #define STRINGIFY(x) STRINGIFY_HELPER(x)
+ *
+ *   mallctl("arena." STRINGIFY(MALLCTL_ARENAS_ALL) ".purge", NULL, NULL, NULL,
+ *       0);
+ */
+#define MALLCTL_ARENAS_ALL	4096
+/*
+ * Use as arena index in "stats.arenas.<i>.*" mallctl interfaces to select
+ * destroyed arenas.
+ */
+#define MALLCTL_ARENAS_DESTROYED	4097
+
+#if defined(__cplusplus) && defined(JEMALLOC_USE_CXX_THROW)
+#  define JEMALLOC_CXX_THROW throw()
+#else
+#  define JEMALLOC_CXX_THROW
+#endif
+
+#if defined(_MSC_VER)
+#  define JEMALLOC_ATTR(s)
+#  define JEMALLOC_ALIGNED(s) __declspec(align(s))
+#  define JEMALLOC_ALLOC_SIZE(s)
+#  define JEMALLOC_ALLOC_SIZE2(s1, s2)
+#  ifndef JEMALLOC_EXPORT
+#    ifdef DLLEXPORT
+#      define JEMALLOC_EXPORT __declspec(dllexport)
+#    else
+#      define JEMALLOC_EXPORT __declspec(dllimport)
+#    endif
+#  endif
+#  define JEMALLOC_FORMAT_PRINTF(s, i)
+#  define JEMALLOC_NOINLINE __declspec(noinline)
+#  ifdef __cplusplus
+#    define JEMALLOC_NOTHROW __declspec(nothrow)
+#  else
+#    define JEMALLOC_NOTHROW
+#  endif
+#  define JEMALLOC_SECTION(s) __declspec(allocate(s))
+#  define JEMALLOC_RESTRICT_RETURN __declspec(restrict)
+#  if _MSC_VER >= 1900 && !defined(__EDG__)
+#    define JEMALLOC_ALLOCATOR __declspec(allocator)
+#  else
+#    define JEMALLOC_ALLOCATOR
+#  endif
+#elif defined(JEMALLOC_HAVE_ATTR)
+#  define JEMALLOC_ATTR(s) __attribute__((s))
+#  define JEMALLOC_ALIGNED(s) JEMALLOC_ATTR(aligned(s))
+#  ifdef JEMALLOC_HAVE_ATTR_ALLOC_SIZE
+#    define JEMALLOC_ALLOC_SIZE(s) JEMALLOC_ATTR(alloc_size(s))
+#    define JEMALLOC_ALLOC_SIZE2(s1, s2) JEMALLOC_ATTR(alloc_size(s1, s2))
+#  else
+#    define JEMALLOC_ALLOC_SIZE(s)
+#    define JEMALLOC_ALLOC_SIZE2(s1, s2)
+#  endif
+#  ifndef JEMALLOC_EXPORT
+#    define JEMALLOC_EXPORT JEMALLOC_ATTR(visibility("default"))
+#  endif
+#  ifdef JEMALLOC_HAVE_ATTR_FORMAT_GNU_PRINTF
+#    define JEMALLOC_FORMAT_PRINTF(s, i) JEMALLOC_ATTR(format(gnu_printf, s, i))
+#  elif defined(JEMALLOC_HAVE_ATTR_FORMAT_PRINTF)
+#    define JEMALLOC_FORMAT_PRINTF(s, i) JEMALLOC_ATTR(format(printf, s, i))
+#  else
+#    define JEMALLOC_FORMAT_PRINTF(s, i)
+#  endif
+#  define JEMALLOC_NOINLINE JEMALLOC_ATTR(noinline)
+#  define JEMALLOC_NOTHROW JEMALLOC_ATTR(nothrow)
+#  define JEMALLOC_SECTION(s) JEMALLOC_ATTR(section(s))
+#  define JEMALLOC_RESTRICT_RETURN
+#  define JEMALLOC_ALLOCATOR
+#else
+#  define JEMALLOC_ATTR(s)
+#  define JEMALLOC_ALIGNED(s)
+#  define JEMALLOC_ALLOC_SIZE(s)
+#  define JEMALLOC_ALLOC_SIZE2(s1, s2)
+#  define JEMALLOC_EXPORT
+#  define JEMALLOC_FORMAT_PRINTF(s, i)
+#  define JEMALLOC_NOINLINE
+#  define JEMALLOC_NOTHROW
+#  define JEMALLOC_SECTION(s)
+#  define JEMALLOC_RESTRICT_RETURN
+#  define JEMALLOC_ALLOCATOR
+#endif

contrib/jemalloc-cmake/include_linux_x86_64/jemalloc/jemalloc_protos.h

@@ -0,0 +1,66 @@
+/*
+ * The je_ prefix on the following public symbol declarations is an artifact
+ * of namespace management, and should be omitted in application code unless
+ * JEMALLOC_NO_DEMANGLE is defined (see jemalloc_mangle.h).
+ */
+extern JEMALLOC_EXPORT const char	*je_malloc_conf;
+extern JEMALLOC_EXPORT void		(*je_malloc_message)(void *cbopaque,
+    const char *s);
+
+JEMALLOC_EXPORT JEMALLOC_ALLOCATOR JEMALLOC_RESTRICT_RETURN
+    void JEMALLOC_NOTHROW	*je_malloc(size_t size)
+    JEMALLOC_CXX_THROW JEMALLOC_ATTR(malloc) JEMALLOC_ALLOC_SIZE(1);
+JEMALLOC_EXPORT JEMALLOC_ALLOCATOR JEMALLOC_RESTRICT_RETURN
+    void JEMALLOC_NOTHROW	*je_calloc(size_t num, size_t size)
+    JEMALLOC_CXX_THROW JEMALLOC_ATTR(malloc) JEMALLOC_ALLOC_SIZE2(1, 2);
+JEMALLOC_EXPORT int JEMALLOC_NOTHROW	je_posix_memalign(void **memptr,
+    size_t alignment, size_t size) JEMALLOC_CXX_THROW JEMALLOC_ATTR(nonnull(1));
+JEMALLOC_EXPORT JEMALLOC_ALLOCATOR JEMALLOC_RESTRICT_RETURN
+    void JEMALLOC_NOTHROW	*je_aligned_alloc(size_t alignment,
+    size_t size) JEMALLOC_CXX_THROW JEMALLOC_ATTR(malloc)
+    JEMALLOC_ALLOC_SIZE(2);
+JEMALLOC_EXPORT JEMALLOC_ALLOCATOR JEMALLOC_RESTRICT_RETURN
+    void JEMALLOC_NOTHROW	*je_realloc(void *ptr, size_t size)
+    JEMALLOC_CXX_THROW JEMALLOC_ALLOC_SIZE(2);
+JEMALLOC_EXPORT void JEMALLOC_NOTHROW	je_free(void *ptr)
+    JEMALLOC_CXX_THROW;
+
+JEMALLOC_EXPORT JEMALLOC_ALLOCATOR JEMALLOC_RESTRICT_RETURN
+    void JEMALLOC_NOTHROW	*je_mallocx(size_t size, int flags)
+    JEMALLOC_ATTR(malloc) JEMALLOC_ALLOC_SIZE(1);
+JEMALLOC_EXPORT JEMALLOC_ALLOCATOR JEMALLOC_RESTRICT_RETURN
+    void JEMALLOC_NOTHROW	*je_rallocx(void *ptr, size_t size,
+    int flags) JEMALLOC_ALLOC_SIZE(2);
+JEMALLOC_EXPORT size_t JEMALLOC_NOTHROW	je_xallocx(void *ptr, size_t size,
+    size_t extra, int flags);
+JEMALLOC_EXPORT size_t JEMALLOC_NOTHROW	je_sallocx(const void *ptr,
+    int flags) JEMALLOC_ATTR(pure);
+JEMALLOC_EXPORT void JEMALLOC_NOTHROW	je_dallocx(void *ptr, int flags);
+JEMALLOC_EXPORT void JEMALLOC_NOTHROW	je_sdallocx(void *ptr, size_t size,
+    int flags);
+JEMALLOC_EXPORT size_t JEMALLOC_NOTHROW	je_nallocx(size_t size, int flags)
+    JEMALLOC_ATTR(pure);
+
+JEMALLOC_EXPORT int JEMALLOC_NOTHROW	je_mallctl(const char *name,
+    void *oldp, size_t *oldlenp, void *newp, size_t newlen);
+JEMALLOC_EXPORT int JEMALLOC_NOTHROW	je_mallctlnametomib(const char *name,
+    size_t *mibp, size_t *miblenp);
+JEMALLOC_EXPORT int JEMALLOC_NOTHROW	je_mallctlbymib(const size_t *mib,
+    size_t miblen, void *oldp, size_t *oldlenp, void *newp, size_t newlen);
+JEMALLOC_EXPORT void JEMALLOC_NOTHROW	je_malloc_stats_print(
+    void (*write_cb)(void *, const char *), void *je_cbopaque,
+    const char *opts);
+JEMALLOC_EXPORT size_t JEMALLOC_NOTHROW	je_malloc_usable_size(
+    JEMALLOC_USABLE_SIZE_CONST void *ptr) JEMALLOC_CXX_THROW;
+
+#ifdef JEMALLOC_OVERRIDE_MEMALIGN
+JEMALLOC_EXPORT JEMALLOC_ALLOCATOR JEMALLOC_RESTRICT_RETURN
+    void JEMALLOC_NOTHROW	*je_memalign(size_t alignment, size_t size)
+    JEMALLOC_CXX_THROW JEMALLOC_ATTR(malloc);
+#endif
+
+#ifdef JEMALLOC_OVERRIDE_VALLOC
+JEMALLOC_EXPORT JEMALLOC_ALLOCATOR JEMALLOC_RESTRICT_RETURN
+    void JEMALLOC_NOTHROW	*je_valloc(size_t size) JEMALLOC_CXX_THROW
+    JEMALLOC_ATTR(malloc);
+#endif

contrib/jemalloc-cmake/include_linux_x86_64/jemalloc/jemalloc_typedefs.h

@@ -0,0 +1,77 @@
+typedef struct extent_hooks_s extent_hooks_t;
+
+/*
+ * void *
+ * extent_alloc(extent_hooks_t *extent_hooks, void *new_addr, size_t size,
+ *     size_t alignment, bool *zero, bool *commit, unsigned arena_ind);
+ */
+typedef void *(extent_alloc_t)(extent_hooks_t *, void *, size_t, size_t, bool *,
+    bool *, unsigned);
+
+/*
+ * bool
+ * extent_dalloc(extent_hooks_t *extent_hooks, void *addr, size_t size,
+ *     bool committed, unsigned arena_ind);
+ */
+typedef bool (extent_dalloc_t)(extent_hooks_t *, void *, size_t, bool,
+    unsigned);
+
+/*
+ * void
+ * extent_destroy(extent_hooks_t *extent_hooks, void *addr, size_t size,
+ *     bool committed, unsigned arena_ind);
+ */
+typedef void (extent_destroy_t)(extent_hooks_t *, void *, size_t, bool,
+    unsigned);
+
+/*
+ * bool
+ * extent_commit(extent_hooks_t *extent_hooks, void *addr, size_t size,
+ *     size_t offset, size_t length, unsigned arena_ind);
+ */
+typedef bool (extent_commit_t)(extent_hooks_t *, void *, size_t, size_t, size_t,
+    unsigned);
+
+/*
+ * bool
+ * extent_decommit(extent_hooks_t *extent_hooks, void *addr, size_t size,
+ *     size_t offset, size_t length, unsigned arena_ind);
+ */
+typedef bool (extent_decommit_t)(extent_hooks_t *, void *, size_t, size_t,
+    size_t, unsigned);
+
+/*
+ * bool
+ * extent_purge(extent_hooks_t *extent_hooks, void *addr, size_t size,
+ *     size_t offset, size_t length, unsigned arena_ind);
+ */
+typedef bool (extent_purge_t)(extent_hooks_t *, void *, size_t, size_t, size_t,
+    unsigned);
+
+/*
+ * bool
+ * extent_split(extent_hooks_t *extent_hooks, void *addr, size_t size,
+ *     size_t size_a, size_t size_b, bool committed, unsigned arena_ind);
+ */
+typedef bool (extent_split_t)(extent_hooks_t *, void *, size_t, size_t, size_t,
+    bool, unsigned);
+
+/*
+ * bool
+ * extent_merge(extent_hooks_t *extent_hooks, void *addr_a, size_t size_a,
+ *     void *addr_b, size_t size_b, bool committed, unsigned arena_ind);
+ */
+typedef bool (extent_merge_t)(extent_hooks_t *, void *, size_t, void *, size_t,
+    bool, unsigned);
+
+struct extent_hooks_s {
+	extent_alloc_t		*alloc;
+	extent_dalloc_t		*dalloc;
+	extent_destroy_t	*destroy;
+	extent_commit_t		*commit;
+	extent_decommit_t	*decommit;
+	extent_purge_t		*purge_lazy;
+	extent_purge_t		*purge_forced;
+	extent_split_t		*split;
+	extent_merge_t		*merge;
+};

contrib/libcityhash/CMakeLists.txt

@@ -1,9 +0,0 @@
-add_library(cityhash
-	src/city.cc
-
-	include/citycrc.h
-	include/city.h
-	src/config.h)
-
-target_include_directories (cityhash BEFORE PUBLIC include)
-target_include_directories (cityhash PRIVATE src)