Merge branch 'master' of github.com:ClickHouse/ClickHouse into interactive-mode-for-clickhouse-local

.github/ISSUE_TEMPLATE/85_bug-report.md

@@ -1,8 +1,8 @@
 ---
 name: Bug report
-about: Create a report to help us improve ClickHouse
+about: Wrong behaviour (visible to users) in official ClickHouse release.
 title: ''
-labels: bug
+labels: 'potential bug'
 assignees: ''
 
 ---

.gitmodules

@@ -243,3 +243,6 @@
 [submodule "contrib/s2geometry"]
 	path = contrib/s2geometry
 	url = https://github.com/ClickHouse-Extras/s2geometry.git
+[submodule "contrib/bzip2"]
+	path = contrib/bzip2
+	url = https://github.com/ClickHouse-Extras/bzip2.git

CHANGELOG.md

@@ -1,3 +1,102 @@
+### ClickHouse release v21.8, 2021-08-12
+
+#### New Features
+
+* Add support for a part of SQL/JSON standard. [#24148](https://github.com/ClickHouse/ClickHouse/pull/24148) ([l1tsolaiki](https://github.com/l1tsolaiki), [Kseniia Sumarokova](https://github.com/kssenii)).
+* Collect common system metrics (in `system.asynchronous_metrics` and `system.asynchronous_metric_log`) on CPU usage, disk usage, memory usage, IO, network, files, load average, CPU frequencies, thermal sensors, EDAC counters, system uptime; also added metrics about the scheduling jitter and the time spent collecting the metrics. It works similar to `atop` in ClickHouse and allows access to monitoring data even if you have no additional tools installed. Close [#9430](https://github.com/ClickHouse/ClickHouse/issues/9430). [#24416](https://github.com/ClickHouse/ClickHouse/pull/24416) ([alexey-milovidov](https://github.com/alexey-milovidov), [Yegor Levankov](https://github.com/elevankoff)).
+* Add MaterializedPostgreSQL table engine and database engine. This database engine allows replicating a whole database or any subset of database tables. [#20470](https://github.com/ClickHouse/ClickHouse/pull/20470) ([Kseniia Sumarokova](https://github.com/kssenii)).
+* Add new functions `leftPad()`, `rightPad()`, `leftPadUTF8()`, `rightPadUTF8()`. [#26075](https://github.com/ClickHouse/ClickHouse/pull/26075) ([Vitaly Baranov](https://github.com/vitlibar)).
+* Add the `FIRST` keyword to the `ADD INDEX` command to be able to add the index at the beginning of the indices list. [#25904](https://github.com/ClickHouse/ClickHouse/pull/25904) ([xjewer](https://github.com/xjewer)).
+* Introduce `system.data_skipping_indices` table containing information about existing data skipping indices. Close [#7659](https://github.com/ClickHouse/ClickHouse/issues/7659). [#25693](https://github.com/ClickHouse/ClickHouse/pull/25693) ([Dmitry Novik](https://github.com/novikd)).
+* Add `bin`/`unbin` functions. [#25609](https://github.com/ClickHouse/ClickHouse/pull/25609) ([zhaoyu](https://github.com/zxc111)).
+* Support `Map` and `UInt128`, `Int128`, `UInt256`, `Int256` types in `mapAdd` and `mapSubtract` functions. [#25596](https://github.com/ClickHouse/ClickHouse/pull/25596) ([Ildus Kurbangaliev](https://github.com/ildus)).
+* Support `DISTINCT ON (columns)` expression, close [#25404](https://github.com/ClickHouse/ClickHouse/issues/25404). [#25589](https://github.com/ClickHouse/ClickHouse/pull/25589) ([Zijie Lu](https://github.com/TszKitLo40)).
+* Add an ability to reset a custom setting to default and remove it from the table's metadata. It allows rolling back the change without knowing the system/config's default.  Closes [#14449](https://github.com/ClickHouse/ClickHouse/issues/14449). [#17769](https://github.com/ClickHouse/ClickHouse/pull/17769) ([xjewer](https://github.com/xjewer)).
+* Render pipelines as graphs in Web UI if `EXPLAIN PIPELINE graph = 1` query is submitted. [#26067](https://github.com/ClickHouse/ClickHouse/pull/26067) ([alexey-milovidov](https://github.com/alexey-milovidov)).
+
+#### Performance Improvements
+
+* Compile aggregate functions. Use option `compile_aggregate_expressions` to enable it. [#24789](https://github.com/ClickHouse/ClickHouse/pull/24789) ([Maksim Kita](https://github.com/kitaisreal)).
+* Improve latency of short queries that require reading from tables with many columns. [#26371](https://github.com/ClickHouse/ClickHouse/pull/26371) ([Anton Popov](https://github.com/CurtizJ)).
+
+#### Improvements
+
+* Use `Map` data type for system logs tables (`system.query_log`, `system.query_thread_log`, `system.processes`, `system.opentelemetry_span_log`). These tables will be auto-created with new data types. Virtual columns are created to support old queries. Closes [#18698](https://github.com/ClickHouse/ClickHouse/issues/18698). [#23934](https://github.com/ClickHouse/ClickHouse/pull/23934), [#25773](https://github.com/ClickHouse/ClickHouse/pull/25773) ([hexiaoting](https://github.com/hexiaoting), [sundy-li](https://github.com/sundy-li), [Maksim Kita](https://github.com/kitaisreal)).
+* For a dictionary with a complex key containing only one attribute, allow not wrapping the key expression in tuple for functions `dictGet`, `dictHas`. [#26130](https://github.com/ClickHouse/ClickHouse/pull/26130) ([Maksim Kita](https://github.com/kitaisreal)).
+* Implement function `bin`/`hex` from `AggregateFunction` states. [#26094](https://github.com/ClickHouse/ClickHouse/pull/26094) ([zhaoyu](https://github.com/zxc111)).
+* Support arguments of `UUID` type for `empty` and `notEmpty` functions. `UUID` is empty if it is all zeros (nil UUID). Closes [#3446](https://github.com/ClickHouse/ClickHouse/issues/3446). [#25974](https://github.com/ClickHouse/ClickHouse/pull/25974) ([zhaoyu](https://github.com/zxc111)).
+* Add support for `SET SQL_SELECT_LIMIT` in MySQL protocol. Closes [#17115](https://github.com/ClickHouse/ClickHouse/issues/17115). [#25972](https://github.com/ClickHouse/ClickHouse/pull/25972) ([Kseniia Sumarokova](https://github.com/kssenii)).
+* More instrumentation for network interaction: add counters for recv/send bytes; add gauges for recvs/sends. Added missing documentation. Close [#5897](https://github.com/ClickHouse/ClickHouse/issues/5897). [#25962](https://github.com/ClickHouse/ClickHouse/pull/25962) ([alexey-milovidov](https://github.com/alexey-milovidov)).
+* Add setting `optimize_move_to_prewhere_if_final`. If query has `FINAL`, the optimization `move_to_prewhere` will be enabled only if both `optimize_move_to_prewhere` and `optimize_move_to_prewhere_if_final` are enabled. Closes [#8684](https://github.com/ClickHouse/ClickHouse/issues/8684). [#25940](https://github.com/ClickHouse/ClickHouse/pull/25940) ([Kseniia Sumarokova](https://github.com/kssenii)).
+* Allow complex quoted identifiers of JOINed tables. Close [#17861](https://github.com/ClickHouse/ClickHouse/issues/17861). [#25924](https://github.com/ClickHouse/ClickHouse/pull/25924) ([alexey-milovidov](https://github.com/alexey-milovidov)).
+* Add support for Unicode (e.g. Chinese, Cyrillic) components in `Nested` data types. Close [#25594](https://github.com/ClickHouse/ClickHouse/issues/25594). [#25923](https://github.com/ClickHouse/ClickHouse/pull/25923) ([alexey-milovidov](https://github.com/alexey-milovidov)).
+* Allow `quantiles*` functions to work with `aggregate_functions_null_for_empty`. Close [#25892](https://github.com/ClickHouse/ClickHouse/issues/25892). [#25919](https://github.com/ClickHouse/ClickHouse/pull/25919) ([alexey-milovidov](https://github.com/alexey-milovidov)).
+* Allow parameters for parametric aggregate functions to be arbitrary constant expressions (e.g., `1 + 2`), not just literals. It also allows using the query parameters (in parameterized queries like `{param:UInt8}`) inside parametric aggregate functions. Closes [#11607](https://github.com/ClickHouse/ClickHouse/issues/11607). [#25910](https://github.com/ClickHouse/ClickHouse/pull/25910) ([alexey-milovidov](https://github.com/alexey-milovidov)).
+* Correctly throw the exception on the attempt to parse an invalid `Date`. Closes [#6481](https://github.com/ClickHouse/ClickHouse/issues/6481). [#25909](https://github.com/ClickHouse/ClickHouse/pull/25909) ([alexey-milovidov](https://github.com/alexey-milovidov)).
+* Support for multiple includes in configuration. It is possible to include users configuration, remote server configuration from multiple sources. Simply place `<include />` element with `from_zk`, `from_env` or `incl` attribute, and it will be replaced with the substitution. [#24404](https://github.com/ClickHouse/ClickHouse/pull/24404) ([nvartolomei](https://github.com/nvartolomei)).
+* Support for queries with a column named `"null"` (it must be specified in back-ticks or double quotes) and `ON CLUSTER`. Closes [#24035](https://github.com/ClickHouse/ClickHouse/issues/24035). [#25907](https://github.com/ClickHouse/ClickHouse/pull/25907) ([alexey-milovidov](https://github.com/alexey-milovidov)).
+* Support `LowCardinality`, `Decimal`, and `UUID` for `JSONExtract`. Closes [#24606](https://github.com/ClickHouse/ClickHouse/issues/24606). [#25900](https://github.com/ClickHouse/ClickHouse/pull/25900) ([Kseniia Sumarokova](https://github.com/kssenii)).
+* Convert history file from `readline` format to `replxx` format. [#25888](https://github.com/ClickHouse/ClickHouse/pull/25888) ([Azat Khuzhin](https://github.com/azat)).
+* Fix an issue which can lead to intersecting parts after `DROP PART` or background deletion of an empty part. [#25884](https://github.com/ClickHouse/ClickHouse/pull/25884) ([alesapin](https://github.com/alesapin)).
+* Better handling of lost parts for `ReplicatedMergeTree` tables. Fixes rare inconsistencies in `ReplicationQueue`. Fixes [#10368](https://github.com/ClickHouse/ClickHouse/issues/10368). [#25820](https://github.com/ClickHouse/ClickHouse/pull/25820) ([alesapin](https://github.com/alesapin)).
+* Allow starting clickhouse-client with unreadable working directory. [#25817](https://github.com/ClickHouse/ClickHouse/pull/25817) ([ianton-ru](https://github.com/ianton-ru)).
+* Fix "No available columns" error for `Merge` storage. [#25801](https://github.com/ClickHouse/ClickHouse/pull/25801) ([Azat Khuzhin](https://github.com/azat)).
+* MySQL Engine now supports the exchange of column comments between MySQL and ClickHouse. [#25795](https://github.com/ClickHouse/ClickHouse/pull/25795) ([Storozhuk Kostiantyn](https://github.com/sand6255)).
+* Fix inconsistent behaviour of `GROUP BY` constant on empty set. Closes [#6842](https://github.com/ClickHouse/ClickHouse/issues/6842). [#25786](https://github.com/ClickHouse/ClickHouse/pull/25786) ([Kseniia Sumarokova](https://github.com/kssenii)).
+* Cancel already running merges in partition on `DROP PARTITION` and `TRUNCATE` for `ReplicatedMergeTree`. Resolves [#17151](https://github.com/ClickHouse/ClickHouse/issues/17151). [#25684](https://github.com/ClickHouse/ClickHouse/pull/25684) ([tavplubix](https://github.com/tavplubix)).
+* Support ENUM` data type for MaterializeMySQL. [#25676](https://github.com/ClickHouse/ClickHouse/pull/25676) ([Storozhuk Kostiantyn](https://github.com/sand6255)).
+* Support materialized and aliased columns in JOIN, close [#13274](https://github.com/ClickHouse/ClickHouse/issues/13274). [#25634](https://github.com/ClickHouse/ClickHouse/pull/25634) ([Vladimir C](https://github.com/vdimir)).
+* Fix possible logical race condition between `ALTER TABLE ... DETACH` and background merges. [#25605](https://github.com/ClickHouse/ClickHouse/pull/25605) ([Azat Khuzhin](https://github.com/azat)).
+* Make `NetworkReceiveElapsedMicroseconds` metric to correctly include the time spent waiting for data from the client to `INSERT`. Close [#9958](https://github.com/ClickHouse/ClickHouse/issues/9958). [#25602](https://github.com/ClickHouse/ClickHouse/pull/25602) ([alexey-milovidov](https://github.com/alexey-milovidov)).
+* Support `TRUNCATE TABLE` for S3 and HDFS. Close [#25530](https://github.com/ClickHouse/ClickHouse/issues/25530). [#25550](https://github.com/ClickHouse/ClickHouse/pull/25550) ([Kseniia Sumarokova](https://github.com/kssenii)).
+* Support for dynamic reloading of config to change number of threads in pool for background jobs execution (merges, mutations, fetches). [#25548](https://github.com/ClickHouse/ClickHouse/pull/25548) ([Nikita Mikhaylov](https://github.com/nikitamikhaylov)).
+* Allow extracting of non-string element as string using `JSONExtract`. This is for [#25414](https://github.com/ClickHouse/ClickHouse/issues/25414). [#25452](https://github.com/ClickHouse/ClickHouse/pull/25452) ([Amos Bird](https://github.com/amosbird)).
+* Support regular expression in `Database` argument for `StorageMerge`. Close [#776](https://github.com/ClickHouse/ClickHouse/issues/776). [#25064](https://github.com/ClickHouse/ClickHouse/pull/25064) ([flynn](https://github.com/ucasfl)).
+* Web UI: if the value looks like a URL, automatically generate a link. [#25965](https://github.com/ClickHouse/ClickHouse/pull/25965) ([alexey-milovidov](https://github.com/alexey-milovidov)).
+* Make `sudo service clickhouse-server start` to work on systems with `systemd` like Centos 8. Close [#14298](https://github.com/ClickHouse/ClickHouse/issues/14298). Close [#17799](https://github.com/ClickHouse/ClickHouse/issues/17799). [#25921](https://github.com/ClickHouse/ClickHouse/pull/25921) ([alexey-milovidov](https://github.com/alexey-milovidov)).
+
+#### Bug Fixes
+
+* Fix incorrect `SET ROLE` in some cases. [#26707](https://github.com/ClickHouse/ClickHouse/pull/26707) ([Vitaly Baranov](https://github.com/vitlibar)).
+* Fix potential `nullptr` dereference in window functions. Fix [#25276](https://github.com/ClickHouse/ClickHouse/issues/25276). [#26668](https://github.com/ClickHouse/ClickHouse/pull/26668) ([Alexander Kuzmenkov](https://github.com/akuzm)).
+* Fix incorrect function names of `groupBitmapAnd/Or/Xor`. Fix [#26557](https://github.com/ClickHouse/ClickHouse/pull/26557) ([Amos Bird](https://github.com/amosbird)).
+* Fix crash in RabbitMQ shutdown in case RabbitMQ setup was not started. Closes [#26504](https://github.com/ClickHouse/ClickHouse/issues/26504). [#26529](https://github.com/ClickHouse/ClickHouse/pull/26529) ([Kseniia Sumarokova](https://github.com/kssenii)).
+* Fix issues with `CREATE DICTIONARY` query if dictionary name or database name was quoted. Closes [#26491](https://github.com/ClickHouse/ClickHouse/issues/26491). [#26508](https://github.com/ClickHouse/ClickHouse/pull/26508) ([Maksim Kita](https://github.com/kitaisreal)).
+* Fix broken name resolution after rewriting column aliases. Fix [#26432](https://github.com/ClickHouse/ClickHouse/issues/26432). [#26475](https://github.com/ClickHouse/ClickHouse/pull/26475) ([Amos Bird](https://github.com/amosbird)).
+* Fix infinite non-joined block stream in `partial_merge_join` close [#26325](https://github.com/ClickHouse/ClickHouse/issues/26325). [#26374](https://github.com/ClickHouse/ClickHouse/pull/26374) ([Vladimir C](https://github.com/vdimir)).
+* Fix possible crash when login as dropped user. Fix [#26073](https://github.com/ClickHouse/ClickHouse/issues/26073). [#26363](https://github.com/ClickHouse/ClickHouse/pull/26363) ([Vitaly Baranov](https://github.com/vitlibar)).
+* Fix `optimize_distributed_group_by_sharding_key` for multiple columns (leads to incorrect result w/ `optimize_skip_unused_shards=1`/`allow_nondeterministic_optimize_skip_unused_shards=1` and multiple columns in sharding key expression). [#26353](https://github.com/ClickHouse/ClickHouse/pull/26353) ([Azat Khuzhin](https://github.com/azat)).
+* `CAST` from `Date` to `DateTime` (or `DateTime64`) was not using the timezone of the `DateTime` type. It can also affect the comparison between `Date` and `DateTime`. Inference of the common type for `Date` and `DateTime` also was not using the corresponding timezone. It affected the results of function `if` and array construction. Closes [#24128](https://github.com/ClickHouse/ClickHouse/issues/24128). [#24129](https://github.com/ClickHouse/ClickHouse/pull/24129) ([Maksim Kita](https://github.com/kitaisreal)).
+* Fixed rare bug in lost replica recovery that may cause replicas to diverge. [#26321](https://github.com/ClickHouse/ClickHouse/pull/26321) ([tavplubix](https://github.com/tavplubix)).
+* Fix zstd decompression in case there are escape sequences at the end of internal buffer. Closes [#26013](https://github.com/ClickHouse/ClickHouse/issues/26013). [#26314](https://github.com/ClickHouse/ClickHouse/pull/26314) ([Kseniia Sumarokova](https://github.com/kssenii)).
+* Fix logical error on join with totals, close [#26017](https://github.com/ClickHouse/ClickHouse/issues/26017). [#26250](https://github.com/ClickHouse/ClickHouse/pull/26250) ([Vladimir C](https://github.com/vdimir)).
+* Remove excessive newline in `thread_name` column in `system.stack_trace` table. Fix [#24124](https://github.com/ClickHouse/ClickHouse/issues/24124). [#26210](https://github.com/ClickHouse/ClickHouse/pull/26210) ([alexey-milovidov](https://github.com/alexey-milovidov)).
+* Fix `joinGet` with `LowCarinality` columns, close [#25993](https://github.com/ClickHouse/ClickHouse/issues/25993). [#26118](https://github.com/ClickHouse/ClickHouse/pull/26118) ([Vladimir C](https://github.com/vdimir)).
+* Fix possible crash in `pointInPolygon` if the setting `validate_polygons` is turned off. [#26113](https://github.com/ClickHouse/ClickHouse/pull/26113) ([alexey-milovidov](https://github.com/alexey-milovidov)).
+* Fix throwing exception when iterate over non-existing remote directory. [#26087](https://github.com/ClickHouse/ClickHouse/pull/26087) ([ianton-ru](https://github.com/ianton-ru)).
+* Fix rare server crash because of `abort` in ZooKeeper client. Fixes [#25813](https://github.com/ClickHouse/ClickHouse/issues/25813). [#26079](https://github.com/ClickHouse/ClickHouse/pull/26079) ([alesapin](https://github.com/alesapin)).
+* Fix wrong thread count estimation for right subquery join in some cases. Close [#24075](https://github.com/ClickHouse/ClickHouse/issues/24075). [#26052](https://github.com/ClickHouse/ClickHouse/pull/26052) ([Vladimir C](https://github.com/vdimir)).
+* Fixed incorrect `sequence_id` in MySQL protocol packets that ClickHouse sends on exception during query execution. It might cause MySQL client to reset connection to ClickHouse server. Fixes [#21184](https://github.com/ClickHouse/ClickHouse/issues/21184). [#26051](https://github.com/ClickHouse/ClickHouse/pull/26051) ([tavplubix](https://github.com/tavplubix)).
+* Fix possible mismatched header when using normal projection with `PREWHERE`. Fix [#26020](https://github.com/ClickHouse/ClickHouse/issues/26020). [#26038](https://github.com/ClickHouse/ClickHouse/pull/26038) ([Amos Bird](https://github.com/amosbird)).
+* Fix formatting of type `Map` with integer keys to `JSON`. [#25982](https://github.com/ClickHouse/ClickHouse/pull/25982) ([Anton Popov](https://github.com/CurtizJ)).
+* Fix possible deadlock during query profiler stack unwinding. Fix [#25968](https://github.com/ClickHouse/ClickHouse/issues/25968). [#25970](https://github.com/ClickHouse/ClickHouse/pull/25970) ([Maksim Kita](https://github.com/kitaisreal)).
+* Fix crash on call `dictGet()` with bad arguments. [#25913](https://github.com/ClickHouse/ClickHouse/pull/25913) ([Vitaly Baranov](https://github.com/vitlibar)).
+* Fixed `scram-sha-256` authentication for PostgreSQL engines. Closes [#24516](https://github.com/ClickHouse/ClickHouse/issues/24516). [#25906](https://github.com/ClickHouse/ClickHouse/pull/25906) ([Kseniia Sumarokova](https://github.com/kssenii)).
+* Fix extremely long backoff for background tasks when the background pool is full. Fixes [#25836](https://github.com/ClickHouse/ClickHouse/issues/25836). [#25893](https://github.com/ClickHouse/ClickHouse/pull/25893) ([alesapin](https://github.com/alesapin)).
+* Fix ARM exception handling with non default page size. Fixes [#25512](https://github.com/ClickHouse/ClickHouse/issues/25512), [#25044](https://github.com/ClickHouse/ClickHouse/issues/25044), [#24901](https://github.com/ClickHouse/ClickHouse/issues/24901), [#23183](https://github.com/ClickHouse/ClickHouse/issues/23183), [#20221](https://github.com/ClickHouse/ClickHouse/issues/20221), [#19703](https://github.com/ClickHouse/ClickHouse/issues/19703), [#19028](https://github.com/ClickHouse/ClickHouse/issues/19028), [#18391](https://github.com/ClickHouse/ClickHouse/issues/18391), [#18121](https://github.com/ClickHouse/ClickHouse/issues/18121), [#17994](https://github.com/ClickHouse/ClickHouse/issues/17994), [#12483](https://github.com/ClickHouse/ClickHouse/issues/12483). [#25854](https://github.com/ClickHouse/ClickHouse/pull/25854) ([Maksim Kita](https://github.com/kitaisreal)).
+* Fix sharding_key from column w/o function for `remote()` (before `select * from remote('127.1', system.one, dummy)` leads to `Unknown column: dummy, there are only columns .` error). [#25824](https://github.com/ClickHouse/ClickHouse/pull/25824) ([Azat Khuzhin](https://github.com/azat)).
+* Fixed `Not found column ...` and `Missing column ...` errors when selecting from `MaterializeMySQL`. Fixes [#23708](https://github.com/ClickHouse/ClickHouse/issues/23708), [#24830](https://github.com/ClickHouse/ClickHouse/issues/24830), [#25794](https://github.com/ClickHouse/ClickHouse/issues/25794). [#25822](https://github.com/ClickHouse/ClickHouse/pull/25822) ([tavplubix](https://github.com/tavplubix)).
+* Fix `optimize_skip_unused_shards_rewrite_in` for non-UInt64 types (may select incorrect shards eventually or throw `Cannot infer type of an empty tuple` or `Function tuple requires at least one argument`). [#25798](https://github.com/ClickHouse/ClickHouse/pull/25798) ([Azat Khuzhin](https://github.com/azat)).
+* Fix rare bug with `DROP PART` query for `ReplicatedMergeTree` tables which can lead to error message `Unexpected merged part intersecting drop range`. [#25783](https://github.com/ClickHouse/ClickHouse/pull/25783) ([alesapin](https://github.com/alesapin)).
+* Fix bug in `TTL` with `GROUP BY` expression which refuses to execute `TTL` after first execution in part. [#25743](https://github.com/ClickHouse/ClickHouse/pull/25743) ([alesapin](https://github.com/alesapin)).
+* Allow StorageMerge to access tables with aliases. Closes [#6051](https://github.com/ClickHouse/ClickHouse/issues/6051). [#25694](https://github.com/ClickHouse/ClickHouse/pull/25694) ([Kseniia Sumarokova](https://github.com/kssenii)).
+* Fix slow dict join in some cases, close [#24209](https://github.com/ClickHouse/ClickHouse/issues/24209). [#25618](https://github.com/ClickHouse/ClickHouse/pull/25618) ([Vladimir C](https://github.com/vdimir)).
+* Fix `ALTER MODIFY COLUMN` of columns, which participates in TTL expressions. [#25554](https://github.com/ClickHouse/ClickHouse/pull/25554) ([Anton Popov](https://github.com/CurtizJ)).
+* Fix assertion in `PREWHERE` with non-UInt8 type, close [#19589](https://github.com/ClickHouse/ClickHouse/issues/19589). [#25484](https://github.com/ClickHouse/ClickHouse/pull/25484) ([Vladimir C](https://github.com/vdimir)).
+* Fix some fuzzed msan crash. Fixes [#22517](https://github.com/ClickHouse/ClickHouse/issues/22517). [#26428](https://github.com/ClickHouse/ClickHouse/pull/26428) ([Nikolai Kochetov](https://github.com/KochetovNicolai)).
+* Update `chown` cmd check in `clickhouse-server` docker entrypoint. It fixes error 'cluster pod restart failed (or timeout)' on kubernetes. [#26545](https://github.com/ClickHouse/ClickHouse/pull/26545) ([Ky Li](https://github.com/Kylinrix)).
+
+
 ### ClickHouse release v21.7, 2021-07-09
 
 #### Backward Incompatible Change
@@ -1183,13 +1282,6 @@
 * PODArray: Avoid call to memcpy with (nullptr, 0) arguments (Fix UBSan report). This fixes [#18525](https://github.com/ClickHouse/ClickHouse/issues/18525). [#18526](https://github.com/ClickHouse/ClickHouse/pull/18526) ([alexey-milovidov](https://github.com/alexey-milovidov)).
 * Minor improvement for path concatenation of zookeeper paths inside DDLWorker. [#17767](https://github.com/ClickHouse/ClickHouse/pull/17767) ([Bharat Nallan](https://github.com/bharatnc)).
 * Allow to reload symbols from debug file. This PR also fixes a build-id issue. [#17637](https://github.com/ClickHouse/ClickHouse/pull/17637) ([Amos Bird](https://github.com/amosbird)).
-* TestFlows: fixes to LDAP tests that fail due to slow test execution. [#18790](https://github.com/ClickHouse/ClickHouse/pull/18790) ([vzakaznikov](https://github.com/vzakaznikov)).
-* TestFlows: Merging requirements for AES encryption functions. Updating aes_encryption tests to use new requirements. Updating TestFlows version to 1.6.72. [#18221](https://github.com/ClickHouse/ClickHouse/pull/18221) ([vzakaznikov](https://github.com/vzakaznikov)).
-* TestFlows: Updating TestFlows version to the latest 1.6.72. Re-generating requirements.py. [#18208](https://github.com/ClickHouse/ClickHouse/pull/18208) ([vzakaznikov](https://github.com/vzakaznikov)).
-* TestFlows: Updating TestFlows README.md to include "How To Debug Why Test Failed" section. [#17808](https://github.com/ClickHouse/ClickHouse/pull/17808) ([vzakaznikov](https://github.com/vzakaznikov)).
-* TestFlows: tests for RBAC [ACCESS MANAGEMENT](https://clickhouse.tech/docs/en/sql-reference/statements/grant/#grant-access-management) privileges. [#17804](https://github.com/ClickHouse/ClickHouse/pull/17804) ([MyroTk](https://github.com/MyroTk)).
-* TestFlows: RBAC tests for SHOW, TRUNCATE, KILL, and OPTIMIZE. - Updates to old tests. - Resolved comments from #https://github.com/ClickHouse/ClickHouse/pull/16977. [#17657](https://github.com/ClickHouse/ClickHouse/pull/17657) ([MyroTk](https://github.com/MyroTk)).
-* TestFlows: Added RBAC tests for `ATTACH`, `CREATE`, `DROP`, and `DETACH`. [#16977](https://github.com/ClickHouse/ClickHouse/pull/16977) ([MyroTk](https://github.com/MyroTk)).
 
 
 ## [Changelog for 2020](https://github.com/ClickHouse/ClickHouse/blob/master/docs/en/whats-new/changelog/2020.md)

CMakeLists.txt

@@ -271,12 +271,6 @@ endif()
 
 include(cmake/cpu_features.cmake)
 
-option(ARCH_NATIVE "Add -march=native compiler flag. This makes your binaries non-portable but more performant code may be generated.")
-
-if (ARCH_NATIVE)
-    set (COMPILER_FLAGS "${COMPILER_FLAGS} -march=native")
-endif ()
-
 # Asynchronous unwind tables are needed for Query Profiler.
 # They are already by default on some platforms but possibly not on all platforms.
 # Enable it explicitly.
@@ -401,9 +395,10 @@ endif ()
 # Turns on all external libs like s3, kafka, ODBC, ...
 option(ENABLE_LIBRARIES "Enable all external libraries by default" ON)
 
-# We recommend avoiding this mode for production builds because we can't guarantee all needed libraries exist in your
+# We recommend avoiding this mode for production builds because we can't guarantee
-# system.
+# all needed libraries exist in your system.
 # This mode exists for enthusiastic developers who are searching for trouble.
+# The whole idea of using unknown version of libraries from the OS distribution is deeply flawed.
 # Useful for maintainers of OS packages.
 option (UNBUNDLED "Use system libraries instead of ones in contrib/" OFF)
 
@@ -543,6 +538,7 @@ include (cmake/find/nuraft.cmake)
 include (cmake/find/yaml-cpp.cmake)
 include (cmake/find/s2geometry.cmake)
 include (cmake/find/nlp.cmake)
+include (cmake/find/bzip2.cmake)
 
 if(NOT USE_INTERNAL_PARQUET_LIBRARY)
     set (ENABLE_ORC OFF CACHE INTERNAL "")

README.md

@@ -13,3 +13,6 @@ ClickHouse® is an open-source column-oriented database management system that a
 * [Code Browser](https://clickhouse.tech/codebrowser/html_report/ClickHouse/index.html) with syntax highlight and navigation.
 * [Contacts](https://clickhouse.tech/#contacts) can help to get your questions answered if there are any.
 * You can also [fill this form](https://clickhouse.tech/#meet) to meet Yandex ClickHouse team in person.
+
+## Upcoming Events
+* [SF Bay Area ClickHouse August Community Meetup (online)](https://www.meetup.com/San-Francisco-Bay-Area-ClickHouse-Meetup/events/279109379/) on 25 August 2021.

base/common/DateLUTImpl.cpp

@@ -60,6 +60,7 @@ DateLUTImpl::DateLUTImpl(const std::string & time_zone_)
     offset_at_start_of_epoch = cctz_time_zone.lookup(cctz_time_zone.lookup(epoch).pre).offset;
     offset_at_start_of_lut = cctz_time_zone.lookup(cctz_time_zone.lookup(lut_start).pre).offset;
     offset_is_whole_number_of_hours_during_epoch = true;
+    offset_is_whole_number_of_minutes_during_epoch = true;
 
     cctz::civil_day date = lut_start;
 
@@ -108,6 +109,9 @@ DateLUTImpl::DateLUTImpl(const std::string & time_zone_)
         if (offset_is_whole_number_of_hours_during_epoch && start_of_day > 0 && start_of_day % 3600)
             offset_is_whole_number_of_hours_during_epoch = false;
 
+        if (offset_is_whole_number_of_minutes_during_epoch && start_of_day > 0 && start_of_day % 60)
+            offset_is_whole_number_of_minutes_during_epoch = false;
+
         /// If UTC offset was changed this day.
         /// Change in time zone without transition is possible, e.g. Moscow 1991 Sun, 31 Mar, 02:00 MSK to EEST
         cctz::time_zone::civil_transition transition{};

base/common/DateLUTImpl.h

@@ -193,6 +193,7 @@ private:
     /// UTC offset at the beginning of the first supported year.
     Time offset_at_start_of_lut;
     bool offset_is_whole_number_of_hours_during_epoch;
+    bool offset_is_whole_number_of_minutes_during_epoch;
 
     /// Time zone name.
     std::string time_zone;
@@ -251,18 +252,23 @@ private:
     }
 
     template <typename T, typename Divisor>
-    static inline T roundDown(T x, Divisor divisor)
+    inline T roundDown(T x, Divisor divisor) const
     {
         static_assert(std::is_integral_v<T> && std::is_integral_v<Divisor>);
         assert(divisor > 0);
 
-        if (likely(x >= 0))
+        if (likely(offset_is_whole_number_of_hours_during_epoch))
-            return x / divisor * divisor;
+        {
+            if (likely(x >= 0))
+                return x / divisor * divisor;
 
-        /// Integer division for negative numbers rounds them towards zero (up).
+            /// Integer division for negative numbers rounds them towards zero (up).
-        /// We will shift the number so it will be rounded towards -inf (down).
+            /// We will shift the number so it will be rounded towards -inf (down).
+            return (x + 1 - divisor) / divisor * divisor;
+        }
 
-        return (x + 1 - divisor) / divisor * divisor;
+        Time date = find(x).date;
+        return date + (x - date) / divisor * divisor;
     }
 
 public:
@@ -459,10 +465,21 @@ public:
 
     inline unsigned toSecond(Time t) const
     {
-        auto res = t % 60;
+        if (likely(offset_is_whole_number_of_minutes_during_epoch))
-        if (likely(res >= 0))
+        {
-            return res;
+            Time res = t % 60;
-        return res + 60;
+            if (likely(res >= 0))
+                return res;
+            return res + 60;
+        }
+
+        LUTIndex index = findIndex(t);
+        Time time = t - lut[index].date;
+
+        if (time >= lut[index].time_at_offset_change())
+            time += lut[index].amount_of_offset_change();
+
+        return time % 60;
     }
 
     inline unsigned toMinute(Time t) const
@@ -483,29 +500,11 @@ public:
     }
 
     /// NOTE: Assuming timezone offset is a multiple of 15 minutes.
-    inline Time toStartOfMinute(Time t) const { return roundDown(t, 60); }
+    inline Time toStartOfMinute(Time t) const { return toStartOfMinuteInterval(t, 1); }
-    inline Time toStartOfFiveMinute(Time t) const { return roundDown(t, 300); }
+    inline Time toStartOfFiveMinute(Time t) const { return toStartOfMinuteInterval(t, 5); }
-    inline Time toStartOfFifteenMinutes(Time t) const { return roundDown(t, 900); }
+    inline Time toStartOfFifteenMinutes(Time t) const { return toStartOfMinuteInterval(t, 15); }
-
+    inline Time toStartOfTenMinutes(Time t) const { return toStartOfMinuteInterval(t, 10); }
-    inline Time toStartOfTenMinutes(Time t) const
+    inline Time toStartOfHour(Time t) const { return roundDown(t, 3600); }
-    {
-        if (t >= 0 && offset_is_whole_number_of_hours_during_epoch)
-            return t / 600 * 600;
-
-        /// More complex logic is for Nepal - it has offset 05:45. Australia/Eucla is also unfortunate.
-        Time date = find(t).date;
-        return date + (t - date) / 600 * 600;
-    }
-
-    /// NOTE: Assuming timezone transitions are multiple of hours. Lord Howe Island in Australia is a notable exception.
-    inline Time toStartOfHour(Time t) const
-    {
-        if (t >= 0 && offset_is_whole_number_of_hours_during_epoch)
-            return t / 3600 * 3600;
-
-        Time date = find(t).date;
-        return date + (t - date) / 3600 * 3600;
-    }
 
     /** Number of calendar day since the beginning of UNIX epoch (1970-01-01 is zero)
       * We use just two bytes for it. It covers the range up to 2105 and slightly more.
@@ -903,25 +902,24 @@ public:
 
     inline Time toStartOfMinuteInterval(Time t, UInt64 minutes) const
     {
-        if (minutes == 1)
+        UInt64 divisor = 60 * minutes;
-            return toStartOfMinute(t);
+        if (likely(offset_is_whole_number_of_minutes_during_epoch))
+        {
+            if (likely(t >= 0))
+                return t / divisor * divisor;
+            return (t + 1 - divisor) / divisor * divisor;
+        }
 
-        /** In contrast to "toStartOfHourInterval" function above,
+        Time date = find(t).date;
-          * the minute intervals are not aligned to the midnight.
+        return date + (t - date) / divisor * divisor;
-          * You will get unexpected results if for example, you round down to 60 minute interval
-          * and there was a time shift to 30 minutes.
-          *
-          * But this is not specified in docs and can be changed in future.
-          */
-
-        UInt64 seconds = 60 * minutes;
-        return roundDown(t, seconds);
     }
 
     inline Time toStartOfSecondInterval(Time t, UInt64 seconds) const
     {
         if (seconds == 1)
             return t;
+        if (seconds % 60 == 0)
+            return toStartOfMinuteInterval(t, seconds / 60);
 
         return roundDown(t, seconds);
     }
@@ -955,7 +953,7 @@ public:
     inline Time makeDateTime(Int16 year, UInt8 month, UInt8 day_of_month, UInt8 hour, UInt8 minute, UInt8 second) const
     {
         size_t index = makeLUTIndex(year, month, day_of_month);
-        UInt32 time_offset = hour * 3600 + minute * 60 + second;
+        Time time_offset = hour * 3600 + minute * 60 + second;
 
         if (time_offset >= lut[index].time_at_offset_change())
             time_offset -= lut[index].amount_of_offset_change();

base/common/memory.h

@@ -1,57 +0,0 @@
-#pragma once
-
-#include <new>
-#include "defines.h"
-
-#if USE_JEMALLOC
-#    include <jemalloc/jemalloc.h>
-#endif
-
-#if !USE_JEMALLOC || JEMALLOC_VERSION_MAJOR < 4
-#    include <cstdlib>
-#endif
-
-
-namespace Memory
-{
-
-inline ALWAYS_INLINE void * newImpl(std::size_t size)
-{
-    auto * ptr = malloc(size);
-    if (likely(ptr != nullptr))
-        return ptr;
-
-    /// @note no std::get_new_handler logic implemented
-    throw std::bad_alloc{};
-}
-
-inline ALWAYS_INLINE void * newNoExept(std::size_t size) noexcept
-{
-    return malloc(size);
-}
-
-inline ALWAYS_INLINE void deleteImpl(void * ptr) noexcept
-{
-    free(ptr);
-}
-
-#if USE_JEMALLOC && JEMALLOC_VERSION_MAJOR >= 4
-
-inline ALWAYS_INLINE void deleteSized(void * ptr, std::size_t size) noexcept
-{
-    if (unlikely(ptr == nullptr))
-        return;
-
-    sdallocx(ptr, size, 0);
-}
-
-#else
-
-inline ALWAYS_INLINE void deleteSized(void * ptr, std::size_t size [[maybe_unused]]) noexcept
-{
-    free(ptr);
-}
-
-#endif
-
-}

base/glibc-compatibility/CMakeLists.txt

@@ -9,10 +9,6 @@ if (GLIBC_COMPATIBILITY)
 
     check_include_file("sys/random.h" HAVE_SYS_RANDOM_H)
 
-    if(COMPILER_CLANG)
-        set(CMAKE_C_FLAGS "${CMAKE_C_FLAGS} -Wno-builtin-requires-header")
-    endif()
-
     add_headers_and_sources(glibc_compatibility .)
     add_headers_and_sources(glibc_compatibility musl)
     if (ARCH_AARCH64)
@@ -35,11 +31,9 @@ if (GLIBC_COMPATIBILITY)
 
     add_library(glibc-compatibility STATIC ${glibc_compatibility_sources})
 
-    if (COMPILER_CLANG)
+    target_no_warning(glibc-compatibility unused-command-line-argument)
-        target_compile_options(glibc-compatibility PRIVATE -Wno-unused-command-line-argument)
+    target_no_warning(glibc-compatibility unused-but-set-variable)
-    elseif (COMPILER_GCC)
+    target_no_warning(glibc-compatibility builtin-requires-header)
-        target_compile_options(glibc-compatibility PRIVATE -Wno-unused-but-set-variable)
-    endif ()
 
     target_include_directories(glibc-compatibility PRIVATE libcxxabi ${musl_arch_include_dir})
 

base/glibc-compatibility/musl/getauxval.c

@@ -1,4 +1,5 @@
 #include <sys/auxv.h>
+#include "atomic.h"
 #include <unistd.h> // __environ
 #include <errno.h>
 
@@ -17,18 +18,7 @@ static size_t __find_auxv(unsigned long type)
     return (size_t) -1;
 }
 
-__attribute__((constructor)) static void __auxv_init()
+unsigned long __getauxval(unsigned long type)
-{
-    size_t i;
-    for (i = 0; __environ[i]; i++);
-    __auxv = (unsigned long *) (__environ + i + 1);
-
-    size_t secure_idx = __find_auxv(AT_SECURE);
-    if (secure_idx != ((size_t) -1))
-        __auxv_secure = __auxv[secure_idx];
-}
-
-unsigned long getauxval(unsigned long type)
 {
     if (type == AT_SECURE)
         return __auxv_secure;
@@ -43,3 +33,38 @@ unsigned long getauxval(unsigned long type)
     errno = ENOENT;
     return 0;
 }
+
+static void * volatile getauxval_func;
+
+static unsigned long  __auxv_init(unsigned long type)
+{
+    if (!__environ)
+    {
+        // __environ is not initialized yet so we can't initialize __auxv right now.
+        // That's normally occurred only when getauxval() is called from some sanitizer's internal code.
+        errno = ENOENT;
+        return 0;
+    }
+
+    // Initialize __auxv and __auxv_secure.
+    size_t i;
+    for (i = 0; __environ[i]; i++);
+    __auxv = (unsigned long *) (__environ + i + 1);
+
+    size_t secure_idx = __find_auxv(AT_SECURE);
+    if (secure_idx != ((size_t) -1))
+        __auxv_secure = __auxv[secure_idx];
+
+    // Now we've initialized __auxv, next time getauxval() will only call __get_auxval().
+    a_cas_p(&getauxval_func, (void *)__auxv_init, (void *)__getauxval);
+
+    return __getauxval(type);
+}
+
+// First time getauxval() will call __auxv_init().
+static void * volatile getauxval_func = (void *)__auxv_init;
+
+unsigned long getauxval(unsigned long type)
+{
+    return ((unsigned long (*)(unsigned long))getauxval_func)(type);
+}

base/mysqlxx/Pool.cpp

@@ -296,7 +296,7 @@ void Pool::initialize()
 
 Pool::Connection * Pool::allocConnection(bool dont_throw_if_failed_first_time)
 {
-    std::unique_ptr<Connection> conn_ptr{new Connection};
+    std::unique_ptr conn_ptr = std::make_unique<Connection>();
 
     try
     {

cmake/add_warning.cmake

@@ -27,3 +27,22 @@ endmacro ()
 macro (no_warning flag)
     add_warning(no-${flag})
 endmacro ()
+
+
+# The same but only for specified target.
+macro (target_add_warning target flag)
+    string (REPLACE "-" "_" underscored_flag ${flag})
+    string (REPLACE "+" "x" underscored_flag ${underscored_flag})
+
+    check_cxx_compiler_flag("-W${flag}" SUPPORTS_CXXFLAG_${underscored_flag})
+
+    if (SUPPORTS_CXXFLAG_${underscored_flag})
+        target_compile_options (${target} PRIVATE "-W${flag}")
+    else ()
+        message (WARNING "Flag -W${flag} is unsupported")
+    endif ()
+endmacro ()
+
+macro (target_no_warning target flag)
+    target_add_warning(${target} no-${flag})
+endmacro ()

cmake/autogenerated_versions.txt

@@ -6,7 +6,7 @@ SET(VERSION_REVISION 54454)
 SET(VERSION_MAJOR 21)
 SET(VERSION_MINOR 9)
 SET(VERSION_PATCH 1)
-SET(VERSION_GITHASH f48c5af90c2ad51955d1ee3b6b05d006b03e4238)
+SET(VERSION_GITHASH f063e44131a048ba2d9af8075f03700fd5ec3e69)
-SET(VERSION_DESCRIBE v21.9.1.1-prestable)
+SET(VERSION_DESCRIBE v21.9.1.7770-prestable)
-SET(VERSION_STRING 21.9.1.1)
+SET(VERSION_STRING 21.9.1.7770)
 # end of autochange

cmake/cpu_features.cmake

@@ -5,109 +5,128 @@ include (CMakePushCheckState)
 
 cmake_push_check_state ()
 
-# gcc -dM -E -mno-sse2 - < /dev/null | sort > gcc-dump-nosse2
+# The variables HAVE_* determine if compiler has support for the flag to use the corresponding instruction set.
-# gcc -dM -E -msse2 - < /dev/null | sort > gcc-dump-sse2
+# The options ENABLE_* determine if we will tell compiler to actually use the corresponding instruction set if compiler can do it.
-#define __SSE2__ 1
-#define __SSE2_MATH__ 1
 
-# gcc -dM -E -msse4.1 - < /dev/null | sort > gcc-dump-sse41
+# All of them are unrelated to the instruction set at the host machine
-#define __SSE4_1__ 1
+# (you can compile for newer instruction set on old machines and vice versa).
 
-set (TEST_FLAG "-msse4.1")
+option (ENABLE_SSSE3 "Use SSSE3 instructions on x86_64" 1)
-set (CMAKE_REQUIRED_FLAGS "${TEST_FLAG} -O0")
+option (ENABLE_SSE41 "Use SSE4.1 instructions on x86_64" 1)
-check_cxx_source_compiles("
+option (ENABLE_SSE42 "Use SSE4.2 instructions on x86_64" 1)
-    #include <smmintrin.h>
+option (ENABLE_PCLMULQDQ "Use pclmulqdq instructions on x86_64" 1)
-    int main() {
+option (ENABLE_POPCNT "Use popcnt instructions on x86_64" 1)
-        auto a = _mm_insert_epi8(__m128i(), 0, 0);
+option (ENABLE_AVX "Use AVX instructions on x86_64" 0)
-        (void)a;
+option (ENABLE_AVX2 "Use AVX2 instructions on x86_64" 0)
-        return 0;
-    }
-" HAVE_SSE41)
-if (HAVE_SSE41)
-    set (COMPILER_FLAGS "${COMPILER_FLAGS} ${TEST_FLAG}")
-endif ()
 
-if (ARCH_PPC64LE)
+option (ARCH_NATIVE "Add -march=native compiler flag. This makes your binaries non-portable but more performant code may be generated. This option overrides ENABLE_* options for specific instruction set. Highly not recommended to use." 0)
-    set (COMPILER_FLAGS "${COMPILER_FLAGS} -maltivec -D__SSE2__=1 -DNO_WARN_X86_INTRINSICS")
-endif ()
 
-# gcc -dM -E -msse4.2 - < /dev/null | sort > gcc-dump-sse42
+if (ARCH_NATIVE)
-#define __SSE4_2__ 1
+    set (COMPILER_FLAGS "${COMPILER_FLAGS} -march=native")
 
-set (TEST_FLAG "-msse4.2")
+else ()
-set (CMAKE_REQUIRED_FLAGS "${TEST_FLAG} -O0")
+    set (TEST_FLAG "-mssse3")
-check_cxx_source_compiles("
+    set (CMAKE_REQUIRED_FLAGS "${TEST_FLAG} -O0")
-    #include <nmmintrin.h>
+    check_cxx_source_compiles("
-    int main() {
+        #include <tmmintrin.h>
-        auto a = _mm_crc32_u64(0, 0);
+        int main() {
-        (void)a;
+            __m64 a = _mm_abs_pi8(__m64());
-        return 0;
+            (void)a;
-    }
+            return 0;
-" HAVE_SSE42)
+        }
-if (HAVE_SSE42)
+    " HAVE_SSSE3)
-    set (COMPILER_FLAGS "${COMPILER_FLAGS} ${TEST_FLAG}")
+    if (HAVE_SSSE3 AND ENABLE_SSSE3)
-endif ()
+        set (COMPILER_FLAGS "${COMPILER_FLAGS} ${TEST_FLAG}")
+    endif ()
 
-set (TEST_FLAG "-mssse3")
-set (CMAKE_REQUIRED_FLAGS "${TEST_FLAG} -O0")
-check_cxx_source_compiles("
-    #include <tmmintrin.h>
-    int main() {
-        __m64 a = _mm_abs_pi8(__m64());
-        (void)a;
-        return 0;
-    }
-" HAVE_SSSE3)
 
-set (TEST_FLAG "-mavx")
+    set (TEST_FLAG "-msse4.1")
-set (CMAKE_REQUIRED_FLAGS "${TEST_FLAG} -O0")
+    set (CMAKE_REQUIRED_FLAGS "${TEST_FLAG} -O0")
-check_cxx_source_compiles("
+    check_cxx_source_compiles("
-    #include <immintrin.h>
+        #include <smmintrin.h>
-    int main() {
+        int main() {
-        auto a = _mm256_insert_epi8(__m256i(), 0, 0);
+            auto a = _mm_insert_epi8(__m128i(), 0, 0);
-        (void)a;
+            (void)a;
-        return 0;
+            return 0;
-    }
+        }
-" HAVE_AVX)
+    " HAVE_SSE41)
+    if (HAVE_SSE41 AND ENABLE_SSE41)
+        set (COMPILER_FLAGS "${COMPILER_FLAGS} ${TEST_FLAG}")
+    endif ()
 
-set (TEST_FLAG "-mavx2")
+    if (ARCH_PPC64LE)
-set (CMAKE_REQUIRED_FLAGS "${TEST_FLAG} -O0")
+        set (COMPILER_FLAGS "${COMPILER_FLAGS} -maltivec -D__SSE2__=1 -DNO_WARN_X86_INTRINSICS")
-check_cxx_source_compiles("
+    endif ()
-    #include <immintrin.h>
-    int main() {
-        auto a = _mm256_add_epi16(__m256i(), __m256i());
-        (void)a;
-        return 0;
-    }
-" HAVE_AVX2)
 
-set (TEST_FLAG "-mpclmul")
+    set (TEST_FLAG "-msse4.2")
-set (CMAKE_REQUIRED_FLAGS "${TEST_FLAG} -O0")
+    set (CMAKE_REQUIRED_FLAGS "${TEST_FLAG} -O0")
-check_cxx_source_compiles("
+    check_cxx_source_compiles("
-    #include <wmmintrin.h>
+        #include <nmmintrin.h>
-    int main() {
+        int main() {
-        auto a = _mm_clmulepi64_si128(__m128i(), __m128i(), 0);
+            auto a = _mm_crc32_u64(0, 0);
-        (void)a;
+            (void)a;
-        return 0;
+            return 0;
-    }
+        }
-" HAVE_PCLMULQDQ)
+    " HAVE_SSE42)
+    if (HAVE_SSE42 AND ENABLE_SSE42)
+        set (COMPILER_FLAGS "${COMPILER_FLAGS} ${TEST_FLAG}")
+    endif ()
 
-# gcc -dM -E -mpopcnt - < /dev/null | sort > gcc-dump-popcnt
+    set (TEST_FLAG "-mpclmul")
-#define __POPCNT__ 1
+    set (CMAKE_REQUIRED_FLAGS "${TEST_FLAG} -O0")
+    check_cxx_source_compiles("
+        #include <wmmintrin.h>
+        int main() {
+            auto a = _mm_clmulepi64_si128(__m128i(), __m128i(), 0);
+            (void)a;
+            return 0;
+        }
+    " HAVE_PCLMULQDQ)
+    if (HAVE_PCLMULQDQ AND ENABLE_PCLMULQDQ)
+        set (COMPILER_FLAGS "${COMPILER_FLAGS} ${TEST_FLAG}")
+    endif ()
 
-set (TEST_FLAG "-mpopcnt")
+    set (TEST_FLAG "-mpopcnt")
 
-set (CMAKE_REQUIRED_FLAGS "${TEST_FLAG} -O0")
+    set (CMAKE_REQUIRED_FLAGS "${TEST_FLAG} -O0")
-check_cxx_source_compiles("
+    check_cxx_source_compiles("
-    int main() {
+        int main() {
-        auto a = __builtin_popcountll(0);
+            auto a = __builtin_popcountll(0);
-        (void)a;
+            (void)a;
-        return 0;
+            return 0;
-    }
+        }
-" HAVE_POPCNT)
+    " HAVE_POPCNT)
+    if (HAVE_POPCNT AND ENABLE_POPCNT)
+        set (COMPILER_FLAGS "${COMPILER_FLAGS} ${TEST_FLAG}")
+    endif ()
 
-if (HAVE_POPCNT AND NOT ARCH_AARCH64)
+    set (TEST_FLAG "-mavx")
-    set (COMPILER_FLAGS "${COMPILER_FLAGS} ${TEST_FLAG}")
+    set (CMAKE_REQUIRED_FLAGS "${TEST_FLAG} -O0")
+    check_cxx_source_compiles("
+        #include <immintrin.h>
+        int main() {
+            auto a = _mm256_insert_epi8(__m256i(), 0, 0);
+            (void)a;
+            return 0;
+        }
+    " HAVE_AVX)
+    if (HAVE_AVX AND ENABLE_AVX)
+        set (COMPILER_FLAGS "${COMPILER_FLAGS} ${TEST_FLAG}")
+    endif ()
+
+    set (TEST_FLAG "-mavx2")
+    set (CMAKE_REQUIRED_FLAGS "${TEST_FLAG} -O0")
+    check_cxx_source_compiles("
+        #include <immintrin.h>
+        int main() {
+            auto a = _mm256_add_epi16(__m256i(), __m256i());
+            (void)a;
+            return 0;
+        }
+    " HAVE_AVX2)
+    if (HAVE_AVX2 AND ENABLE_AVX2)
+        set (COMPILER_FLAGS "${COMPILER_FLAGS} ${TEST_FLAG}")
+    endif ()
 endif ()
 
 cmake_pop_check_state ()

cmake/find/bzip2.cmake

@@ -0,0 +1,19 @@
+option(ENABLE_BZIP2 "Enable bzip2 compression support" ${ENABLE_LIBRARIES})
+
+if (NOT ENABLE_BZIP2)
+    message (STATUS "bzip2 compression disabled")
+    return()
+endif()
+
+if (NOT EXISTS "${ClickHouse_SOURCE_DIR}/contrib/bzip2/bzlib.h")
+    message (WARNING "submodule contrib/bzip2 is missing. to fix try run: \n git submodule update --init --recursive")
+    message (${RECONFIGURE_MESSAGE_LEVEL} "Can't find internal bzip2 library")
+    set (USE_NLP 0)
+    return()
+endif ()
+
+set (USE_BZIP2 1)
+set (BZIP2_INCLUDE_DIR "${ClickHouse_SOURCE_DIR}/contrib/bzip2")
+set (BZIP2_LIBRARY bzip2)
+
+message (STATUS "Using bzip2=${USE_BZIP2}: ${BZIP2_INCLUDE_DIR} : ${BZIP2_LIBRARY}")

contrib/CMakeLists.txt

@@ -334,6 +334,10 @@ if (USE_NLP)
     add_subdirectory(lemmagen-c-cmake)
 endif()
 
+if (USE_BZIP2)
+    add_subdirectory(bzip2-cmake)
+endif()
+
 if (USE_SQLITE)
     add_subdirectory(sqlite-cmake)
 endif()

contrib/NuRaft

@@ -1 +1 @@
-Subproject commit 0ce9490093021c63564cca159571a8b27772ad48
+Subproject commit 7ecb16844af6a9c283ad432d85ecc2e7d1544676

contrib/arrow-cmake/CMakeLists.txt

@@ -119,12 +119,9 @@ set(ORC_SRCS
         "${ORC_SOURCE_SRC_DIR}/ColumnWriter.cc"
         "${ORC_SOURCE_SRC_DIR}/Common.cc"
         "${ORC_SOURCE_SRC_DIR}/Compression.cc"
-        "${ORC_SOURCE_SRC_DIR}/Exceptions.cc"
         "${ORC_SOURCE_SRC_DIR}/Int128.cc"
         "${ORC_SOURCE_SRC_DIR}/LzoDecompressor.cc"
         "${ORC_SOURCE_SRC_DIR}/MemoryPool.cc"
-        "${ORC_SOURCE_SRC_DIR}/OrcFile.cc"
-        "${ORC_SOURCE_SRC_DIR}/Reader.cc"
         "${ORC_SOURCE_SRC_DIR}/RLE.cc"
         "${ORC_SOURCE_SRC_DIR}/RLEv1.cc"
         "${ORC_SOURCE_SRC_DIR}/RLEv2.cc"

contrib/bzip2

@@ -0,0 +1 @@
+Subproject commit bf905ea2251191ff9911ae7ec0cfc35d41f9f7f6

contrib/bzip2-cmake/CMakeLists.txt

@@ -0,0 +1,23 @@
+set(BZIP2_SOURCE_DIR "${ClickHouse_SOURCE_DIR}/contrib/bzip2")
+set(BZIP2_BINARY_DIR "${ClickHouse_BINARY_DIR}/contrib/bzip2")
+
+set(SRCS
+    "${BZIP2_SOURCE_DIR}/blocksort.c"
+    "${BZIP2_SOURCE_DIR}/huffman.c"
+    "${BZIP2_SOURCE_DIR}/crctable.c"
+    "${BZIP2_SOURCE_DIR}/randtable.c"
+    "${BZIP2_SOURCE_DIR}/compress.c"
+    "${BZIP2_SOURCE_DIR}/decompress.c"
+    "${BZIP2_SOURCE_DIR}/bzlib.c"
+)
+
+# From bzip2/CMakeLists.txt 
+set(BZ_VERSION "1.0.7")
+configure_file (
+    "${BZIP2_SOURCE_DIR}/bz_version.h.in"
+    "${BZIP2_BINARY_DIR}/bz_version.h"
+)
+
+add_library(bzip2 ${SRCS})
+
+target_include_directories(bzip2 PUBLIC "${BZIP2_SOURCE_DIR}" "${BZIP2_BINARY_DIR}")

contrib/croaring-cmake/CMakeLists.txt

@@ -24,3 +24,19 @@ add_library(roaring ${SRCS})
 target_include_directories(roaring PRIVATE "${LIBRARY_DIR}/include/roaring")
 target_include_directories(roaring SYSTEM BEFORE PUBLIC "${LIBRARY_DIR}/include")
 target_include_directories(roaring SYSTEM BEFORE PUBLIC "${LIBRARY_DIR}/cpp")
+
+# We redirect malloc/free family of functions to different functions that will track memory in ClickHouse.
+# Also note that we exploit implicit function declarations.
+# Also it is disabled on Mac OS because it fails).
+
+if (NOT OS_DARWIN)
+    target_compile_definitions(roaring PRIVATE
+        -Dmalloc=clickhouse_malloc
+        -Dcalloc=clickhouse_calloc
+        -Drealloc=clickhouse_realloc
+        -Dreallocarray=clickhouse_reallocarray
+        -Dfree=clickhouse_free
+        -Dposix_memalign=clickhouse_posix_memalign)
+
+    target_link_libraries(roaring PUBLIC clickhouse_common_io)
+endif ()

contrib/libmetrohash/CMakeLists.txt

@@ -2,9 +2,5 @@ set (SRCS
     src/metrohash64.cpp
     src/metrohash128.cpp
 )
-if (HAVE_SSE42) # Not used. Pretty easy to port.
-    list (APPEND SRCS src/metrohash128crc.cpp)
-endif ()
-
 add_library(metrohash ${SRCS})
 target_include_directories(metrohash PUBLIC src)

contrib/simdjson-cmake/CMakeLists.txt

@@ -4,3 +4,6 @@ set(SIMDJSON_SRC "${SIMDJSON_SRC_DIR}/simdjson.cpp")
 
 add_library(simdjson ${SIMDJSON_SRC})
 target_include_directories(simdjson SYSTEM PUBLIC "${SIMDJSON_INCLUDE_DIR}" PRIVATE "${SIMDJSON_SRC_DIR}")
+
+# simdjson is using its own CPU dispatching and get confused if we enable AVX/AVX2 flags.
+target_compile_options(simdjson PRIVATE -mno-avx -mno-avx2)

contrib/zlib-ng

@@ -1 +1 @@
-Subproject commit db232d30b4c72fd58e6d7eae2d12cebf9c3d90db
+Subproject commit 6a5e93b9007782115f7f7e5235dedc81c4f1facb

docker/packager/packager

@@ -151,8 +151,14 @@ def parse_env_variables(build_type, compiler, sanitizer, package_type, image_typ
         cmake_flags.append('-DENABLE_TESTS=1')
         cmake_flags.append('-DUSE_GTEST=1')
 
+    # "Unbundled" build is not suitable for any production usage.
+    # But it is occasionally used by some developers.
+    # The whole idea of using unknown version of libraries from the OS distribution is deeply flawed.
+    # We wish these developers good luck.
     if unbundled:
-        cmake_flags.append('-DUNBUNDLED=1 -DUSE_INTERNAL_RDKAFKA_LIBRARY=1 -DENABLE_ARROW=0 -DENABLE_AVRO=0 -DENABLE_ORC=0 -DENABLE_PARQUET=0')
+        # We also disable all CPU features except basic x86_64.
+        # It is only slightly related to "unbundled" build, but it is a good place to test if code compiles without these instruction sets.
+        cmake_flags.append('-DUNBUNDLED=1 -DUSE_INTERNAL_RDKAFKA_LIBRARY=1 -DENABLE_ARROW=0 -DENABLE_AVRO=0 -DENABLE_ORC=0 -DENABLE_PARQUET=0 -DENABLE_SSSE3=0 -DENABLE_SSE41=0 -DENABLE_SSE42=0 -DENABLE_PCLMULQDQ=0 -DENABLE_POPCNT=0 -DENABLE_AVX=0 -DENABLE_AVX2=0')
 
     if split_binary:
         cmake_flags.append('-DUSE_STATIC_LIBRARIES=0 -DSPLIT_SHARED_LIBRARIES=1 -DCLICKHOUSE_SPLIT_BINARY=1')

docker/test/fasttest/run.sh

@@ -279,6 +279,7 @@ function run_tests
         00926_multimatch
         00929_multi_match_edit_distance
         01681_hyperscan_debug_assertion
+        02004_max_hyperscan_regex_length
 
         01176_mysql_client_interactive          # requires mysql client
         01031_mutations_interpreter_and_context
@@ -312,6 +313,7 @@ function run_tests
         01798_uniq_theta_sketch
         01799_long_uniq_theta_sketch
         01890_stem                               # depends on libstemmer_c
+        02003_compress_bz2                       # depends on bzip2
         collate
         collation
         _orc_

docker/test/stateless/process_functional_tests_result.py

@@ -105,6 +105,10 @@ def process_result(result_path):
             description += ", skipped: {}".format(skipped)
         if unknown != 0:
             description += ", unknown: {}".format(unknown)
+
+        # Temporary green for tests with DatabaseReplicated:
+        if 1 == int(os.environ.get('USE_DATABASE_REPLICATED', 0)):
+            state = "success"
     else:
         state = "failure"
         description = "Output log doesn't exist"

docs/en/development/build.md

@@ -155,6 +155,10 @@ Normally ClickHouse is statically linked into a single static `clickhouse` binar
 -DUSE_STATIC_LIBRARIES=0 -DSPLIT_SHARED_LIBRARIES=1 -DCLICKHOUSE_SPLIT_BINARY=1
 ```
 
-Note that in this configuration there is no single `clickhouse` binary, and you have to run `clickhouse-server`, `clickhouse-client` etc.
+Note that the split build has several drawbacks:
+* There is no single `clickhouse` binary, and you have to run `clickhouse-server`, `clickhouse-client`, etc.
+* Risk of segfault if you run any of the programs while rebuilding the project.
+* You cannot run the integration tests since they only work a single complete binary.
+* You can't easily copy the binaries elsewhere. Instead of moving a single binary you'll need to copy all binaries and libraries.
 
 [Original article](https://clickhouse.tech/docs/en/development/build/) <!--hide-->

docs/en/engines/database-engines/atomic.md

@@ -5,12 +5,12 @@ toc_title: Atomic
 
 # Atomic {#atomic}
 
-It supports non-blocking [DROP TABLE](#drop-detach-table) and [RENAME TABLE](#rename-table) queries and atomic [EXCHANGE TABLES t1 AND t2](#exchange-tables) queries. `Atomic` database engine is used by default.
+It supports non-blocking [DROP TABLE](#drop-detach-table) and [RENAME TABLE](#rename-table) queries and atomic [EXCHANGE TABLES](#exchange-tables) queries. `Atomic` database engine is used by default.
 
 ## Creating a Database {#creating-a-database}
 
 ``` sql
-    CREATE DATABASE test[ ENGINE = Atomic];
+CREATE DATABASE test [ENGINE = Atomic];
 ```
 
 ## Specifics and recommendations {#specifics-and-recommendations}
@@ -25,16 +25,16 @@ CREATE TABLE name UUID '28f1c61c-2970-457a-bffe-454156ddcfef' (n UInt64) ENGINE
 ```
 ### RENAME TABLE {#rename-table}
 
-`RENAME` queries are performed without changing UUID and moving table data. These queries do not wait for the completion of queries using the table and will be executed instantly.
+[RENAME](../../sql-reference/statements/rename.md) queries are performed without changing UUID and moving table data. These queries do not wait for the completion of queries using the table and are executed instantly.
 
 ### DROP/DETACH TABLE {#drop-detach-table}
 
-On `DROP TABLE` no data is removed, database `Atomic` just marks table as dropped by moving metadata to `/clickhouse_path/metadata_dropped/` and notifies background thread. Delay before final table data deletion is specify by [database_atomic_delay_before_drop_table_sec](../../operations/server-configuration-parameters/settings.md#database_atomic_delay_before_drop_table_sec) setting.
+On `DROP TABLE` no data is removed, database `Atomic` just marks table as dropped by moving metadata to `/clickhouse_path/metadata_dropped/` and notifies background thread. Delay before final table data deletion is specified by the [database_atomic_delay_before_drop_table_sec](../../operations/server-configuration-parameters/settings.md#database_atomic_delay_before_drop_table_sec) setting.
 You can specify synchronous mode using `SYNC` modifier. Use the [database_atomic_wait_for_drop_and_detach_synchronously](../../operations/settings/settings.md#database_atomic_wait_for_drop_and_detach_synchronously) setting to do this. In this case `DROP` waits for running `SELECT`, `INSERT` and other queries which are using the table to finish. Table will be actually removed when it's not in use.
 
-### EXCHANGE TABLES {#exchange-tables}
+### EXCHANGE TABLES/DICTIONARIES {#exchange-tables}
 
-`EXCHANGE` query swaps tables atomically. So instead of this non-atomic operation:
+[EXCHANGE](../../sql-reference/statements/exchange.md) query swaps tables or dictionaries atomically. For instance, instead of this non-atomic operation:
 
 ```sql
 RENAME TABLE new_table TO tmp, old_table TO new_table, tmp TO old_table;
@@ -47,7 +47,7 @@ EXCHANGE TABLES new_table AND old_table;
 
 ### ReplicatedMergeTree in Atomic Database {#replicatedmergetree-in-atomic-database}
 
-For [ReplicatedMergeTree](../table-engines/mergetree-family/replication.md#table_engines-replication) tables, it is recommended to not specify engine parameters - path in ZooKeeper and replica name. In this case, configuration parameters will be used [default_replica_path](../../operations/server-configuration-parameters/settings.md#default_replica_path) and [default_replica_name](../../operations/server-configuration-parameters/settings.md#default_replica_name). If you want to specify engine parameters explicitly, it is recommended to use `{uuid}` macros. This is useful so that unique paths are automatically generated for each table in ZooKeeper.
+For [ReplicatedMergeTree](../table-engines/mergetree-family/replication.md#table_engines-replication) tables, it is recommended not to specify engine parameters - path in ZooKeeper and replica name. In this case, configuration parameters [default_replica_path](../../operations/server-configuration-parameters/settings.md#default_replica_path) and [default_replica_name](../../operations/server-configuration-parameters/settings.md#default_replica_name) will be used. If you want to specify engine parameters explicitly, it is recommended to use `{uuid}` macros. This is useful so that unique paths are automatically generated for each table in ZooKeeper.
 
 ## See Also
 

docs/en/engines/database-engines/index.md

@@ -8,7 +8,7 @@ toc_title: Introduction
 
 Database engines allow you to work with tables.
 
-By default, ClickHouse uses database engine [Atomic](../../engines/database-engines/atomic.md). It is provides configurable [table engines](../../engines/table-engines/index.md) and an [SQL dialect](../../sql-reference/syntax.md).
+By default, ClickHouse uses database engine [Atomic](../../engines/database-engines/atomic.md). It provides configurable [table engines](../../engines/table-engines/index.md) and an [SQL dialect](../../sql-reference/syntax.md).
 
 You can also use the following database engines:
 

docs/en/engines/database-engines/materialized-mysql.md

@@ -1,18 +1,17 @@
 ---
 toc_priority: 29
-toc_title: MaterializedMySQL
+toc_title: "[experimental] MaterializedMySQL"
 ---
 
-# MaterializedMySQL {#materialized-mysql}
+# [experimental] MaterializedMySQL {#materialized-mysql}
 
-**This is experimental feature that should not be used in production.**
+!!! warning "Warning"
+    This is an experimental feature that should not be used in production.
 
 Creates ClickHouse database with all the tables existing in MySQL, and all the data in those tables.
 
 ClickHouse server works as MySQL replica. It reads binlog and performs DDL and DML queries.
 
-This feature is experimental.
-
 ## Creating a Database {#creating-a-database}
 
 ``` sql
@@ -28,28 +27,33 @@ ENGINE = MaterializedMySQL('host:port', ['database' | database], 'user', 'passwo
 -   `password` — User password.
 
 **Engine Settings**
--   `max_rows_in_buffer` — Max rows that data is allowed to cache in memory(for single table and the cache data unable to query). when rows is exceeded, the data will be materialized. Default: `65505`.
+
--   `max_bytes_in_buffer` —  Max bytes that data is allowed to cache in memory(for single table and the cache data unable to query). when rows is exceeded, the data will be materialized. Default: `1048576`.
+-   `max_rows_in_buffer` — Maximum number of rows that data is allowed to cache in memory (for single table and the cache data unable to query). When this number is exceeded, the data will be materialized. Default: `65 505`.
--   `max_rows_in_buffers` — Max rows that data is allowed to cache in memory(for database and the cache data unable to query). when rows is exceeded, the data will be materialized. Default: `65505`.
+-   `max_bytes_in_buffer` —  Maximum number of bytes that data is allowed to cache in memory (for single table and the cache data unable to query). When this number is exceeded, the data will be materialized. Default: `1 048 576`.
--   `max_bytes_in_buffers` — Max bytes that data is allowed to cache in memory(for database and the cache data unable to query). when rows is exceeded, the data will be materialized. Default: `1048576`.
+-   `max_rows_in_buffers` — Maximum number of rows that data is allowed to cache in memory (for database and the cache data unable to query). When this number is exceeded, the data will be materialized. Default: `65 505`.
--   `max_flush_data_time` — Max milliseconds that data is allowed to cache in memory(for database and the cache data unable to query). when this time is exceeded, the data will be materialized. Default: `1000`.
+-   `max_bytes_in_buffers` — Maximum number of bytes that data is allowed to cache in memory (for database and the cache data unable to query). When this number is exceeded, the data will be materialized. Default: `1 048 576`.
--   `max_wait_time_when_mysql_unavailable` — Retry interval when MySQL is not available (milliseconds). Negative value disable retry. Default: `1000`.
+-   `max_flush_data_time` — Maximum number of milliseconds that data is allowed to cache in memory (for database and the cache data unable to query). When this time is exceeded, the data will be materialized. Default: `1000`.
--   `allows_query_when_mysql_lost` — Allow query materialized table when mysql is lost. Default: `0` (`false`).
+-   `max_wait_time_when_mysql_unavailable` — Retry interval when MySQL is not available (milliseconds). Negative value disables retry. Default: `1000`.
-```
+-   `allows_query_when_mysql_lost` — Allows to query a materialized table when MySQL is lost. Default: `0` (`false`).
+
+```sql
 CREATE DATABASE mysql ENGINE = MaterializedMySQL('localhost:3306', 'db', 'user', '***')
      SETTINGS
         allows_query_when_mysql_lost=true,
         max_wait_time_when_mysql_unavailable=10000;
 ```
 
-**Settings on MySQL-server side**
+**Settings on MySQL-server Side**
 
-For the correct work of `MaterializeMySQL`, there are few mandatory `MySQL`-side configuration settings that should be set:
+For the correct work of `MaterializedMySQL`, there are few mandatory `MySQL`-side configuration settings that must be set:
 
-- `default_authentication_plugin = mysql_native_password` since `MaterializeMySQL` can only authorize with this method.
+- `default_authentication_plugin = mysql_native_password` since `MaterializedMySQL` can only authorize with this method.
-- `gtid_mode = on` since GTID based logging is a mandatory for providing correct `MaterializeMySQL` replication. Pay attention that while turning this mode `On` you should also specify `enforce_gtid_consistency = on`.
+- `gtid_mode = on` since GTID based logging is a mandatory for providing correct `MaterializedMySQL` replication.
 
-## Virtual columns {#virtual-columns}
+!!! attention "Attention"
+    While turning on `gtid_mode` you should also specify `enforce_gtid_consistency = on`.
+
+## Virtual Columns {#virtual-columns}
 
 When working with the `MaterializedMySQL` database engine, [ReplacingMergeTree](../../engines/table-engines/mergetree-family/replacingmergetree.md) tables are used with virtual `_sign` and `_version` columns.
 
@@ -79,13 +83,13 @@ When working with the `MaterializedMySQL` database engine, [ReplacingMergeTree](
 | BLOB                    | [String](../../sql-reference/data-types/string.md)           |
 | BINARY                  | [FixedString](../../sql-reference/data-types/fixedstring.md) |
 
-Other types are not supported. If MySQL table contains a column of such type, ClickHouse throws exception "Unhandled data type" and stops replication.
-
 [Nullable](../../sql-reference/data-types/nullable.md) is supported.
 
+Other types are not supported. If MySQL table contains a column of such type, ClickHouse throws exception "Unhandled data type" and stops replication.
+
 ## Specifics and Recommendations {#specifics-and-recommendations}
 
-### Compatibility restrictions
+### Compatibility Restrictions {#compatibility-restrictions}
 
 Apart of the data types limitations there are few restrictions comparing to `MySQL` databases, that should be resolved before replication will be possible:
 

docs/en/engines/database-engines/materialized-postgresql.md

@@ -3,45 +3,52 @@ toc_priority: 30
 toc_title: MaterializedPostgreSQL
 ---
 
-# MaterializedPostgreSQL {#materialize-postgresql}
+# [experimental] MaterializedPostgreSQL {#materialize-postgresql}
+
+Creates ClickHouse database with an initial data dump of PostgreSQL database tables and starts replication process, i.e. executes background job to apply new changes as they happen on PostgreSQL database tables in the remote PostgreSQL database.
+
+ClickHouse server works as PostgreSQL replica. It reads WAL and performs DML queries. DDL is not replicated, but can be handled (described below).
 
 ## Creating a Database {#creating-a-database}
 
 ``` sql
-CREATE DATABASE test_database
+CREATE DATABASE [IF NOT EXISTS] db_name [ON CLUSTER cluster]
-ENGINE = MaterializedPostgreSQL('postgres1:5432', 'postgres_database', 'postgres_user', 'postgres_password'
+ENGINE = MaterializedPostgreSQL('host:port', ['database' | database], 'user', 'password') [SETTINGS ...]
-
-SELECT * FROM test_database.postgres_table;
 ```
 
+**Engine Parameters**
+
+-   `host:port` — PostgreSQL server endpoint.
+-   `database` — PostgreSQL database name.
+-   `user` — PostgreSQL user.
+-   `password` — User password.
 
 ## Settings {#settings}
 
-1. `materialized_postgresql_max_block_size` - Number of rows collected before flushing data into table. Default: `65536`.
+-   [materialized_postgresql_max_block_size](../../operations/settings/settings.md#materialized-postgresql-max-block-size)
 
-2. `materialized_postgresql_tables_list` - List of tables for MaterializedPostgreSQL database engine. Default: `whole database`.
+-   [materialized_postgresql_tables_list](../../operations/settings/settings.md#materialized-postgresql-tables-list)
 
-3. `materialized_postgresql_allow_automatic_update` - Allow to reload table in the background, when schema changes are detected. Default: `0` (`false`).
+-   [materialized_postgresql_allow_automatic_update](../../operations/settings/settings.md#materialized-postgresql-allow-automatic-update)
 
 ``` sql
-CREATE DATABASE test_database
+CREATE DATABASE database1
-ENGINE = MaterializedPostgreSQL('postgres1:5432', 'postgres_database', 'postgres_user', 'postgres_password'
+ENGINE = MaterializedPostgreSQL('postgres1:5432', 'postgres_database', 'postgres_user', 'postgres_password')
 SETTINGS materialized_postgresql_max_block_size = 65536,
          materialized_postgresql_tables_list = 'table1,table2,table3';
 
-SELECT * FROM test_database.table1;
+SELECT * FROM database1.table1;
 ```
 
-
 ## Requirements {#requirements}
 
-- Setting `wal_level`to `logical` and `max_replication_slots` to at least `2` in the postgresql config file.
+1. The [wal_level](https://www.postgresql.org/docs/current/runtime-config-wal.html) setting must have a value `logical` and `max_replication_slots` parameter must have a value at least `2` in the PostgreSQL config file.
 
-- Each replicated table must have one of the following **replica identity**:
+2. Each replicated table must have one of the following [replica identity](https://www.postgresql.org/docs/10/sql-altertable.html#SQL-CREATETABLE-REPLICA-IDENTITY):
 
-1. **default** (primary key)
+-   primary key (by default)
 
-2. **index**
+-   index
 
 ``` bash
 postgres# CREATE TABLE postgres_table (a Integer NOT NULL, b Integer, c Integer NOT NULL, d Integer, e Integer NOT NULL);
@@ -49,9 +56,8 @@ postgres# CREATE unique INDEX postgres_table_index on postgres_table(a, c, e);
 postgres# ALTER TABLE postgres_table REPLICA IDENTITY USING INDEX postgres_table_index;
 ```
 
-
+The primary key is always checked first. If it is absent, then the index, defined as replica identity index, is checked.
-Primary key is always checked first. If it is absent, then index, defined as replica identity index, is checked.
+If the index is used as a replica identity, there has to be only one such index in a table.
-If index is used as replica identity, there has to be only one such index in a table.
 You can check what type is used for a specific table with the following command:
 
 ``` bash
@@ -65,7 +71,14 @@ FROM pg_class
 WHERE oid = 'postgres_table'::regclass;
 ```
 
+!!! warning "Warning"
+    Replication of [**TOAST**](https://www.postgresql.org/docs/9.5/storage-toast.html) values is not supported. The default value for the data type will be used.
+	
+## Example of Use {#example-of-use}
 
-## Warning {#warning}
+``` sql
+CREATE DATABASE postgresql_db
+ENGINE = MaterializedPostgreSQL('postgres1:5432', 'postgres_database', 'postgres_user', 'postgres_password');
 
-1. **TOAST** values convertion is not supported. Default value for the data type will be used.
+SELECT * FROM postgresql_db.postgres_table;
+```

docs/en/engines/table-engines/integrations/hdfs.md

@@ -50,11 +50,11 @@ SELECT * FROM hdfs_engine_table LIMIT 2
 
 ## Implementation Details {#implementation-details}
 
--   Reads and writes can be parallel
+-   Reads and writes can be parallel.
+-   [Zero-copy](../../../operations/storing-data.md#zero-copy) replication is supported.  
 -   Not supported:
     -   `ALTER` and `SELECT...SAMPLE` operations.
     -   Indexes.
-    -   Replication.
 
 **Globs in path**
 
@@ -71,12 +71,12 @@ Constructions with `{}` are similar to the [remote](../../../sql-reference/table
 
 1.  Suppose we have several files in TSV format with the following URIs on HDFS:
 
--   ‘hdfs://hdfs1:9000/some_dir/some_file_1’
+-   'hdfs://hdfs1:9000/some_dir/some_file_1'
--   ‘hdfs://hdfs1:9000/some_dir/some_file_2’
+-   'hdfs://hdfs1:9000/some_dir/some_file_2'
--   ‘hdfs://hdfs1:9000/some_dir/some_file_3’
+-   'hdfs://hdfs1:9000/some_dir/some_file_3'
--   ‘hdfs://hdfs1:9000/another_dir/some_file_1’
+-   'hdfs://hdfs1:9000/another_dir/some_file_1'
--   ‘hdfs://hdfs1:9000/another_dir/some_file_2’
+-   'hdfs://hdfs1:9000/another_dir/some_file_2'
--   ‘hdfs://hdfs1:9000/another_dir/some_file_3’
+-   'hdfs://hdfs1:9000/another_dir/some_file_3'
 
 1.  There are several ways to make a table consisting of all six files:
 
@@ -126,8 +126,9 @@ Similar to GraphiteMergeTree, the HDFS engine supports extended configuration us
   </hdfs_root>
 ```
 
-### List of possible configuration options with default values
+### Configuration Options {#configuration-options}
-#### Supported by libhdfs3
+
+#### Supported by libhdfs3 {#supported-by-libhdfs3}
 
 
 | **parameter**                                         | **default value**       |
@@ -184,7 +185,7 @@ Similar to GraphiteMergeTree, the HDFS engine supports extended configuration us
 |hadoop\_kerberos\_principal                            | ""                      |
 |hadoop\_kerberos\_kinit\_command                       | kinit                   |
 
-#### Limitations {#limitations}
+### Limitations {#limitations}
   * hadoop\_security\_kerberos\_ticket\_cache\_path can be global only, not user specific
 
 ## Kerberos support {#kerberos-support}

docs/en/engines/table-engines/integrations/materialized-postgresql.md

@@ -5,42 +5,52 @@ toc_title: MaterializedPostgreSQL
 
 # MaterializedPostgreSQL {#materialize-postgresql}
 
+Creates ClickHouse table with an initial data dump of PostgreSQL table and starts replication process, i.e. executes background job to apply new changes as they happen on PostgreSQL table in the remote PostgreSQL database.
+
+If more than one table is required, it is highly recommended to use the [MaterializedPostgreSQL](../../../engines/database-engines/materialized-postgresql.md) database engine instead of the table engine and use the [materialized_postgresql_tables_list](../../../operations/settings/settings.md#materialized-postgresql-tables-list) setting, which specifies the tables to be replicated. It will be much better in terms of CPU, fewer connections and fewer replication slots inside the remote PostgreSQL database.
+
 ## Creating a Table {#creating-a-table}
 
 ``` sql
-CREATE TABLE test.postgresql_replica (key UInt64, value UInt64)
+CREATE TABLE postgresql_db.postgresql_replica (key UInt64, value UInt64)
 ENGINE = MaterializedPostgreSQL('postgres1:5432', 'postgres_database', 'postgresql_replica', 'postgres_user', 'postgres_password')
 PRIMARY KEY key;
 ```
 
+**Engine Parameters**
+
+-   `host:port` — PostgreSQL server address.
+-   `database` — Remote database name.
+-   `table` — Remote table name.
+-   `user` — PostgreSQL user.
+-   `password` — User password.
 
 ## Requirements {#requirements}
 
-- Setting `wal_level`to `logical` and `max_replication_slots` to at least `2` in the postgresql config file.
+1. The [wal_level](https://www.postgresql.org/docs/current/runtime-config-wal.html) setting must have a value `logical` and `max_replication_slots` parameter must have a value at least `2` in the PostgreSQL config file.
 
-- A table with engine `MaterializedPostgreSQL` must have a primary key - the same as a replica identity index (default: primary key) of a postgres table (See [details on replica identity index](../../database-engines/materialized-postgresql.md#requirements)).
+2. A table with `MaterializedPostgreSQL` engine must have a primary key — the same as a replica identity index (by default: primary key) of a PostgreSQL table (see [details on replica identity index](../../../engines/database-engines/materialized-postgresql.md#requirements)).
 
-- Only database `Atomic` is allowed.
+3. Only database [Atomic](https://en.wikipedia.org/wiki/Atomicity_(database_systems)) is allowed.
 
+## Virtual columns {#virtual-columns}
 
-## Virtual columns {#creating-a-table}
+-   `_version` — Transaction counter. Type: [UInt64](../../../sql-reference/data-types/int-uint.md).
 
-- `_version` (`UInt64`)
+-   `_sign` — Deletion mark. Type: [Int8](../../../sql-reference/data-types/int-uint.md). Possible values:
+    - `1` — Row is not deleted, 
+    - `-1` — Row is deleted.
 
-- `_sign` (`Int8`)
+These columns do not need to be added when a table is created. They are always accessible in `SELECT` query.
-
-These columns do not need to be added, when table is created. They are always accessible in `SELECT` query.
 `_version` column equals `LSN` position in `WAL`, so it might be used to check how up-to-date replication is.
 
 ``` sql
-CREATE TABLE test.postgresql_replica (key UInt64, value UInt64)
+CREATE TABLE postgresql_db.postgresql_replica (key UInt64, value UInt64)
 ENGINE = MaterializedPostgreSQL('postgres1:5432', 'postgres_database', 'postgresql_replica', 'postgres_user', 'postgres_password')
 PRIMARY KEY key;
 
-SELECT key, value, _version FROM test.postgresql_replica;
+SELECT key, value, _version FROM postgresql_db.postgresql_replica;
 ```
 
-
+!!! warning "Warning"
-## Warning {#warning}
+    Replication of [**TOAST**](https://www.postgresql.org/docs/9.5/storage-toast.html) values is not supported. The default value for the data type will be used.
-
-1. **TOAST** values convertion is not supported. Default value for the data type will be used.

docs/en/engines/table-engines/integrations/s3.md

@@ -57,10 +57,10 @@ For more information about virtual columns see [here](../../../engines/table-eng
 ## Implementation Details {#implementation-details}
 
 -   Reads and writes can be parallel
+-   [Zero-copy](../../../operations/storing-data.md#zero-copy) replication is supported.  
 -   Not supported:
     -   `ALTER` and `SELECT...SAMPLE` operations.
     -   Indexes.
-    -   Replication.
 
 ## Wildcards In Path {#wildcards-in-path}
 
@@ -77,12 +77,12 @@ Constructions with `{}` are similar to the [remote](../../../sql-reference/table
 
 1. Suppose we have several files in CSV format with the following URIs on S3:
 
--   ‘https://storage.yandexcloud.net/my-test-bucket-768/some_prefix/some_file_1.csv’
+-   'https://storage.yandexcloud.net/my-test-bucket-768/some_prefix/some_file_1.csv'
--   ‘https://storage.yandexcloud.net/my-test-bucket-768/some_prefix/some_file_2.csv’
+-   'https://storage.yandexcloud.net/my-test-bucket-768/some_prefix/some_file_2.csv'
--   ‘https://storage.yandexcloud.net/my-test-bucket-768/some_prefix/some_file_3.csv’
+-   'https://storage.yandexcloud.net/my-test-bucket-768/some_prefix/some_file_3.csv'
--   ‘https://storage.yandexcloud.net/my-test-bucket-768/another_prefix/some_file_1.csv’
+-   'https://storage.yandexcloud.net/my-test-bucket-768/another_prefix/some_file_1.csv'
--   ‘https://storage.yandexcloud.net/my-test-bucket-768/another_prefix/some_file_2.csv’
+-   'https://storage.yandexcloud.net/my-test-bucket-768/another_prefix/some_file_2.csv'
--   ‘https://storage.yandexcloud.net/my-test-bucket-768/another_prefix/some_file_3.csv’
+-   'https://storage.yandexcloud.net/my-test-bucket-768/another_prefix/some_file_3.csv'
 
 There are several ways to make a table consisting of all six files:
 

docs/en/engines/table-engines/mergetree-family/mergetree.md

@@ -39,7 +39,10 @@ CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]
     name2 [type2] [DEFAULT|MATERIALIZED|ALIAS expr2] [TTL expr2],
     ...
     INDEX index_name1 expr1 TYPE type1(...) GRANULARITY value1,
-    INDEX index_name2 expr2 TYPE type2(...) GRANULARITY value2
+    INDEX index_name2 expr2 TYPE type2(...) GRANULARITY value2,
+    ...
+    PROJECTION projection_name_1 (SELECT <COLUMN LIST EXPR> [GROUP BY] [ORDER BY]),
+    PROJECTION projection_name_2 (SELECT <COLUMN LIST EXPR> [GROUP BY] [ORDER BY])
 ) ENGINE = MergeTree()
 ORDER BY expr
 [PARTITION BY expr]
@@ -76,7 +79,7 @@ For a description of parameters, see the [CREATE query description](../../../sql
 
 -   `SAMPLE BY` — An expression for sampling. Optional.
 
-    If a sampling expression is used, the primary key must contain it. The result of sampling expression must be unsigned integer. Example: `SAMPLE BY intHash32(UserID) ORDER BY (CounterID, EventDate, intHash32(UserID))`.
+    If a sampling expression is used, the primary key must contain it. The result of a sampling expression must be an unsigned integer. Example: `SAMPLE BY intHash32(UserID) ORDER BY (CounterID, EventDate, intHash32(UserID))`.
 
 -   `TTL` — A list of rules specifying storage duration of rows and defining logic of automatic parts movement [between disks and volumes](#table_engine-mergetree-multiple-volumes). Optional.
 
@@ -385,6 +388,24 @@ Functions with a constant argument that is less than ngram size can’t be used
     -   `s != 1`
     -   `NOT startsWith(s, 'test')`
 
+### Projections {#projections}
+Projections are like materialized views but defined in part-level. It provides consistency guarantees along with automatic usage in queries.
+
+#### Query {#projection-query}
+A projection query is what defines a projection. It has the following grammar:
+
+`SELECT <COLUMN LIST EXPR> [GROUP BY] [ORDER BY]`
+
+It implicitly selects data from the parent table.
+
+#### Storage {#projection-storage}
+Projections are stored inside the part directory. It's similar to an index but contains a subdirectory that stores an anonymous MergeTree table's part. The table is induced by the definition query of the projection. If there is a GROUP BY clause, the underlying storage engine becomes AggregatedMergeTree, and all aggregate functions are converted to AggregateFunction. If there is an ORDER BY clause, the MergeTree table will use it as its primary key expression. During the merge process, the projection part will be merged via its storage's merge routine. The checksum of the parent table's part will combine the projection's part. Other maintenance jobs are similar to skip indices.
+
+#### Query Analysis {#projection-query-analysis}
+1. Check if the projection can be used to answer the given query, that is, it generates the same answer as querying the base table.
+2. Select the best feasible match, which contains the least granules to read.
+3. The query pipeline which uses projections will be different from the one that uses the original parts. If the projection is absent in some parts, we can add the pipeline to "project" it on the fly.
+
 ## Concurrent Data Access {#concurrent-data-access}
 
 For concurrent table access, we use multi-versioning. In other words, when a table is simultaneously read and updated, data is read from a set of parts that is current at the time of the query. There are no lengthy locks. Inserts do not get in the way of read operations.

docs/en/engines/table-engines/special/join.md

@@ -30,65 +30,27 @@ See the detailed description of the [CREATE TABLE](../../../sql-reference/statem
 
 Enter `join_strictness` and `join_type` parameters without quotes, for example, `Join(ANY, LEFT, col1)`. They must match the `JOIN` operation that the table will be used for. If the parameters do not match, ClickHouse does not throw an exception and may return incorrect data.
 
-## Table Usage {#table-usage}
+## Specifics and Recommendations {#specifics-and-recommendations}
 
-### Example {#example}
+### Data Storage {#data-storage}
 
-Creating the left-side table:
+`Join` table data is always located in the RAM. When inserting rows into a table, ClickHouse writes data blocks to the directory on the disk so that they can be restored when the server restarts.
 
-``` sql
+If the server restarts incorrectly, the data block on the disk might get lost or damaged. In this case, you may need to manually delete the file with damaged data.
-CREATE TABLE id_val(`id` UInt32, `val` UInt32) ENGINE = TinyLog
-```
-
-``` sql
-INSERT INTO id_val VALUES (1,11)(2,12)(3,13)
-```
-
-Creating the right-side `Join` table:
-
-``` sql
-CREATE TABLE id_val_join(`id` UInt32, `val` UInt8) ENGINE = Join(ANY, LEFT, id)
-```
-
-``` sql
-INSERT INTO id_val_join VALUES (1,21)(1,22)(3,23)
-```
-
-Joining the tables:
-
-``` sql
-SELECT * FROM id_val ANY LEFT JOIN id_val_join USING (id) SETTINGS join_use_nulls = 1
-```
-
-``` text
-┌─id─┬─val─┬─id_val_join.val─┐
-│  1 │  11 │              21 │
-│  2 │  12 │            ᴺᵁᴸᴸ │
-│  3 │  13 │              23 │
-└────┴─────┴─────────────────┘
-```
-
-As an alternative, you can retrieve data from the `Join` table, specifying the join key value:
-
-``` sql
-SELECT joinGet('id_val_join', 'val', toUInt32(1))
-```
-
-``` text
-┌─joinGet('id_val_join', 'val', toUInt32(1))─┐
-│                                         21 │
-└────────────────────────────────────────────┘
-```
 
 ### Selecting and Inserting Data {#selecting-and-inserting-data}
 
 You can use `INSERT` queries to add data to the `Join`-engine tables. If the table was created with the `ANY` strictness, data for duplicate keys are ignored. With the `ALL` strictness, all rows are added.
 
-You cannot perform a `SELECT` query directly from the table. Instead, use one of the following methods:
+Main use-cases for `Join`-engine tables are following:
 
 -   Place the table to the right side in a `JOIN` clause.
 -   Call the [joinGet](../../../sql-reference/functions/other-functions.md#joinget) function, which lets you extract data from the table the same way as from a dictionary.
 
+### Deleting Data {#deleting-data}
+
+`ALTER DELETE` queries for `Join`-engine tables are implemented as [mutations](../../../sql-reference/statements/alter/index.md#mutations). `DELETE` mutation reads filtered data and overwrites data of memory and disk.
+
 ### Limitations and Settings {#join-limitations-and-settings}
 
 When creating a table, the following settings are applied:
@@ -102,12 +64,64 @@ When creating a table, the following settings are applied:
 
 The `Join`-engine tables can’t be used in `GLOBAL JOIN` operations.
 
-The `Join`-engine allows use [join_use_nulls](../../../operations/settings/settings.md#join_use_nulls) setting in the `CREATE TABLE` statement. And [SELECT](../../../sql-reference/statements/select/index.md) query allows use `join_use_nulls` too. If you have different `join_use_nulls` settings, you can get an error joining table. It depends on kind of JOIN. When you use [joinGet](../../../sql-reference/functions/other-functions.md#joinget) function, you have to use the same `join_use_nulls` setting in `CRATE TABLE` and `SELECT` statements.
+The `Join`-engine allows to specify [join_use_nulls](../../../operations/settings/settings.md#join_use_nulls) setting in the `CREATE TABLE` statement. [SELECT](../../../sql-reference/statements/select/index.md) query should have the same `join_use_nulls` value.
 
-## Data Storage {#data-storage}
+## Usage Examples {#example}
 
-`Join` table data is always located in the RAM. When inserting rows into a table, ClickHouse writes data blocks to the directory on the disk so that they can be restored when the server restarts.
+Creating the left-side table:
 
-If the server restarts incorrectly, the data block on the disk might get lost or damaged. In this case, you may need to manually delete the file with damaged data.
+``` sql
+CREATE TABLE id_val(`id` UInt32, `val` UInt32) ENGINE = TinyLog;
+```
 
-[Original article](https://clickhouse.tech/docs/en/operations/table_engines/join/) <!--hide-->
+``` sql
+INSERT INTO id_val VALUES (1,11)(2,12)(3,13);
+```
+
+Creating the right-side `Join` table:
+
+``` sql
+CREATE TABLE id_val_join(`id` UInt32, `val` UInt8) ENGINE = Join(ANY, LEFT, id);
+```
+
+``` sql
+INSERT INTO id_val_join VALUES (1,21)(1,22)(3,23);
+```
+
+Joining the tables:
+
+``` sql
+SELECT * FROM id_val ANY LEFT JOIN id_val_join USING (id);
+```
+
+``` text
+┌─id─┬─val─┬─id_val_join.val─┐
+│  1 │  11 │              21 │
+│  2 │  12 │               0 │
+│  3 │  13 │              23 │
+└────┴─────┴─────────────────┘
+```
+
+As an alternative, you can retrieve data from the `Join` table, specifying the join key value:
+
+``` sql
+SELECT joinGet('id_val_join', 'val', toUInt32(1));
+```
+
+``` text
+┌─joinGet('id_val_join', 'val', toUInt32(1))─┐
+│                                         21 │
+└────────────────────────────────────────────┘
+```
+
+Deleting a row from the `Join` table:
+
+```sql
+ALTER TABLE id_val_join DELETE WHERE id = 3;
+```
+
+```text
+┌─id─┬─val─┐
+│  1 │  21 │
+└────┴─────┘
+```

docs/en/getting-started/example-datasets/index.md

@@ -14,7 +14,10 @@ The list of documented datasets:
 -   [Anonymized Yandex.Metrica Dataset](../../getting-started/example-datasets/metrica.md)
 -   [Recipes](../../getting-started/example-datasets/recipes.md)
 -   [OnTime](../../getting-started/example-datasets/ontime.md)
+-   [OpenSky](../../getting-started/example-datasets/opensky.md)
 -   [New York Taxi Data](../../getting-started/example-datasets/nyc-taxi.md)
+-   [UK Property Price Paid](../../getting-started/example-datasets/uk-price-paid.md)
+-   [What's on the Menu?](../../getting-started/example-datasets/menus.md)
 -   [Star Schema Benchmark](../../getting-started/example-datasets/star-schema.md)
 -   [WikiStat](../../getting-started/example-datasets/wikistat.md)
 -   [Terabyte of Click Logs from Criteo](../../getting-started/example-datasets/criteo.md)

docs/en/getting-started/example-datasets/menus.md

@@ -0,0 +1,324 @@
+---
+toc_priority: 21
+toc_title: Menus
+---
+
+# New York Public Library "What's on the Menu?" Dataset
+
+The dataset is created by the New York Public Library. It contains historical data on the menus of hotels, restaurants and cafes with the dishes along with their prices.
+
+Source: http://menus.nypl.org/data
+The data is in public domain.
+
+The data is from library's archive and it may be incomplete and difficult for statistical analysis. Nevertheless it is also very yummy.
+The size is just 1.3 million records about dishes in the menus (a very small data volume for ClickHouse, but it's still a good example).
+
+## Download the Dataset
+
+```
+wget https://s3.amazonaws.com/menusdata.nypl.org/gzips/2021_08_01_07_01_17_data.tgz
+```
+
+Replace the link to the up to date link from http://menus.nypl.org/data if needed.
+Download size is about 35 MB.
+
+## Unpack the Dataset
+
+```
+tar xvf 2021_08_01_07_01_17_data.tgz
+```
+
+Uncompressed size is about 150 MB.
+
+The data is normalized consisted of four tables:
+- Menu: information about menus: the name of the restaurant, the date when menu was seen, etc;
+- Dish: information about dishes: the name of the dish along with some characteristic;
+- MenuPage: information about the pages in the menus; every page belongs to some menu;
+- MenuItem: an item of the menu - a dish along with its price on some menu page: links to dish and menu page.
+
+## Create the Tables
+
+```
+CREATE TABLE dish
+(
+    id UInt32,
+    name String,
+    description String,
+    menus_appeared UInt32,
+    times_appeared Int32,
+    first_appeared UInt16,
+    last_appeared UInt16,
+    lowest_price Decimal64(3),
+    highest_price Decimal64(3)
+) ENGINE = MergeTree ORDER BY id;
+
+CREATE TABLE menu
+(
+    id UInt32,
+    name String,
+    sponsor String,
+    event String,
+    venue String,
+    place String,
+    physical_description String,
+    occasion String,
+    notes String,
+    call_number String,
+    keywords String,
+    language String,
+    date String,
+    location String,
+    location_type String,
+    currency String,
+    currency_symbol String,
+    status String,
+    page_count UInt16,
+    dish_count UInt16
+) ENGINE = MergeTree ORDER BY id;
+
+CREATE TABLE menu_page
+(
+    id UInt32,
+    menu_id UInt32,
+    page_number UInt16,
+    image_id String,
+    full_height UInt16,
+    full_width UInt16,
+    uuid UUID
+) ENGINE = MergeTree ORDER BY id;
+
+CREATE TABLE menu_item
+(
+    id UInt32,
+    menu_page_id UInt32,
+    price Decimal64(3),
+    high_price Decimal64(3),
+    dish_id UInt32,
+    created_at DateTime,
+    updated_at DateTime,
+    xpos Float64,
+    ypos Float64
+) ENGINE = MergeTree ORDER BY id;
+```
+
+We use `Decimal` data type to store prices. Everything else is quite straightforward.
+
+## Import Data
+
+Upload data into ClickHouse in parallel:
+
+```
+clickhouse-client --format_csv_allow_single_quotes 0 --input_format_null_as_default 0 --query "INSERT INTO dish FORMAT CSVWithNames" < Dish.csv
+clickhouse-client --format_csv_allow_single_quotes 0 --input_format_null_as_default 0 --query "INSERT INTO menu FORMAT CSVWithNames" < Menu.csv
+clickhouse-client --format_csv_allow_single_quotes 0 --input_format_null_as_default 0 --query "INSERT INTO menu_page FORMAT CSVWithNames" < MenuPage.csv
+clickhouse-client --format_csv_allow_single_quotes 0 --input_format_null_as_default 0 --date_time_input_format best_effort --query "INSERT INTO menu_item FORMAT CSVWithNames" < MenuItem.csv
+```
+
+We use `CSVWithNames` format as the data is represented by CSV with header.
+
+We disable `format_csv_allow_single_quotes` as only double quotes are used for data fields and single quotes can be inside the values and should not confuse the CSV parser.
+
+We disable `input_format_null_as_default` as our data does not have NULLs. Otherwise ClickHouse will try to parse `\N` sequences and can be confused with `\` in data.
+
+The setting `--date_time_input_format best_effort` allows to parse `DateTime` fields in wide variety of formats. For example, ISO-8601 without seconds like '2000-01-01 01:02' will be recognized. Without this setting only fixed DateTime format is allowed.
+
+## Denormalize the Data
+
+Data is presented in multiple tables in normalized form. It means you have to perform JOINs if you want to query, e.g. dish names from menu items.
+For typical analytical tasks it is way more efficient to deal with pre-JOINed data to avoid doing JOIN every time. It is called "denormalized" data.
+
+We will create a table that will contain all the data JOINed together:
+
+```
+CREATE TABLE menu_item_denorm
+ENGINE = MergeTree ORDER BY (dish_name, created_at)
+AS SELECT
+    price,
+    high_price,
+    created_at,
+    updated_at,
+    xpos,
+    ypos,
+    dish.id AS dish_id,
+    dish.name AS dish_name,
+    dish.description AS dish_description,
+    dish.menus_appeared AS dish_menus_appeared,
+    dish.times_appeared AS dish_times_appeared,
+    dish.first_appeared AS dish_first_appeared,
+    dish.last_appeared AS dish_last_appeared,
+    dish.lowest_price AS dish_lowest_price,
+    dish.highest_price AS dish_highest_price,
+    menu.id AS menu_id,
+    menu.name AS menu_name,
+    menu.sponsor AS menu_sponsor,
+    menu.event AS menu_event,
+    menu.venue AS menu_venue,
+    menu.place AS menu_place,
+    menu.physical_description AS menu_physical_description,
+    menu.occasion AS menu_occasion,
+    menu.notes AS menu_notes,
+    menu.call_number AS menu_call_number,
+    menu.keywords AS menu_keywords,
+    menu.language AS menu_language,
+    menu.date AS menu_date,
+    menu.location AS menu_location,
+    menu.location_type AS menu_location_type,
+    menu.currency AS menu_currency,
+    menu.currency_symbol AS menu_currency_symbol,
+    menu.status AS menu_status,
+    menu.page_count AS menu_page_count,
+    menu.dish_count AS menu_dish_count
+FROM menu_item
+    JOIN dish ON menu_item.dish_id = dish.id
+    JOIN menu_page ON menu_item.menu_page_id = menu_page.id
+    JOIN menu ON menu_page.menu_id = menu.id
+```
+
+## Validate the Data
+
+```
+SELECT count() FROM menu_item_denorm
+1329175
+```
+
+## Run Some Queries
+
+Averaged historical prices of dishes:
+
+```
+SELECT
+    round(toUInt32OrZero(extract(menu_date, '^\\d{4}')), -1) AS d,
+    count(),
+    round(avg(price), 2),
+    bar(avg(price), 0, 100, 100)
+FROM menu_item_denorm
+WHERE (menu_currency = 'Dollars') AND (d > 0) AND (d < 2022)
+GROUP BY d
+ORDER BY d ASC
+
+┌────d─┬─count()─┬─round(avg(price), 2)─┬─bar(avg(price), 0, 100, 100)─┐
+│ 1850 │     618 │                  1.5 │ █▍                           │
+│ 1860 │    1634 │                 1.29 │ █▎                           │
+│ 1870 │    2215 │                 1.36 │ █▎                           │
+│ 1880 │    3909 │                 1.01 │ █                            │
+│ 1890 │    8837 │                  1.4 │ █▍                           │
+│ 1900 │  176292 │                 0.68 │ ▋                            │
+│ 1910 │  212196 │                 0.88 │ ▊                            │
+│ 1920 │  179590 │                 0.74 │ ▋                            │
+│ 1930 │   73707 │                  0.6 │ ▌                            │
+│ 1940 │   58795 │                 0.57 │ ▌                            │
+│ 1950 │   41407 │                 0.95 │ ▊                            │
+│ 1960 │   51179 │                 1.32 │ █▎                           │
+│ 1970 │   12914 │                 1.86 │ █▋                           │
+│ 1980 │    7268 │                 4.35 │ ████▎                        │
+│ 1990 │   11055 │                 6.03 │ ██████                       │
+│ 2000 │    2467 │                11.85 │ ███████████▋                 │
+│ 2010 │     597 │                25.66 │ █████████████████████████▋   │
+└──────┴─────────┴──────────────────────┴──────────────────────────────┘
+
+17 rows in set. Elapsed: 0.044 sec. Processed 1.33 million rows, 54.62 MB (30.00 million rows/s., 1.23 GB/s.)
+```
+
+Take it with a grain of salt.
+
+### Burger Prices:
+
+```
+SELECT
+    round(toUInt32OrZero(extract(menu_date, '^\\d{4}')), -1) AS d,
+    count(),
+    round(avg(price), 2),
+    bar(avg(price), 0, 50, 100)
+FROM menu_item_denorm
+WHERE (menu_currency = 'Dollars') AND (d > 0) AND (d < 2022) AND (dish_name ILIKE '%burger%')
+GROUP BY d
+ORDER BY d ASC
+
+┌────d─┬─count()─┬─round(avg(price), 2)─┬─bar(avg(price), 0, 50, 100)───────────┐
+│ 1880 │       2 │                 0.42 │ ▋                                     │
+│ 1890 │       7 │                 0.85 │ █▋                                    │
+│ 1900 │     399 │                 0.49 │ ▊                                     │
+│ 1910 │     589 │                 0.68 │ █▎                                    │
+│ 1920 │     280 │                 0.56 │ █                                     │
+│ 1930 │      74 │                 0.42 │ ▋                                     │
+│ 1940 │     119 │                 0.59 │ █▏                                    │
+│ 1950 │     134 │                 1.09 │ ██▏                                   │
+│ 1960 │     272 │                 0.92 │ █▋                                    │
+│ 1970 │     108 │                 1.18 │ ██▎                                   │
+│ 1980 │      88 │                 2.82 │ █████▋                                │
+│ 1990 │     184 │                 3.68 │ ███████▎                              │
+│ 2000 │      21 │                 7.14 │ ██████████████▎                       │
+│ 2010 │       6 │                18.42 │ ████████████████████████████████████▋ │
+└──────┴─────────┴──────────────────────┴───────────────────────────────────────┘
+
+14 rows in set. Elapsed: 0.052 sec. Processed 1.33 million rows, 94.15 MB (25.48 million rows/s., 1.80 GB/s.)
+```
+
+### Vodka:
+
+```
+SELECT
+    round(toUInt32OrZero(extract(menu_date, '^\\d{4}')), -1) AS d,
+    count(),
+    round(avg(price), 2),
+    bar(avg(price), 0, 50, 100)
+FROM menu_item_denorm
+WHERE (menu_currency IN ('Dollars', '')) AND (d > 0) AND (d < 2022) AND (dish_name ILIKE '%vodka%')
+GROUP BY d
+ORDER BY d ASC
+
+┌────d─┬─count()─┬─round(avg(price), 2)─┬─bar(avg(price), 0, 50, 100)─┐
+│ 1910 │       2 │                    0 │                             │
+│ 1920 │       1 │                  0.3 │ ▌                           │
+│ 1940 │      21 │                 0.42 │ ▋                           │
+│ 1950 │      14 │                 0.59 │ █▏                          │
+│ 1960 │     113 │                 2.17 │ ████▎                       │
+│ 1970 │      37 │                 0.68 │ █▎                          │
+│ 1980 │      19 │                 2.55 │ █████                       │
+│ 1990 │      86 │                  3.6 │ ███████▏                    │
+│ 2000 │       2 │                 3.98 │ ███████▊                    │
+└──────┴─────────┴──────────────────────┴─────────────────────────────┘
+```
+
+To get vodka we have to write `ILIKE '%vodka%'` and this definitely makes a statement.
+
+### Caviar:
+
+Let's print caviar prices. Also let's print a name of any dish with caviar.
+
+```
+SELECT
+    round(toUInt32OrZero(extract(menu_date, '^\\d{4}')), -1) AS d,
+    count(),
+    round(avg(price), 2),
+    bar(avg(price), 0, 50, 100),
+    any(dish_name)
+FROM menu_item_denorm
+WHERE (menu_currency IN ('Dollars', '')) AND (d > 0) AND (d < 2022) AND (dish_name ILIKE '%caviar%')
+GROUP BY d
+ORDER BY d ASC
+
+┌────d─┬─count()─┬─round(avg(price), 2)─┬─bar(avg(price), 0, 50, 100)──────┬─any(dish_name)──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
+│ 1090 │       1 │                    0 │                                  │ Caviar                                                                                                                              │
+│ 1880 │       3 │                    0 │                                  │ Caviar                                                                                                                              │
+│ 1890 │      39 │                 0.59 │ █▏                               │ Butter and caviar                                                                                                                   │
+│ 1900 │    1014 │                 0.34 │ ▋                                │ Anchovy Caviar on Toast                                                                                                             │
+│ 1910 │    1588 │                 1.35 │ ██▋                              │ 1/1 Brötchen Caviar                                                                                                                 │
+│ 1920 │     927 │                 1.37 │ ██▋                              │ ASTRAKAN CAVIAR                                                                                                                     │
+│ 1930 │     289 │                 1.91 │ ███▋                             │ Astrachan caviar                                                                                                                    │
+│ 1940 │     201 │                 0.83 │ █▋                               │ (SPECIAL) Domestic Caviar Sandwich                                                                                                  │
+│ 1950 │      81 │                 2.27 │ ████▌                            │ Beluga Caviar                                                                                                                       │
+│ 1960 │     126 │                 2.21 │ ████▍                            │ Beluga Caviar                                                                                                                       │
+│ 1970 │     105 │                 0.95 │ █▊                               │ BELUGA MALOSSOL CAVIAR AMERICAN DRESSING                                                                                            │
+│ 1980 │      12 │                 7.22 │ ██████████████▍                  │ Authentic Iranian Beluga Caviar the world's finest black caviar presented in ice garni and a sampling of chilled 100° Russian vodka │
+│ 1990 │      74 │                14.42 │ ████████████████████████████▋    │ Avocado Salad, Fresh cut avocado with caviare                                                                                       │
+│ 2000 │       3 │                 7.82 │ ███████████████▋                 │ Aufgeschlagenes Kartoffelsueppchen mit Forellencaviar                                                                               │
+│ 2010 │       6 │                15.58 │ ███████████████████████████████▏ │ "OYSTERS AND PEARLS" "Sabayon" of Pearl Tapioca with Island Creek Oysters and Russian Sevruga Caviar                                │
+└──────┴─────────┴──────────────────────┴──────────────────────────────────┴─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┘
+```
+
+At least they have caviar with vodka. Very nice.
+
+### Test it in Playground
+
+The data is uploaded to ClickHouse Playground, [example](https://gh-api.clickhouse.tech/play?user=play#U0VMRUNUCiAgICByb3VuZCh0b1VJbnQzMk9yWmVybyhleHRyYWN0KG1lbnVfZGF0ZSwgJ15cXGR7NH0nKSksIC0xKSBBUyBkLAogICAgY291bnQoKSwKICAgIHJvdW5kKGF2ZyhwcmljZSksIDIpLAogICAgYmFyKGF2ZyhwcmljZSksIDAsIDUwLCAxMDApLAogICAgYW55KGRpc2hfbmFtZSkKRlJPTSBtZW51X2l0ZW1fZGVub3JtCldIRVJFIChtZW51X2N1cnJlbmN5IElOICgnRG9sbGFycycsICcnKSkgQU5EIChkID4gMCkgQU5EIChkIDwgMjAyMikgQU5EIChkaXNoX25hbWUgSUxJS0UgJyVjYXZpYXIlJykKR1JPVVAgQlkgZApPUkRFUiBCWSBkIEFTQw==).

docs/en/getting-started/example-datasets/opensky.md

@@ -0,0 +1,384 @@
+---
+toc_priority: 20
+toc_title: OpenSky
+---
+
+# Crowdsourced air traffic data from The OpenSky Network 2020
+
+"The data in this dataset is derived and cleaned from the full OpenSky dataset to illustrate the development of air traffic during the COVID-19 pandemic. It spans all flights seen by the network's more than 2500 members since 1 January 2019. More data will be periodically included in the dataset until the end of the COVID-19 pandemic".
+
+Source: https://zenodo.org/record/5092942#.YRBCyTpRXYd
+
+Martin Strohmeier, Xavier Olive, Jannis Lübbe, Matthias Schäfer, and Vincent Lenders
+"Crowdsourced air traffic data from the OpenSky Network 2019–2020"
+Earth System Science Data 13(2), 2021
+https://doi.org/10.5194/essd-13-357-2021
+
+## Download the Dataset
+
+```
+wget -O- https://zenodo.org/record/5092942 | grep -oP 'https://zenodo.org/record/5092942/files/flightlist_\d+_\d+\.csv\.gz' | xargs wget
+```
+
+Download will take about 2 minutes with good internet connection. There are 30 files with total size of 4.3 GB.
+
+## Create the Table
+
+```
+CREATE TABLE opensky
+(
+    callsign String,
+    number String,
+    icao24 String,
+    registration String,
+    typecode String,
+    origin String,
+    destination String,
+    firstseen DateTime,
+    lastseen DateTime,
+    day DateTime,
+    latitude_1 Float64,
+    longitude_1 Float64,
+    altitude_1 Float64,
+    latitude_2 Float64,
+    longitude_2 Float64,
+    altitude_2 Float64
+) ENGINE = MergeTree ORDER BY (origin, destination, callsign);
+```
+
+## Import Data
+
+Upload data into ClickHouse in parallel:
+
+```
+ls -1 flightlist_*.csv.gz | xargs -P100 -I{} bash -c '
+    gzip -c -d "{}" | clickhouse-client --date_time_input_format best_effort --query "INSERT INTO opensky FORMAT CSVWithNames"'
+```
+
+Here we pass the list of files (`ls -1 flightlist_*.csv.gz`) to `xargs` for parallel processing.
+`xargs -P100` specifies to use up to 100 parallel workers but as we only have 30 files, the number of workers will be only 30.
+
+For every file, `xargs` will run a script with `bash -c`. The script has substitution in form of `{}` and the `xargs` command will substitute the filename to it (we have asked it for xargs with `-I{}`).
+
+The script will decompress the file (`gzip -c -d "{}"`) to standard output (`-c` parameter) and the output is redirected to `clickhouse-client`.
+
+Finally, `clickhouse-client` will do insertion. It will read input data in `CSVWithNames` format. We also asked to parse DateTime fields with extended parser (`--date_time_input_format best_effort`) to recognize ISO-8601 format with timezone offsets.
+
+Parallel upload takes 24 seconds.
+
+If you don't like parallel upload, here is sequential variant:
+```
+for file in flightlist_*.csv.gz; do gzip -c -d "$file" | clickhouse-client --date_time_input_format best_effort --query "INSERT INTO opensky FORMAT CSVWithNames"; done
+```
+
+## Validate the Data
+
+```
+SELECT count() FROM opensky
+66010819
+```
+
+The size of dataset in ClickHouse is just 2.64 GiB:
+
+```
+SELECT formatReadableSize(total_bytes) FROM system.tables WHERE name = 'opensky'
+2.64 GiB
+```
+
+## Run Some Queries
+
+Total distance travelled is 68 billion kilometers:
+
+```
+SELECT formatReadableQuantity(sum(geoDistance(longitude_1, latitude_1, longitude_2, latitude_2)) / 1000) FROM opensky
+
+┌─formatReadableQuantity(divide(sum(geoDistance(longitude_1, latitude_1, longitude_2, latitude_2)), 1000))─┐
+│ 68.72 billion                                                                                            │
+└──────────────────────────────────────────────────────────────────────────────────────────────────────────┘
+```
+
+Average flight distance is around 1000 km.
+```
+SELECT avg(geoDistance(longitude_1, latitude_1, longitude_2, latitude_2)) FROM opensky
+
+┌─avg(geoDistance(longitude_1, latitude_1, longitude_2, latitude_2))─┐
+│                                                 1041090.6465708319 │
+└────────────────────────────────────────────────────────────────────┘
+```
+
+### Most busy origin airports and the average distance seen:
+
+```
+SELECT
+    origin,
+    count(),
+    round(avg(geoDistance(longitude_1, latitude_1, longitude_2, latitude_2))) AS distance,
+    bar(distance, 0, 10000000, 100) AS bar
+FROM opensky
+WHERE origin != ''
+GROUP BY origin
+ORDER BY count() DESC
+LIMIT 100
+
+Query id: f9010ea5-97d0-45a3-a5bd-9657906cd105
+
+     ┌─origin─┬─count()─┬─distance─┬─bar────────────────────────────────────┐
+  1. │ KORD   │  745007 │  1546108 │ ███████████████▍                       │
+  2. │ KDFW   │  696702 │  1358721 │ █████████████▌                         │
+  3. │ KATL   │  667286 │  1169661 │ ███████████▋                           │
+  4. │ KDEN   │  582709 │  1287742 │ ████████████▊                          │
+  5. │ KLAX   │  581952 │  2628393 │ ██████████████████████████▎            │
+  6. │ KLAS   │  447789 │  1336967 │ █████████████▎                         │
+  7. │ KPHX   │  428558 │  1345635 │ █████████████▍                         │
+  8. │ KSEA   │  412592 │  1757317 │ █████████████████▌                     │
+  9. │ KCLT   │  404612 │   880355 │ ████████▋                              │
+ 10. │ VIDP   │  363074 │  1445052 │ ██████████████▍                        │
+ 11. │ EDDF   │  362643 │  2263960 │ ██████████████████████▋                │
+ 12. │ KSFO   │  361869 │  2445732 │ ████████████████████████▍              │
+ 13. │ KJFK   │  349232 │  2996550 │ █████████████████████████████▊         │
+ 14. │ KMSP   │  346010 │  1287328 │ ████████████▋                          │
+ 15. │ LFPG   │  344748 │  2206203 │ ██████████████████████                 │
+ 16. │ EGLL   │  341370 │  3216593 │ ████████████████████████████████▏      │
+ 17. │ EHAM   │  340272 │  2116425 │ █████████████████████▏                 │
+ 18. │ KEWR   │  337696 │  1826545 │ ██████████████████▎                    │
+ 19. │ KPHL   │  320762 │  1291761 │ ████████████▊                          │
+ 20. │ OMDB   │  308855 │  2855706 │ ████████████████████████████▌          │
+ 21. │ UUEE   │  307098 │  1555122 │ ███████████████▌                       │
+ 22. │ KBOS   │  304416 │  1621675 │ ████████████████▏                      │
+ 23. │ LEMD   │  291787 │  1695097 │ ████████████████▊                      │
+ 24. │ YSSY   │  272979 │  1875298 │ ██████████████████▋                    │
+ 25. │ KMIA   │  265121 │  1923542 │ ███████████████████▏                   │
+ 26. │ ZGSZ   │  263497 │   745086 │ ███████▍                               │
+ 27. │ EDDM   │  256691 │  1361453 │ █████████████▌                         │
+ 28. │ WMKK   │  254264 │  1626688 │ ████████████████▎                      │
+ 29. │ CYYZ   │  251192 │  2175026 │ █████████████████████▋                 │
+ 30. │ KLGA   │  248699 │  1106935 │ ███████████                            │
+ 31. │ VHHH   │  248473 │  3457658 │ ██████████████████████████████████▌    │
+ 32. │ RJTT   │  243477 │  1272744 │ ████████████▋                          │
+ 33. │ KBWI   │  241440 │  1187060 │ ███████████▋                           │
+ 34. │ KIAD   │  239558 │  1683485 │ ████████████████▋                      │
+ 35. │ KIAH   │  234202 │  1538335 │ ███████████████▍                       │
+ 36. │ KFLL   │  223447 │  1464410 │ ██████████████▋                        │
+ 37. │ KDAL   │  212055 │  1082339 │ ██████████▋                            │
+ 38. │ KDCA   │  207883 │  1013359 │ ██████████▏                            │
+ 39. │ LIRF   │  207047 │  1427965 │ ██████████████▎                        │
+ 40. │ PANC   │  206007 │  2525359 │ █████████████████████████▎             │
+ 41. │ LTFJ   │  205415 │   860470 │ ████████▌                              │
+ 42. │ KDTW   │  204020 │  1106716 │ ███████████                            │
+ 43. │ VABB   │  201679 │  1300865 │ █████████████                          │
+ 44. │ OTHH   │  200797 │  3759544 │ █████████████████████████████████████▌ │
+ 45. │ KMDW   │  200796 │  1232551 │ ████████████▎                          │
+ 46. │ KSAN   │  198003 │  1495195 │ ██████████████▊                        │
+ 47. │ KPDX   │  197760 │  1269230 │ ████████████▋                          │
+ 48. │ SBGR   │  197624 │  2041697 │ ████████████████████▍                  │
+ 49. │ VOBL   │  189011 │  1040180 │ ██████████▍                            │
+ 50. │ LEBL   │  188956 │  1283190 │ ████████████▋                          │
+ 51. │ YBBN   │  188011 │  1253405 │ ████████████▌                          │
+ 52. │ LSZH   │  187934 │  1572029 │ ███████████████▋                       │
+ 53. │ YMML   │  187643 │  1870076 │ ██████████████████▋                    │
+ 54. │ RCTP   │  184466 │  2773976 │ ███████████████████████████▋           │
+ 55. │ KSNA   │  180045 │   778484 │ ███████▋                               │
+ 56. │ EGKK   │  176420 │  1694770 │ ████████████████▊                      │
+ 57. │ LOWW   │  176191 │  1274833 │ ████████████▋                          │
+ 58. │ UUDD   │  176099 │  1368226 │ █████████████▋                         │
+ 59. │ RKSI   │  173466 │  3079026 │ ██████████████████████████████▋        │
+ 60. │ EKCH   │  172128 │  1229895 │ ████████████▎                          │
+ 61. │ KOAK   │  171119 │  1114447 │ ███████████▏                           │
+ 62. │ RPLL   │  170122 │  1440735 │ ██████████████▍                        │
+ 63. │ KRDU   │  167001 │   830521 │ ████████▎                              │
+ 64. │ KAUS   │  164524 │  1256198 │ ████████████▌                          │
+ 65. │ KBNA   │  163242 │  1022726 │ ██████████▏                            │
+ 66. │ KSDF   │  162655 │  1380867 │ █████████████▋                         │
+ 67. │ ENGM   │  160732 │   910108 │ █████████                              │
+ 68. │ LIMC   │  160696 │  1564620 │ ███████████████▋                       │
+ 69. │ KSJC   │  159278 │  1081125 │ ██████████▋                            │
+ 70. │ KSTL   │  157984 │  1026699 │ ██████████▎                            │
+ 71. │ UUWW   │  156811 │  1261155 │ ████████████▌                          │
+ 72. │ KIND   │  153929 │   987944 │ █████████▊                             │
+ 73. │ ESSA   │  153390 │  1203439 │ ████████████                           │
+ 74. │ KMCO   │  153351 │  1508657 │ ███████████████                        │
+ 75. │ KDVT   │  152895 │    74048 │ ▋                                      │
+ 76. │ VTBS   │  152645 │  2255591 │ ██████████████████████▌                │
+ 77. │ CYVR   │  149574 │  2027413 │ ████████████████████▎                  │
+ 78. │ EIDW   │  148723 │  1503985 │ ███████████████                        │
+ 79. │ LFPO   │  143277 │  1152964 │ ███████████▌                           │
+ 80. │ EGSS   │  140830 │  1348183 │ █████████████▍                         │
+ 81. │ KAPA   │  140776 │   420441 │ ████▏                                  │
+ 82. │ KHOU   │  138985 │  1068806 │ ██████████▋                            │
+ 83. │ KTPA   │  138033 │  1338223 │ █████████████▍                         │
+ 84. │ KFFZ   │  137333 │    55397 │ ▌                                      │
+ 85. │ NZAA   │  136092 │  1581264 │ ███████████████▋                       │
+ 86. │ YPPH   │  133916 │  1271550 │ ████████████▋                          │
+ 87. │ RJBB   │  133522 │  1805623 │ ██████████████████                     │
+ 88. │ EDDL   │  133018 │  1265919 │ ████████████▋                          │
+ 89. │ ULLI   │  130501 │  1197108 │ ███████████▊                           │
+ 90. │ KIWA   │  127195 │   250876 │ ██▌                                    │
+ 91. │ KTEB   │  126969 │  1189414 │ ███████████▊                           │
+ 92. │ VOMM   │  125616 │  1127757 │ ███████████▎                           │
+ 93. │ LSGG   │  123998 │  1049101 │ ██████████▍                            │
+ 94. │ LPPT   │  122733 │  1779187 │ █████████████████▋                     │
+ 95. │ WSSS   │  120493 │  3264122 │ ████████████████████████████████▋      │
+ 96. │ EBBR   │  118539 │  1579939 │ ███████████████▋                       │
+ 97. │ VTBD   │  118107 │   661627 │ ██████▌                                │
+ 98. │ KVNY   │  116326 │   692960 │ ██████▊                                │
+ 99. │ EDDT   │  115122 │   941740 │ █████████▍                             │
+100. │ EFHK   │  114860 │  1629143 │ ████████████████▎                      │
+     └────────┴─────────┴──────────┴────────────────────────────────────────┘
+
+100 rows in set. Elapsed: 0.186 sec. Processed 48.31 million rows, 2.17 GB (259.27 million rows/s., 11.67 GB/s.)
+```
+
+### Number of flights from three major Moscow airports, weekly:
+
+```
+SELECT
+    toMonday(day) AS k,
+    count() AS c,
+    bar(c, 0, 10000, 100) AS bar
+FROM opensky
+WHERE origin IN ('UUEE', 'UUDD', 'UUWW')
+GROUP BY k
+ORDER BY k ASC
+
+Query id: 1b446157-9519-4cc4-a1cb-178dfcc15a8e
+
+     ┌──────────k─┬────c─┬─bar──────────────────────────────────────────────────────────────────────────┐
+  1. │ 2018-12-31 │ 5248 │ ████████████████████████████████████████████████████▍                        │
+  2. │ 2019-01-07 │ 6302 │ ███████████████████████████████████████████████████████████████              │
+  3. │ 2019-01-14 │ 5701 │ █████████████████████████████████████████████████████████                    │
+  4. │ 2019-01-21 │ 5638 │ ████████████████████████████████████████████████████████▍                    │
+  5. │ 2019-01-28 │ 5731 │ █████████████████████████████████████████████████████████▎                   │
+  6. │ 2019-02-04 │ 5683 │ ████████████████████████████████████████████████████████▋                    │
+  7. │ 2019-02-11 │ 5759 │ █████████████████████████████████████████████████████████▌                   │
+  8. │ 2019-02-18 │ 5736 │ █████████████████████████████████████████████████████████▎                   │
+  9. │ 2019-02-25 │ 5873 │ ██████████████████████████████████████████████████████████▋                  │
+ 10. │ 2019-03-04 │ 5965 │ ███████████████████████████████████████████████████████████▋                 │
+ 11. │ 2019-03-11 │ 5900 │ ███████████████████████████████████████████████████████████                  │
+ 12. │ 2019-03-18 │ 5823 │ ██████████████████████████████████████████████████████████▏                  │
+ 13. │ 2019-03-25 │ 5899 │ ██████████████████████████████████████████████████████████▊                  │
+ 14. │ 2019-04-01 │ 6043 │ ████████████████████████████████████████████████████████████▍                │
+ 15. │ 2019-04-08 │ 6098 │ ████████████████████████████████████████████████████████████▊                │
+ 16. │ 2019-04-15 │ 6196 │ █████████████████████████████████████████████████████████████▊               │
+ 17. │ 2019-04-22 │ 6486 │ ████████████████████████████████████████████████████████████████▋            │
+ 18. │ 2019-04-29 │ 6682 │ ██████████████████████████████████████████████████████████████████▋          │
+ 19. │ 2019-05-06 │ 6739 │ ███████████████████████████████████████████████████████████████████▍         │
+ 20. │ 2019-05-13 │ 6600 │ ██████████████████████████████████████████████████████████████████           │
+ 21. │ 2019-05-20 │ 6575 │ █████████████████████████████████████████████████████████████████▋           │
+ 22. │ 2019-05-27 │ 6786 │ ███████████████████████████████████████████████████████████████████▋         │
+ 23. │ 2019-06-03 │ 6872 │ ████████████████████████████████████████████████████████████████████▋        │
+ 24. │ 2019-06-10 │ 7045 │ ██████████████████████████████████████████████████████████████████████▍      │
+ 25. │ 2019-06-17 │ 7045 │ ██████████████████████████████████████████████████████████████████████▍      │
+ 26. │ 2019-06-24 │ 6852 │ ████████████████████████████████████████████████████████████████████▌        │
+ 27. │ 2019-07-01 │ 7248 │ ████████████████████████████████████████████████████████████████████████▍    │
+ 28. │ 2019-07-08 │ 7284 │ ████████████████████████████████████████████████████████████████████████▋    │
+ 29. │ 2019-07-15 │ 7142 │ ███████████████████████████████████████████████████████████████████████▍     │
+ 30. │ 2019-07-22 │ 7108 │ ███████████████████████████████████████████████████████████████████████      │
+ 31. │ 2019-07-29 │ 7251 │ ████████████████████████████████████████████████████████████████████████▌    │
+ 32. │ 2019-08-05 │ 7403 │ ██████████████████████████████████████████████████████████████████████████   │
+ 33. │ 2019-08-12 │ 7457 │ ██████████████████████████████████████████████████████████████████████████▌  │
+ 34. │ 2019-08-19 │ 7502 │ ███████████████████████████████████████████████████████████████████████████  │
+ 35. │ 2019-08-26 │ 7540 │ ███████████████████████████████████████████████████████████████████████████▍ │
+ 36. │ 2019-09-02 │ 7237 │ ████████████████████████████████████████████████████████████████████████▎    │
+ 37. │ 2019-09-09 │ 7328 │ █████████████████████████████████████████████████████████████████████████▎   │
+ 38. │ 2019-09-16 │ 5566 │ ███████████████████████████████████████████████████████▋                     │
+ 39. │ 2019-09-23 │ 7049 │ ██████████████████████████████████████████████████████████████████████▍      │
+ 40. │ 2019-09-30 │ 6880 │ ████████████████████████████████████████████████████████████████████▋        │
+ 41. │ 2019-10-07 │ 6518 │ █████████████████████████████████████████████████████████████████▏           │
+ 42. │ 2019-10-14 │ 6688 │ ██████████████████████████████████████████████████████████████████▊          │
+ 43. │ 2019-10-21 │ 6667 │ ██████████████████████████████████████████████████████████████████▋          │
+ 44. │ 2019-10-28 │ 6303 │ ███████████████████████████████████████████████████████████████              │
+ 45. │ 2019-11-04 │ 6298 │ ██████████████████████████████████████████████████████████████▊              │
+ 46. │ 2019-11-11 │ 6137 │ █████████████████████████████████████████████████████████████▎               │
+ 47. │ 2019-11-18 │ 6051 │ ████████████████████████████████████████████████████████████▌                │
+ 48. │ 2019-11-25 │ 5820 │ ██████████████████████████████████████████████████████████▏                  │
+ 49. │ 2019-12-02 │ 5942 │ ███████████████████████████████████████████████████████████▍                 │
+ 50. │ 2019-12-09 │ 4891 │ ████████████████████████████████████████████████▊                            │
+ 51. │ 2019-12-16 │ 5682 │ ████████████████████████████████████████████████████████▋                    │
+ 52. │ 2019-12-23 │ 6111 │ █████████████████████████████████████████████████████████████                │
+ 53. │ 2019-12-30 │ 5870 │ ██████████████████████████████████████████████████████████▋                  │
+ 54. │ 2020-01-06 │ 5953 │ ███████████████████████████████████████████████████████████▌                 │
+ 55. │ 2020-01-13 │ 5698 │ ████████████████████████████████████████████████████████▊                    │
+ 56. │ 2020-01-20 │ 5339 │ █████████████████████████████████████████████████████▍                       │
+ 57. │ 2020-01-27 │ 5566 │ ███████████████████████████████████████████████████████▋                     │
+ 58. │ 2020-02-03 │ 5801 │ ██████████████████████████████████████████████████████████                   │
+ 59. │ 2020-02-10 │ 5692 │ ████████████████████████████████████████████████████████▊                    │
+ 60. │ 2020-02-17 │ 5912 │ ███████████████████████████████████████████████████████████                  │
+ 61. │ 2020-02-24 │ 6031 │ ████████████████████████████████████████████████████████████▎                │
+ 62. │ 2020-03-02 │ 6105 │ █████████████████████████████████████████████████████████████                │
+ 63. │ 2020-03-09 │ 5823 │ ██████████████████████████████████████████████████████████▏                  │
+ 64. │ 2020-03-16 │ 4659 │ ██████████████████████████████████████████████▌                              │
+ 65. │ 2020-03-23 │ 3720 │ █████████████████████████████████████▏                                       │
+ 66. │ 2020-03-30 │ 1720 │ █████████████████▏                                                           │
+ 67. │ 2020-04-06 │  849 │ ████████▍                                                                    │
+ 68. │ 2020-04-13 │  710 │ ███████                                                                      │
+ 69. │ 2020-04-20 │  725 │ ███████▏                                                                     │
+ 70. │ 2020-04-27 │  920 │ █████████▏                                                                   │
+ 71. │ 2020-05-04 │  859 │ ████████▌                                                                    │
+ 72. │ 2020-05-11 │ 1047 │ ██████████▍                                                                  │
+ 73. │ 2020-05-18 │ 1135 │ ███████████▎                                                                 │
+ 74. │ 2020-05-25 │ 1266 │ ████████████▋                                                                │
+ 75. │ 2020-06-01 │ 1793 │ █████████████████▊                                                           │
+ 76. │ 2020-06-08 │ 1979 │ ███████████████████▋                                                         │
+ 77. │ 2020-06-15 │ 2297 │ ██████████████████████▊                                                      │
+ 78. │ 2020-06-22 │ 2788 │ ███████████████████████████▊                                                 │
+ 79. │ 2020-06-29 │ 3389 │ █████████████████████████████████▊                                           │
+ 80. │ 2020-07-06 │ 3545 │ ███████████████████████████████████▍                                         │
+ 81. │ 2020-07-13 │ 3569 │ ███████████████████████████████████▋                                         │
+ 82. │ 2020-07-20 │ 3784 │ █████████████████████████████████████▋                                       │
+ 83. │ 2020-07-27 │ 3960 │ ███████████████████████████████████████▌                                     │
+ 84. │ 2020-08-03 │ 4323 │ ███████████████████████████████████████████▏                                 │
+ 85. │ 2020-08-10 │ 4581 │ █████████████████████████████████████████████▋                               │
+ 86. │ 2020-08-17 │ 4791 │ ███████████████████████████████████████████████▊                             │
+ 87. │ 2020-08-24 │ 4928 │ █████████████████████████████████████████████████▎                           │
+ 88. │ 2020-08-31 │ 4687 │ ██████████████████████████████████████████████▋                              │
+ 89. │ 2020-09-07 │ 4643 │ ██████████████████████████████████████████████▍                              │
+ 90. │ 2020-09-14 │ 4594 │ █████████████████████████████████████████████▊                               │
+ 91. │ 2020-09-21 │ 4478 │ ████████████████████████████████████████████▋                                │
+ 92. │ 2020-09-28 │ 4382 │ ███████████████████████████████████████████▋                                 │
+ 93. │ 2020-10-05 │ 4261 │ ██████████████████████████████████████████▌                                  │
+ 94. │ 2020-10-12 │ 4243 │ ██████████████████████████████████████████▍                                  │
+ 95. │ 2020-10-19 │ 3941 │ ███████████████████████████████████████▍                                     │
+ 96. │ 2020-10-26 │ 3616 │ ████████████████████████████████████▏                                        │
+ 97. │ 2020-11-02 │ 3586 │ ███████████████████████████████████▋                                         │
+ 98. │ 2020-11-09 │ 3403 │ ██████████████████████████████████                                           │
+ 99. │ 2020-11-16 │ 3336 │ █████████████████████████████████▎                                           │
+100. │ 2020-11-23 │ 3230 │ ████████████████████████████████▎                                            │
+101. │ 2020-11-30 │ 3183 │ ███████████████████████████████▋                                             │
+102. │ 2020-12-07 │ 3285 │ ████████████████████████████████▋                                            │
+103. │ 2020-12-14 │ 3367 │ █████████████████████████████████▋                                           │
+104. │ 2020-12-21 │ 3748 │ █████████████████████████████████████▍                                       │
+105. │ 2020-12-28 │ 3986 │ ███████████████████████████████████████▋                                     │
+106. │ 2021-01-04 │ 3906 │ ███████████████████████████████████████                                      │
+107. │ 2021-01-11 │ 3425 │ ██████████████████████████████████▎                                          │
+108. │ 2021-01-18 │ 3144 │ ███████████████████████████████▍                                             │
+109. │ 2021-01-25 │ 3115 │ ███████████████████████████████▏                                             │
+110. │ 2021-02-01 │ 3285 │ ████████████████████████████████▋                                            │
+111. │ 2021-02-08 │ 3321 │ █████████████████████████████████▏                                           │
+112. │ 2021-02-15 │ 3475 │ ██████████████████████████████████▋                                          │
+113. │ 2021-02-22 │ 3549 │ ███████████████████████████████████▍                                         │
+114. │ 2021-03-01 │ 3755 │ █████████████████████████████████████▌                                       │
+115. │ 2021-03-08 │ 3080 │ ██████████████████████████████▋                                              │
+116. │ 2021-03-15 │ 3789 │ █████████████████████████████████████▊                                       │
+117. │ 2021-03-22 │ 3804 │ ██████████████████████████████████████                                       │
+118. │ 2021-03-29 │ 4238 │ ██████████████████████████████████████████▍                                  │
+119. │ 2021-04-05 │ 4307 │ ███████████████████████████████████████████                                  │
+120. │ 2021-04-12 │ 4225 │ ██████████████████████████████████████████▎                                  │
+121. │ 2021-04-19 │ 4391 │ ███████████████████████████████████████████▊                                 │
+122. │ 2021-04-26 │ 4868 │ ████████████████████████████████████████████████▋                            │
+123. │ 2021-05-03 │ 4977 │ █████████████████████████████████████████████████▋                           │
+124. │ 2021-05-10 │ 5164 │ ███████████████████████████████████████████████████▋                         │
+125. │ 2021-05-17 │ 4986 │ █████████████████████████████████████████████████▋                           │
+126. │ 2021-05-24 │ 5024 │ ██████████████████████████████████████████████████▏                          │
+127. │ 2021-05-31 │ 4824 │ ████████████████████████████████████████████████▏                            │
+128. │ 2021-06-07 │ 5652 │ ████████████████████████████████████████████████████████▌                    │
+129. │ 2021-06-14 │ 5613 │ ████████████████████████████████████████████████████████▏                    │
+130. │ 2021-06-21 │ 6061 │ ████████████████████████████████████████████████████████████▌                │
+131. │ 2021-06-28 │ 2554 │ █████████████████████████▌                                                   │
+     └────────────┴──────┴──────────────────────────────────────────────────────────────────────────────┘
+
+131 rows in set. Elapsed: 0.014 sec. Processed 655.36 thousand rows, 11.14 MB (47.56 million rows/s., 808.48 MB/s.)
+```
+
+### Test it in Playground
+
+The data is uploaded to ClickHouse Playground, [example](https://gh-api.clickhouse.tech/play?user=play#U0VMRUNUCiAgICBvcmlnaW4sCiAgICBjb3VudCgpLAogICAgcm91bmQoYXZnKGdlb0Rpc3RhbmNlKGxvbmdpdHVkZV8xLCBsYXRpdHVkZV8xLCBsb25naXR1ZGVfMiwgbGF0aXR1ZGVfMikpKSBBUyBkaXN0YW5jZSwKICAgIGJhcihkaXN0YW5jZSwgMCwgMTAwMDAwMDAsIDEwMCkgQVMgYmFyCkZST00gb3BlbnNreQpXSEVSRSBvcmlnaW4gIT0gJycKR1JPVVAgQlkgb3JpZ2luCk9SREVSIEJZIGNvdW50KCkgREVTQwpMSU1JVCAxMDA=).

docs/en/getting-started/example-datasets/uk-price-paid.md

@@ -0,0 +1,581 @@
+---
+toc_priority: 20
+toc_title: UK Property Price Paid
+---
+
+# UK Property Price Paid
+
+The dataset contains data about prices paid for real-estate property in England and Wales. The data is available since year 1995.
+The size of the dataset in uncompressed form is about 4 GiB and it will take about 226 MiB in ClickHouse.
+
+Source: https://www.gov.uk/government/statistical-data-sets/price-paid-data-downloads
+Description of the fields: https://www.gov.uk/guidance/about-the-price-paid-data
+
+Contains HM Land Registry data © Crown copyright and database right 2021. This data is licensed under the Open Government Licence v3.0.
+
+## Download the Dataset
+
+```
+wget http://prod.publicdata.landregistry.gov.uk.s3-website-eu-west-1.amazonaws.com/pp-complete.csv
+```
+
+Download will take about 2 minutes with good internet connection.
+
+## Create the Table
+
+```
+CREATE TABLE uk_price_paid
+(
+    price UInt32,
+    date Date,
+    postcode1 LowCardinality(String),
+    postcode2 LowCardinality(String),
+    type Enum8('terraced' = 1, 'semi-detached' = 2, 'detached' = 3, 'flat' = 4, 'other' = 0),
+    is_new UInt8,
+    duration Enum8('freehold' = 1, 'leasehold' = 2, 'unknown' = 0),
+    addr1 String,
+    addr2 String,
+    street LowCardinality(String),
+    locality LowCardinality(String),
+    town LowCardinality(String),
+    district LowCardinality(String),
+    county LowCardinality(String),
+    category UInt8
+) ENGINE = MergeTree ORDER BY (postcode1, postcode2, addr1, addr2);
+```
+
+## Preprocess and Import Data
+
+We will use `clickhouse-local` tool for data preprocessing and `clickhouse-client` to upload it.
+
+In this example, we define the structure of source data from the CSV file and specify a query to preprocess the data with `clickhouse-local`.
+
+The preprocessing is:
+- splitting the postcode to two different columns `postcode1` and `postcode2` that is better for storage and queries;
+- coverting the `time` field to date as it only contains 00:00 time;
+- ignoring the `uuid` field because we don't need it for analysis;
+- transforming `type` and `duration` to more readable Enum fields with function `transform`;
+- transforming `is_new` and `category` fields from single-character string (`Y`/`N` and `A`/`B`) to UInt8 field with 0 and 1.
+
+Preprocessed data is piped directly to `clickhouse-client` to be inserted into ClickHouse table in streaming fashion.
+
+```
+clickhouse-local --input-format CSV --structure '
+    uuid String,
+    price UInt32,
+    time DateTime,
+    postcode String,
+    a String,
+    b String,
+    c String,
+    addr1 String,
+    addr2 String,
+    street String,
+    locality String,
+    town String,
+    district String,
+    county String,
+    d String,
+    e String
+' --query "
+    WITH splitByChar(' ', postcode) AS p
+    SELECT
+        price,
+        toDate(time) AS date,
+        p[1] AS postcode1,
+        p[2] AS postcode2,
+        transform(a, ['T', 'S', 'D', 'F', 'O'], ['terraced', 'semi-detached', 'detached', 'flat', 'other']) AS type,
+        b = 'Y' AS is_new,
+        transform(c, ['F', 'L', 'U'], ['freehold', 'leasehold', 'unknown']) AS duration,
+        addr1,
+        addr2,
+        street,
+        locality,
+        town,
+        district,
+        county,
+        d = 'B' AS category
+    FROM table" --date_time_input_format best_effort < pp-complete.csv | clickhouse-client --query "INSERT INTO uk_price_paid FORMAT TSV"
+```
+
+It will take about 40 seconds.
+
+## Validate the Data
+
+```
+SELECT count() FROM uk_price_paid
+26248711
+```
+
+The size of dataset in ClickHouse is just 226 MiB:
+
+```
+SELECT formatReadableSize(total_bytes) FROM system.tables WHERE name = 'uk_price_paid'
+226.40 MiB
+```
+
+## Run Some Queries
+
+### Average price per year:
+
+```
+SELECT toYear(date) AS year, round(avg(price)) AS price, bar(price, 0, 1000000, 80) FROM uk_price_paid GROUP BY year ORDER BY year
+
+┌─year─┬──price─┬─bar(round(avg(price)), 0, 1000000, 80)─┐
+│ 1995 │  67932 │ █████▍                                 │
+│ 1996 │  71505 │ █████▋                                 │
+│ 1997 │  78532 │ ██████▎                                │
+│ 1998 │  85435 │ ██████▋                                │
+│ 1999 │  96036 │ ███████▋                               │
+│ 2000 │ 107478 │ ████████▌                              │
+│ 2001 │ 118886 │ █████████▌                             │
+│ 2002 │ 137940 │ ███████████                            │
+│ 2003 │ 155888 │ ████████████▍                          │
+│ 2004 │ 178885 │ ██████████████▎                        │
+│ 2005 │ 189350 │ ███████████████▏                       │
+│ 2006 │ 203528 │ ████████████████▎                      │
+│ 2007 │ 219377 │ █████████████████▌                     │
+│ 2008 │ 217056 │ █████████████████▎                     │
+│ 2009 │ 213419 │ █████████████████                      │
+│ 2010 │ 236110 │ ██████████████████▊                    │
+│ 2011 │ 232804 │ ██████████████████▌                    │
+│ 2012 │ 238366 │ ███████████████████                    │
+│ 2013 │ 256931 │ ████████████████████▌                  │
+│ 2014 │ 279917 │ ██████████████████████▍                │
+│ 2015 │ 297264 │ ███████████████████████▋               │
+│ 2016 │ 313197 │ █████████████████████████              │
+│ 2017 │ 346070 │ ███████████████████████████▋           │
+│ 2018 │ 350117 │ ████████████████████████████           │
+│ 2019 │ 351010 │ ████████████████████████████           │
+│ 2020 │ 368974 │ █████████████████████████████▌         │
+│ 2021 │ 384351 │ ██████████████████████████████▋        │
+└──────┴────────┴────────────────────────────────────────┘
+
+27 rows in set. Elapsed: 0.027 sec. Processed 26.25 million rows, 157.49 MB (955.96 million rows/s., 5.74 GB/s.)
+```
+
+### Average price per year in London:
+
+```
+SELECT toYear(date) AS year, round(avg(price)) AS price, bar(price, 0, 2000000, 100) FROM uk_price_paid WHERE town = 'LONDON' GROUP BY year ORDER BY year
+
+┌─year─┬───price─┬─bar(round(avg(price)), 0, 2000000, 100)───────────────┐
+│ 1995 │  109112 │ █████▍                                                │
+│ 1996 │  118667 │ █████▊                                                │
+│ 1997 │  136518 │ ██████▋                                               │
+│ 1998 │  152983 │ ███████▋                                              │
+│ 1999 │  180633 │ █████████                                             │
+│ 2000 │  215830 │ ██████████▋                                           │
+│ 2001 │  232996 │ ███████████▋                                          │
+│ 2002 │  263672 │ █████████████▏                                        │
+│ 2003 │  278394 │ █████████████▊                                        │
+│ 2004 │  304665 │ ███████████████▏                                      │
+│ 2005 │  322875 │ ████████████████▏                                     │
+│ 2006 │  356192 │ █████████████████▋                                    │
+│ 2007 │  404055 │ ████████████████████▏                                 │
+│ 2008 │  420741 │ █████████████████████                                 │
+│ 2009 │  427754 │ █████████████████████▍                                │
+│ 2010 │  480306 │ ████████████████████████                              │
+│ 2011 │  496274 │ ████████████████████████▋                             │
+│ 2012 │  519441 │ █████████████████████████▊                            │
+│ 2013 │  616209 │ ██████████████████████████████▋                       │
+│ 2014 │  724144 │ ████████████████████████████████████▏                 │
+│ 2015 │  792112 │ ███████████████████████████████████████▌              │
+│ 2016 │  843568 │ ██████████████████████████████████████████▏           │
+│ 2017 │  982566 │ █████████████████████████████████████████████████▏    │
+│ 2018 │ 1016845 │ ██████████████████████████████████████████████████▋   │
+│ 2019 │ 1043277 │ ████████████████████████████████████████████████████▏ │
+│ 2020 │ 1003963 │ ██████████████████████████████████████████████████▏   │
+│ 2021 │  940794 │ ███████████████████████████████████████████████       │
+└──────┴─────────┴───────────────────────────────────────────────────────┘
+
+27 rows in set. Elapsed: 0.024 sec. Processed 26.25 million rows, 76.88 MB (1.08 billion rows/s., 3.15 GB/s.)
+```
+
+Something happened in 2013. I don't have a clue. Maybe you have a clue what happened in 2020?
+
+### The most expensive neighborhoods:
+
+```
+SELECT
+    town,
+    district,
+    count() AS c,
+    round(avg(price)) AS price,
+    bar(price, 0, 5000000, 100)
+FROM uk_price_paid
+WHERE date >= '2020-01-01'
+GROUP BY
+    town,
+    district
+HAVING c >= 100
+ORDER BY price DESC
+LIMIT 100
+
+┌─town─────────────────┬─district───────────────┬────c─┬───price─┬─bar(round(avg(price)), 0, 5000000, 100)────────────────────────────┐
+│ LONDON               │ CITY OF WESTMINSTER    │ 3372 │ 3305225 │ ██████████████████████████████████████████████████████████████████ │
+│ LONDON               │ CITY OF LONDON         │  257 │ 3294478 │ █████████████████████████████████████████████████████████████████▊ │
+│ LONDON               │ KENSINGTON AND CHELSEA │ 2367 │ 2342422 │ ██████████████████████████████████████████████▋                    │
+│ LEATHERHEAD          │ ELMBRIDGE              │  108 │ 1927143 │ ██████████████████████████████████████▌                            │
+│ VIRGINIA WATER       │ RUNNYMEDE              │  142 │ 1868819 │ █████████████████████████████████████▍                             │
+│ LONDON               │ CAMDEN                 │ 2815 │ 1736788 │ ██████████████████████████████████▋                                │
+│ THORNTON HEATH       │ CROYDON                │  521 │ 1733051 │ ██████████████████████████████████▋                                │
+│ WINDLESHAM           │ SURREY HEATH           │  103 │ 1717255 │ ██████████████████████████████████▎                                │
+│ BARNET               │ ENFIELD                │  115 │ 1503458 │ ██████████████████████████████                                     │
+│ OXFORD               │ SOUTH OXFORDSHIRE      │  298 │ 1275200 │ █████████████████████████▌                                         │
+│ LONDON               │ ISLINGTON              │ 2458 │ 1274308 │ █████████████████████████▍                                         │
+│ COBHAM               │ ELMBRIDGE              │  364 │ 1260005 │ █████████████████████████▏                                         │
+│ LONDON               │ HOUNSLOW               │  618 │ 1215682 │ ████████████████████████▎                                          │
+│ ASCOT                │ WINDSOR AND MAIDENHEAD │  379 │ 1215146 │ ████████████████████████▎                                          │
+│ LONDON               │ RICHMOND UPON THAMES   │  654 │ 1207551 │ ████████████████████████▏                                          │
+│ BEACONSFIELD         │ BUCKINGHAMSHIRE        │  307 │ 1186220 │ ███████████████████████▋                                           │
+│ RICHMOND             │ RICHMOND UPON THAMES   │  805 │ 1100420 │ ██████████████████████                                             │
+│ LONDON               │ HAMMERSMITH AND FULHAM │ 2888 │ 1062959 │ █████████████████████▎                                             │
+│ WEYBRIDGE            │ ELMBRIDGE              │  607 │ 1027161 │ ████████████████████▌                                              │
+│ RADLETT              │ HERTSMERE              │  265 │ 1015896 │ ████████████████████▎                                              │
+│ SALCOMBE             │ SOUTH HAMS             │  124 │ 1014393 │ ████████████████████▎                                              │
+│ BURFORD              │ WEST OXFORDSHIRE       │  102 │  993100 │ ███████████████████▋                                               │
+│ ESHER                │ ELMBRIDGE              │  454 │  969770 │ ███████████████████▍                                               │
+│ HINDHEAD             │ WAVERLEY               │  128 │  967786 │ ███████████████████▎                                               │
+│ BROCKENHURST         │ NEW FOREST             │  121 │  967046 │ ███████████████████▎                                               │
+│ LEATHERHEAD          │ GUILDFORD              │  191 │  964489 │ ███████████████████▎                                               │
+│ GERRARDS CROSS       │ BUCKINGHAMSHIRE        │  376 │  958555 │ ███████████████████▏                                               │
+│ EAST MOLESEY         │ ELMBRIDGE              │  181 │  943457 │ ██████████████████▋                                                │
+│ OLNEY                │ MILTON KEYNES          │  220 │  942892 │ ██████████████████▋                                                │
+│ CHALFONT ST GILES    │ BUCKINGHAMSHIRE        │  135 │  926950 │ ██████████████████▌                                                │
+│ HENLEY-ON-THAMES     │ SOUTH OXFORDSHIRE      │  509 │  905732 │ ██████████████████                                                 │
+│ KINGSTON UPON THAMES │ KINGSTON UPON THAMES   │  889 │  899689 │ █████████████████▊                                                 │
+│ BELVEDERE            │ BEXLEY                 │  313 │  895336 │ █████████████████▊                                                 │
+│ CRANBROOK            │ TUNBRIDGE WELLS        │  404 │  888190 │ █████████████████▋                                                 │
+│ LONDON               │ EALING                 │ 2460 │  865893 │ █████████████████▎                                                 │
+│ MAIDENHEAD           │ BUCKINGHAMSHIRE        │  114 │  863814 │ █████████████████▎                                                 │
+│ LONDON               │ MERTON                 │ 1958 │  857192 │ █████████████████▏                                                 │
+│ GUILDFORD            │ WAVERLEY               │  131 │  854447 │ █████████████████                                                  │
+│ LONDON               │ HACKNEY                │ 3088 │  846571 │ ████████████████▊                                                  │
+│ LYMM                 │ WARRINGTON             │  285 │  839920 │ ████████████████▋                                                  │
+│ HARPENDEN            │ ST ALBANS              │  606 │  836994 │ ████████████████▋                                                  │
+│ LONDON               │ WANDSWORTH             │ 6113 │  832292 │ ████████████████▋                                                  │
+│ LONDON               │ SOUTHWARK              │ 3612 │  831319 │ ████████████████▋                                                  │
+│ BERKHAMSTED          │ DACORUM                │  502 │  830356 │ ████████████████▌                                                  │
+│ KINGS LANGLEY        │ DACORUM                │  137 │  821358 │ ████████████████▍                                                  │
+│ TONBRIDGE            │ TUNBRIDGE WELLS        │  339 │  806736 │ ████████████████▏                                                  │
+│ EPSOM                │ REIGATE AND BANSTEAD   │  157 │  805903 │ ████████████████                                                   │
+│ WOKING               │ GUILDFORD              │  161 │  803283 │ ████████████████                                                   │
+│ STOCKBRIDGE          │ TEST VALLEY            │  168 │  801973 │ ████████████████                                                   │
+│ TEDDINGTON           │ RICHMOND UPON THAMES   │  539 │  798591 │ ███████████████▊                                                   │
+│ OXFORD               │ VALE OF WHITE HORSE    │  329 │  792907 │ ███████████████▋                                                   │
+│ LONDON               │ BARNET                 │ 3624 │  789583 │ ███████████████▋                                                   │
+│ TWICKENHAM           │ RICHMOND UPON THAMES   │ 1090 │  787760 │ ███████████████▋                                                   │
+│ LUTON                │ CENTRAL BEDFORDSHIRE   │  196 │  786051 │ ███████████████▋                                                   │
+│ TONBRIDGE            │ MAIDSTONE              │  277 │  785746 │ ███████████████▋                                                   │
+│ TOWCESTER            │ WEST NORTHAMPTONSHIRE  │  186 │  783532 │ ███████████████▋                                                   │
+│ LONDON               │ LAMBETH                │ 4832 │  783422 │ ███████████████▋                                                   │
+│ LUTTERWORTH          │ HARBOROUGH             │  515 │  781775 │ ███████████████▋                                                   │
+│ WOODSTOCK            │ WEST OXFORDSHIRE       │  135 │  777499 │ ███████████████▌                                                   │
+│ ALRESFORD            │ WINCHESTER             │  196 │  775577 │ ███████████████▌                                                   │
+│ LONDON               │ NEWHAM                 │ 2942 │  768551 │ ███████████████▎                                                   │
+│ ALDERLEY EDGE        │ CHESHIRE EAST          │  168 │  768280 │ ███████████████▎                                                   │
+│ MARLOW               │ BUCKINGHAMSHIRE        │  301 │  762784 │ ███████████████▎                                                   │
+│ BILLINGSHURST        │ CHICHESTER             │  134 │  760920 │ ███████████████▏                                                   │
+│ LONDON               │ TOWER HAMLETS          │ 4183 │  759635 │ ███████████████▏                                                   │
+│ MIDHURST             │ CHICHESTER             │  245 │  759101 │ ███████████████▏                                                   │
+│ THAMES DITTON        │ ELMBRIDGE              │  227 │  753347 │ ███████████████                                                    │
+│ POTTERS BAR          │ WELWYN HATFIELD        │  163 │  752926 │ ███████████████                                                    │
+│ REIGATE              │ REIGATE AND BANSTEAD   │  555 │  740961 │ ██████████████▋                                                    │
+│ TADWORTH             │ REIGATE AND BANSTEAD   │  477 │  738997 │ ██████████████▋                                                    │
+│ SEVENOAKS            │ SEVENOAKS              │ 1074 │  734658 │ ██████████████▋                                                    │
+│ PETWORTH             │ CHICHESTER             │  138 │  732432 │ ██████████████▋                                                    │
+│ BOURNE END           │ BUCKINGHAMSHIRE        │  127 │  730742 │ ██████████████▌                                                    │
+│ PURLEY               │ CROYDON                │  540 │  727721 │ ██████████████▌                                                    │
+│ OXTED                │ TANDRIDGE              │  320 │  726078 │ ██████████████▌                                                    │
+│ LONDON               │ HARINGEY               │ 2988 │  724573 │ ██████████████▍                                                    │
+│ BANSTEAD             │ REIGATE AND BANSTEAD   │  373 │  713834 │ ██████████████▎                                                    │
+│ PINNER               │ HARROW                 │  480 │  712166 │ ██████████████▏                                                    │
+│ MALMESBURY           │ WILTSHIRE              │  293 │  707747 │ ██████████████▏                                                    │
+│ RICKMANSWORTH        │ THREE RIVERS           │  732 │  705400 │ ██████████████                                                     │
+│ SLOUGH               │ BUCKINGHAMSHIRE        │  359 │  705002 │ ██████████████                                                     │
+│ GREAT MISSENDEN      │ BUCKINGHAMSHIRE        │  214 │  704904 │ ██████████████                                                     │
+│ READING              │ SOUTH OXFORDSHIRE      │  295 │  701697 │ ██████████████                                                     │
+│ HYTHE                │ FOLKESTONE AND HYTHE   │  457 │  700334 │ ██████████████                                                     │
+│ WELWYN               │ WELWYN HATFIELD        │  217 │  699649 │ █████████████▊                                                     │
+│ CHIGWELL             │ EPPING FOREST          │  242 │  697869 │ █████████████▊                                                     │
+│ BARNET               │ BARNET                 │  906 │  695680 │ █████████████▊                                                     │
+│ HASLEMERE            │ CHICHESTER             │  120 │  694028 │ █████████████▊                                                     │
+│ LEATHERHEAD          │ MOLE VALLEY            │  748 │  692026 │ █████████████▋                                                     │
+│ LONDON               │ BRENT                  │ 1945 │  690799 │ █████████████▋                                                     │
+│ HASLEMERE            │ WAVERLEY               │  258 │  690765 │ █████████████▋                                                     │
+│ NORTHWOOD            │ HILLINGDON             │  252 │  690753 │ █████████████▋                                                     │
+│ WALTON-ON-THAMES     │ ELMBRIDGE              │  871 │  689431 │ █████████████▋                                                     │
+│ INGATESTONE          │ BRENTWOOD              │  150 │  688345 │ █████████████▋                                                     │
+│ OXFORD               │ OXFORD                 │ 1761 │  686114 │ █████████████▋                                                     │
+│ CHISLEHURST          │ BROMLEY                │  410 │  682892 │ █████████████▋                                                     │
+│ KINGS LANGLEY        │ THREE RIVERS           │  109 │  682320 │ █████████████▋                                                     │
+│ ASHTEAD              │ MOLE VALLEY            │  280 │  680483 │ █████████████▌                                                     │
+│ WOKING               │ SURREY HEATH           │  269 │  679035 │ █████████████▌                                                     │
+│ ASCOT                │ BRACKNELL FOREST       │  160 │  678632 │ █████████████▌                                                     │
+└──────────────────────┴────────────────────────┴──────┴─────────┴────────────────────────────────────────────────────────────────────┘
+
+100 rows in set. Elapsed: 0.039 sec. Processed 26.25 million rows, 278.03 MB (674.32 million rows/s., 7.14 GB/s.)
+```
+
+### Test it in Playground
+
+The data is uploaded to ClickHouse Playground, [example](https://gh-api.clickhouse.tech/play?user=play#U0VMRUNUIHRvd24sIGRpc3RyaWN0LCBjb3VudCgpIEFTIGMsIHJvdW5kKGF2ZyhwcmljZSkpIEFTIHByaWNlLCBiYXIocHJpY2UsIDAsIDUwMDAwMDAsIDEwMCkgRlJPTSB1a19wcmljZV9wYWlkIFdIRVJFIGRhdGUgPj0gJzIwMjAtMDEtMDEnIEdST1VQIEJZIHRvd24sIGRpc3RyaWN0IEhBVklORyBjID49IDEwMCBPUkRFUiBCWSBwcmljZSBERVNDIExJTUlUIDEwMA==).
+
+## Let's speed up queries using projections
+
+[Projections](https://../../sql-reference/statements/alter/projection/) allow to improve queries speed by storing pre-aggregated data.
+
+### Build a projection 
+
+```
+-- create an aggregate projection by dimensions (toYear(date), district, town)
+
+ALTER TABLE uk_price_paid
+    ADD PROJECTION projection_by_year_district_town
+    (
+        SELECT
+            toYear(date),
+            district,
+            town,
+            avg(price),
+            sum(price),
+            count()
+        GROUP BY
+            toYear(date),
+            district,
+            town
+    );
+
+-- populate the projection for existing data (without it projection will be 
+--  created for only newly inserted data)
+
+ALTER TABLE uk_price_paid
+    MATERIALIZE PROJECTION projection_by_year_district_town
+SETTINGS mutations_sync = 1;
+```
+
+## Test performance
+
+Let's run the same 3 queries.
+
+```
+-- enable projections for selects
+set allow_experimental_projection_optimization=1;
+
+-- Q1) Average price per year:
+
+SELECT
+    toYear(date) AS year,
+    round(avg(price)) AS price,
+    bar(price, 0, 1000000, 80)
+FROM uk_price_paid
+GROUP BY year
+ORDER BY year ASC;
+
+┌─year─┬──price─┬─bar(round(avg(price)), 0, 1000000, 80)─┐
+│ 1995 │  67932 │ █████▍                                 │
+│ 1996 │  71505 │ █████▋                                 │
+│ 1997 │  78532 │ ██████▎                                │
+│ 1998 │  85435 │ ██████▋                                │
+│ 1999 │  96036 │ ███████▋                               │
+│ 2000 │ 107478 │ ████████▌                              │
+│ 2001 │ 118886 │ █████████▌                             │
+│ 2002 │ 137940 │ ███████████                            │
+│ 2003 │ 155888 │ ████████████▍                          │
+│ 2004 │ 178885 │ ██████████████▎                        │
+│ 2005 │ 189350 │ ███████████████▏                       │
+│ 2006 │ 203528 │ ████████████████▎                      │
+│ 2007 │ 219377 │ █████████████████▌                     │
+│ 2008 │ 217056 │ █████████████████▎                     │
+│ 2009 │ 213419 │ █████████████████                      │
+│ 2010 │ 236110 │ ██████████████████▊                    │
+│ 2011 │ 232804 │ ██████████████████▌                    │
+│ 2012 │ 238366 │ ███████████████████                    │
+│ 2013 │ 256931 │ ████████████████████▌                  │
+│ 2014 │ 279917 │ ██████████████████████▍                │
+│ 2015 │ 297264 │ ███████████████████████▋               │
+│ 2016 │ 313197 │ █████████████████████████              │
+│ 2017 │ 346070 │ ███████████████████████████▋           │
+│ 2018 │ 350117 │ ████████████████████████████           │
+│ 2019 │ 351010 │ ████████████████████████████           │
+│ 2020 │ 368974 │ █████████████████████████████▌         │
+│ 2021 │ 384351 │ ██████████████████████████████▋        │
+└──────┴────────┴────────────────────────────────────────┘
+
+27 rows in set. Elapsed: 0.003 sec. Processed 106.87 thousand rows, 3.21 MB (31.92 million rows/s., 959.03 MB/s.)
+
+-- Q2) Average price per year in London:
+
+SELECT
+    toYear(date) AS year,
+    round(avg(price)) AS price,
+    bar(price, 0, 2000000, 100)
+FROM uk_price_paid
+WHERE town = 'LONDON'
+GROUP BY year
+ORDER BY year ASC;
+
+┌─year─┬───price─┬─bar(round(avg(price)), 0, 2000000, 100)───────────────┐
+│ 1995 │  109112 │ █████▍                                                │
+│ 1996 │  118667 │ █████▊                                                │
+│ 1997 │  136518 │ ██████▋                                               │
+│ 1998 │  152983 │ ███████▋                                              │
+│ 1999 │  180633 │ █████████                                             │
+│ 2000 │  215830 │ ██████████▋                                           │
+│ 2001 │  232996 │ ███████████▋                                          │
+│ 2002 │  263672 │ █████████████▏                                        │
+│ 2003 │  278394 │ █████████████▊                                        │
+│ 2004 │  304665 │ ███████████████▏                                      │
+│ 2005 │  322875 │ ████████████████▏                                     │
+│ 2006 │  356192 │ █████████████████▋                                    │
+│ 2007 │  404055 │ ████████████████████▏                                 │
+│ 2008 │  420741 │ █████████████████████                                 │
+│ 2009 │  427754 │ █████████████████████▍                                │
+│ 2010 │  480306 │ ████████████████████████                              │
+│ 2011 │  496274 │ ████████████████████████▋                             │
+│ 2012 │  519441 │ █████████████████████████▊                            │
+│ 2013 │  616209 │ ██████████████████████████████▋                       │
+│ 2014 │  724144 │ ████████████████████████████████████▏                 │
+│ 2015 │  792112 │ ███████████████████████████████████████▌              │
+│ 2016 │  843568 │ ██████████████████████████████████████████▏           │
+│ 2017 │  982566 │ █████████████████████████████████████████████████▏    │
+│ 2018 │ 1016845 │ ██████████████████████████████████████████████████▋   │
+│ 2019 │ 1043277 │ ████████████████████████████████████████████████████▏ │
+│ 2020 │ 1003963 │ ██████████████████████████████████████████████████▏   │
+│ 2021 │  940794 │ ███████████████████████████████████████████████       │
+└──────┴─────────┴───────────────────────────────────────────────────────┘
+
+27 rows in set. Elapsed: 0.005 sec. Processed 106.87 thousand rows, 3.53 MB (23.49 million rows/s., 775.95 MB/s.)
+
+-- Q3) The most expensive neighborhoods:
+-- the condition (date >= '2020-01-01') needs to be modified to match projection dimension (toYear(date) >= 2020)
+
+SELECT
+    town,
+    district,
+    count() AS c,
+    round(avg(price)) AS price,
+    bar(price, 0, 5000000, 100)
+FROM uk_price_paid
+WHERE toYear(date) >= 2020
+GROUP BY
+    town,
+    district
+HAVING c >= 100
+ORDER BY price DESC
+LIMIT 100
+
+┌─town─────────────────┬─district───────────────┬────c─┬───price─┬─bar(round(avg(price)), 0, 5000000, 100)────────────────────────────┐
+│ LONDON               │ CITY OF WESTMINSTER    │ 3372 │ 3305225 │ ██████████████████████████████████████████████████████████████████ │
+│ LONDON               │ CITY OF LONDON         │  257 │ 3294478 │ █████████████████████████████████████████████████████████████████▊ │
+│ LONDON               │ KENSINGTON AND CHELSEA │ 2367 │ 2342422 │ ██████████████████████████████████████████████▋                    │
+│ LEATHERHEAD          │ ELMBRIDGE              │  108 │ 1927143 │ ██████████████████████████████████████▌                            │
+│ VIRGINIA WATER       │ RUNNYMEDE              │  142 │ 1868819 │ █████████████████████████████████████▍                             │
+│ LONDON               │ CAMDEN                 │ 2815 │ 1736788 │ ██████████████████████████████████▋                                │
+│ THORNTON HEATH       │ CROYDON                │  521 │ 1733051 │ ██████████████████████████████████▋                                │
+│ WINDLESHAM           │ SURREY HEATH           │  103 │ 1717255 │ ██████████████████████████████████▎                                │
+│ BARNET               │ ENFIELD                │  115 │ 1503458 │ ██████████████████████████████                                     │
+│ OXFORD               │ SOUTH OXFORDSHIRE      │  298 │ 1275200 │ █████████████████████████▌                                         │
+│ LONDON               │ ISLINGTON              │ 2458 │ 1274308 │ █████████████████████████▍                                         │
+│ COBHAM               │ ELMBRIDGE              │  364 │ 1260005 │ █████████████████████████▏                                         │
+│ LONDON               │ HOUNSLOW               │  618 │ 1215682 │ ████████████████████████▎                                          │
+│ ASCOT                │ WINDSOR AND MAIDENHEAD │  379 │ 1215146 │ ████████████████████████▎                                          │
+│ LONDON               │ RICHMOND UPON THAMES   │  654 │ 1207551 │ ████████████████████████▏                                          │
+│ BEACONSFIELD         │ BUCKINGHAMSHIRE        │  307 │ 1186220 │ ███████████████████████▋                                           │
+│ RICHMOND             │ RICHMOND UPON THAMES   │  805 │ 1100420 │ ██████████████████████                                             │
+│ LONDON               │ HAMMERSMITH AND FULHAM │ 2888 │ 1062959 │ █████████████████████▎                                             │
+│ WEYBRIDGE            │ ELMBRIDGE              │  607 │ 1027161 │ ████████████████████▌                                              │
+│ RADLETT              │ HERTSMERE              │  265 │ 1015896 │ ████████████████████▎                                              │
+│ SALCOMBE             │ SOUTH HAMS             │  124 │ 1014393 │ ████████████████████▎                                              │
+│ BURFORD              │ WEST OXFORDSHIRE       │  102 │  993100 │ ███████████████████▋                                               │
+│ ESHER                │ ELMBRIDGE              │  454 │  969770 │ ███████████████████▍                                               │
+│ HINDHEAD             │ WAVERLEY               │  128 │  967786 │ ███████████████████▎                                               │
+│ BROCKENHURST         │ NEW FOREST             │  121 │  967046 │ ███████████████████▎                                               │
+│ LEATHERHEAD          │ GUILDFORD              │  191 │  964489 │ ███████████████████▎                                               │
+│ GERRARDS CROSS       │ BUCKINGHAMSHIRE        │  376 │  958555 │ ███████████████████▏                                               │
+│ EAST MOLESEY         │ ELMBRIDGE              │  181 │  943457 │ ██████████████████▋                                                │
+│ OLNEY                │ MILTON KEYNES          │  220 │  942892 │ ██████████████████▋                                                │
+│ CHALFONT ST GILES    │ BUCKINGHAMSHIRE        │  135 │  926950 │ ██████████████████▌                                                │
+│ HENLEY-ON-THAMES     │ SOUTH OXFORDSHIRE      │  509 │  905732 │ ██████████████████                                                 │
+│ KINGSTON UPON THAMES │ KINGSTON UPON THAMES   │  889 │  899689 │ █████████████████▊                                                 │
+│ BELVEDERE            │ BEXLEY                 │  313 │  895336 │ █████████████████▊                                                 │
+│ CRANBROOK            │ TUNBRIDGE WELLS        │  404 │  888190 │ █████████████████▋                                                 │
+│ LONDON               │ EALING                 │ 2460 │  865893 │ █████████████████▎                                                 │
+│ MAIDENHEAD           │ BUCKINGHAMSHIRE        │  114 │  863814 │ █████████████████▎                                                 │
+│ LONDON               │ MERTON                 │ 1958 │  857192 │ █████████████████▏                                                 │
+│ GUILDFORD            │ WAVERLEY               │  131 │  854447 │ █████████████████                                                  │
+│ LONDON               │ HACKNEY                │ 3088 │  846571 │ ████████████████▊                                                  │
+│ LYMM                 │ WARRINGTON             │  285 │  839920 │ ████████████████▋                                                  │
+│ HARPENDEN            │ ST ALBANS              │  606 │  836994 │ ████████████████▋                                                  │
+│ LONDON               │ WANDSWORTH             │ 6113 │  832292 │ ████████████████▋                                                  │
+│ LONDON               │ SOUTHWARK              │ 3612 │  831319 │ ████████████████▋                                                  │
+│ BERKHAMSTED          │ DACORUM                │  502 │  830356 │ ████████████████▌                                                  │
+│ KINGS LANGLEY        │ DACORUM                │  137 │  821358 │ ████████████████▍                                                  │
+│ TONBRIDGE            │ TUNBRIDGE WELLS        │  339 │  806736 │ ████████████████▏                                                  │
+│ EPSOM                │ REIGATE AND BANSTEAD   │  157 │  805903 │ ████████████████                                                   │
+│ WOKING               │ GUILDFORD              │  161 │  803283 │ ████████████████                                                   │
+│ STOCKBRIDGE          │ TEST VALLEY            │  168 │  801973 │ ████████████████                                                   │
+│ TEDDINGTON           │ RICHMOND UPON THAMES   │  539 │  798591 │ ███████████████▊                                                   │
+│ OXFORD               │ VALE OF WHITE HORSE    │  329 │  792907 │ ███████████████▋                                                   │
+│ LONDON               │ BARNET                 │ 3624 │  789583 │ ███████████████▋                                                   │
+│ TWICKENHAM           │ RICHMOND UPON THAMES   │ 1090 │  787760 │ ███████████████▋                                                   │
+│ LUTON                │ CENTRAL BEDFORDSHIRE   │  196 │  786051 │ ███████████████▋                                                   │
+│ TONBRIDGE            │ MAIDSTONE              │  277 │  785746 │ ███████████████▋                                                   │
+│ TOWCESTER            │ WEST NORTHAMPTONSHIRE  │  186 │  783532 │ ███████████████▋                                                   │
+│ LONDON               │ LAMBETH                │ 4832 │  783422 │ ███████████████▋                                                   │
+│ LUTTERWORTH          │ HARBOROUGH             │  515 │  781775 │ ███████████████▋                                                   │
+│ WOODSTOCK            │ WEST OXFORDSHIRE       │  135 │  777499 │ ███████████████▌                                                   │
+│ ALRESFORD            │ WINCHESTER             │  196 │  775577 │ ███████████████▌                                                   │
+│ LONDON               │ NEWHAM                 │ 2942 │  768551 │ ███████████████▎                                                   │
+│ ALDERLEY EDGE        │ CHESHIRE EAST          │  168 │  768280 │ ███████████████▎                                                   │
+│ MARLOW               │ BUCKINGHAMSHIRE        │  301 │  762784 │ ███████████████▎                                                   │
+│ BILLINGSHURST        │ CHICHESTER             │  134 │  760920 │ ███████████████▏                                                   │
+│ LONDON               │ TOWER HAMLETS          │ 4183 │  759635 │ ███████████████▏                                                   │
+│ MIDHURST             │ CHICHESTER             │  245 │  759101 │ ███████████████▏                                                   │
+│ THAMES DITTON        │ ELMBRIDGE              │  227 │  753347 │ ███████████████                                                    │
+│ POTTERS BAR          │ WELWYN HATFIELD        │  163 │  752926 │ ███████████████                                                    │
+│ REIGATE              │ REIGATE AND BANSTEAD   │  555 │  740961 │ ██████████████▋                                                    │
+│ TADWORTH             │ REIGATE AND BANSTEAD   │  477 │  738997 │ ██████████████▋                                                    │
+│ SEVENOAKS            │ SEVENOAKS              │ 1074 │  734658 │ ██████████████▋                                                    │
+│ PETWORTH             │ CHICHESTER             │  138 │  732432 │ ██████████████▋                                                    │
+│ BOURNE END           │ BUCKINGHAMSHIRE        │  127 │  730742 │ ██████████████▌                                                    │
+│ PURLEY               │ CROYDON                │  540 │  727721 │ ██████████████▌                                                    │
+│ OXTED                │ TANDRIDGE              │  320 │  726078 │ ██████████████▌                                                    │
+│ LONDON               │ HARINGEY               │ 2988 │  724573 │ ██████████████▍                                                    │
+│ BANSTEAD             │ REIGATE AND BANSTEAD   │  373 │  713834 │ ██████████████▎                                                    │
+│ PINNER               │ HARROW                 │  480 │  712166 │ ██████████████▏                                                    │
+│ MALMESBURY           │ WILTSHIRE              │  293 │  707747 │ ██████████████▏                                                    │
+│ RICKMANSWORTH        │ THREE RIVERS           │  732 │  705400 │ ██████████████                                                     │
+│ SLOUGH               │ BUCKINGHAMSHIRE        │  359 │  705002 │ ██████████████                                                     │
+│ GREAT MISSENDEN      │ BUCKINGHAMSHIRE        │  214 │  704904 │ ██████████████                                                     │
+│ READING              │ SOUTH OXFORDSHIRE      │  295 │  701697 │ ██████████████                                                     │
+│ HYTHE                │ FOLKESTONE AND HYTHE   │  457 │  700334 │ ██████████████                                                     │
+│ WELWYN               │ WELWYN HATFIELD        │  217 │  699649 │ █████████████▊                                                     │
+│ CHIGWELL             │ EPPING FOREST          │  242 │  697869 │ █████████████▊                                                     │
+│ BARNET               │ BARNET                 │  906 │  695680 │ █████████████▊                                                     │
+│ HASLEMERE            │ CHICHESTER             │  120 │  694028 │ █████████████▊                                                     │
+│ LEATHERHEAD          │ MOLE VALLEY            │  748 │  692026 │ █████████████▋                                                     │
+│ LONDON               │ BRENT                  │ 1945 │  690799 │ █████████████▋                                                     │
+│ HASLEMERE            │ WAVERLEY               │  258 │  690765 │ █████████████▋                                                     │
+│ NORTHWOOD            │ HILLINGDON             │  252 │  690753 │ █████████████▋                                                     │
+│ WALTON-ON-THAMES     │ ELMBRIDGE              │  871 │  689431 │ █████████████▋                                                     │
+│ INGATESTONE          │ BRENTWOOD              │  150 │  688345 │ █████████████▋                                                     │
+│ OXFORD               │ OXFORD                 │ 1761 │  686114 │ █████████████▋                                                     │
+│ CHISLEHURST          │ BROMLEY                │  410 │  682892 │ █████████████▋                                                     │
+│ KINGS LANGLEY        │ THREE RIVERS           │  109 │  682320 │ █████████████▋                                                     │
+│ ASHTEAD              │ MOLE VALLEY            │  280 │  680483 │ █████████████▌                                                     │
+│ WOKING               │ SURREY HEATH           │  269 │  679035 │ █████████████▌                                                     │
+│ ASCOT                │ BRACKNELL FOREST       │  160 │  678632 │ █████████████▌                                                     │
+└──────────────────────┴────────────────────────┴──────┴─────────┴────────────────────────────────────────────────────────────────────┘
+
+100 rows in set. Elapsed: 0.005 sec. Processed 12.85 thousand rows, 813.40 KB (2.73 million rows/s., 172.95 MB/s.)
+```
+
+All 3 queries work much faster and read fewer rows.
+
+```
+Q1) 
+no projection: 27 rows in set. Elapsed: 0.027 sec. Processed 26.25 million rows, 157.49 MB (955.96 million rows/s., 5.74 GB/s.)
+   projection: 27 rows in set. Elapsed: 0.003 sec. Processed 106.87 thousand rows, 3.21 MB (31.92 million rows/s., 959.03 MB/s.)
+```

docs/en/operations/server-configuration-parameters/settings.md

@@ -69,6 +69,7 @@ If no conditions met for a data part, ClickHouse uses the `lz4` compression.
 </compression>
 ```
 
+<!--
 ## encryption {#server-settings-encryption}
 
 Configures a command to obtain a key to be used by [encryption codecs](../../sql-reference/statements/create/table.md#create-query-encryption-codecs). The command, or a shell script, is expected to write a Base64-encoded key of any length to the stdout.
@@ -90,7 +91,7 @@ For other systems:
     <key_command><![CDATA[IFS=; echo -n >/dev/tty "Enter the ClickHouse encryption passphrase: "; stty=`stty -F /dev/tty -g`; stty -F /dev/tty -echo; read k </dev/tty; stty -F /dev/tty "$stty"; echo -n $k | base64]]></key_command>
 </encryption>
 ```
-
+-->
 ## custom_settings_prefixes {#custom_settings_prefixes}
 
 List of prefixes for [custom settings](../../operations/settings/index.md#custom_settings). The prefixes must be separated with commas.
@@ -891,6 +892,33 @@ If the table does not exist, ClickHouse will create it. If the structure of the
 </query_thread_log>
 ```
 
+## query_views_log {#server_configuration_parameters-query_views_log}
+
+Setting for logging views dependant of queries received with the [log_query_views=1](../../operations/settings/settings.md#settings-log-query-views) setting.
+
+Queries are logged in the [system.query_views_log](../../operations/system-tables/query_thread_log.md#system_tables-query_views_log) table, not in a separate file. You can change the name of the table in the `table` parameter (see below).
+
+Use the following parameters to configure logging:
+
+-   `database` – Name of the database.
+-   `table` – Name of the system table the queries will be logged in.
+-   `partition_by` — [Custom partitioning key](../../engines/table-engines/mergetree-family/custom-partitioning-key.md) for a system table. Can't be used if `engine` defined.
+-   `engine` - [MergeTree Engine Definition](../../engines/table-engines/mergetree-family/mergetree.md#table_engine-mergetree-creating-a-table) for a system table. Can't be used if `partition_by` defined.
+-   `flush_interval_milliseconds` – Interval for flushing data from the buffer in memory to the table.
+
+If the table does not exist, ClickHouse will create it. If the structure of the query views log changed when the ClickHouse server was updated, the table with the old structure is renamed, and a new table is created automatically.
+
+**Example**
+
+``` xml
+<query_views_log>
+    <database>system</database>
+    <table>query_views_log</table>
+    <partition_by>toYYYYMM(event_date)</partition_by>
+    <flush_interval_milliseconds>7500</flush_interval_milliseconds>
+</query_views_log>
+```
+
 ## text_log {#server_configuration_parameters-text_log}
 
 Settings for the [text_log](../../operations/system-tables/text_log.md#system_tables-text_log) system table for logging text messages.

docs/en/operations/settings/settings.md

@@ -132,6 +132,21 @@ Enables or disables [fsync](http://pubs.opengroup.org/onlinepubs/9699919799/func
 
 It makes sense to disable it if the server has millions of tiny tables that are constantly being created and destroyed.
 
+## function_range_max_elements_in_block {#settings-function_range_max_elements_in_block}
+
+Sets the safety threshold for data volume generated by function [range](../../sql-reference/functions/array-functions.md#range). Defines the maximum number of values generated by function per block of data (sum of array sizes for every row in a block).
+
+Possible values:
+
+-   Positive integer.
+
+Default value: `500,000,000`.
+
+**See Also**
+
+-   [max_block_size](#setting-max_block_size)
+-   [min_insert_block_size_rows](#min-insert-block-size-rows)
+
 ## enable_http_compression {#settings-enable_http_compression}
 
 Enables or disables data compression in the response to an HTTP request.
@@ -768,6 +783,26 @@ Possible value:
 
 Default value: 2013265920.
 
+## merge_tree_clear_old_temporary_directories_interval_seconds {#setting-merge-tree-clear-old-temporary-directories-interval-seconds}
+
+The interval in seconds for ClickHouse to execute the cleanup old temporary directories.
+
+Possible value:
+
+-   Any positive integer.
+
+Default value: 60.
+
+## merge_tree_clear_old_parts_interval_seconds {#setting-merge-tree-clear-old-parts-interval-seconds}
+
+The interval in seconds for ClickHouse to execute the cleanup old parts, WALs, and mutations.
+
+Possible value:
+
+-   Any positive integer.
+
+Default value: 1.
+
 ## min_bytes_to_use_direct_io {#settings-min-bytes-to-use-direct-io}
 
 The minimum data volume required for using direct I/O access to the storage disk.
@@ -855,7 +890,7 @@ log_queries_min_type='EXCEPTION_WHILE_PROCESSING'
 
 Setting up query threads logging.
 
-Queries’ threads runned by ClickHouse with this setup are logged according to the rules in the [query_thread_log](../../operations/server-configuration-parameters/settings.md#server_configuration_parameters-query_thread_log) server configuration parameter.
+Queries’ threads run by ClickHouse with this setup are logged according to the rules in the [query_thread_log](../../operations/server-configuration-parameters/settings.md#server_configuration_parameters-query_thread_log) server configuration parameter.
 
 Example:
 
@@ -863,6 +898,19 @@ Example:
 log_query_threads=1
 ```
 
+## log_query_views {#settings-log-query-views}
+
+Setting up query views logging.
+
+When a query run by ClickHouse with this setup on has associated views (materialized or live views), they are logged in the [query_views_log](../../operations/server-configuration-parameters/settings.md#server_configuration_parameters-query_views_log) server configuration parameter.
+
+Example:
+
+``` text
+log_query_views=1
+```
+
+
 ## log_comment {#settings-log-comment}
 
 Specifies the value for the `log_comment` field of the [system.query_log](../system-tables/query_log.md) table and comment text for the server log.
@@ -3345,3 +3393,30 @@ Possible values:
 -   1 — The `LowCardinality` type is converted to the `DICTIONARY` type.
 
 Default value: `0`.
+
+## materialized_postgresql_max_block_size {#materialized-postgresql-max-block-size}
+
+Sets the number of rows collected in memory before flushing data into PostgreSQL database table.
+
+Possible values:
+
+-   Positive integer.
+
+Default value: `65536`.
+
+## materialized_postgresql_tables_list {#materialized-postgresql-tables-list}
+
+Sets a comma-separated list of PostgreSQL database tables, which will be replicated via [MaterializedPostgreSQL](../../engines/database-engines/materialized-postgresql.md) database engine.
+
+Default value: empty list — means whole PostgreSQL database will be replicated.
+
+## materialized_postgresql_allow_automatic_update {#materialized-postgresql-allow-automatic-update}
+
+Allow reloading table in the background, when schema changes are detected. DDL queries on the PostgreSQL side are not replicated via ClickHouse [MaterializedPostgreSQL](../../engines/database-engines/materialized-postgresql.md) engine, because it is not allowed with PostgreSQL logical replication protocol, but the fact of DDL changes is detected transactionally. In this case, the default behaviour is to stop replicating those tables once DDL is detected. However, if this setting is enabled, then, instead of stopping the replication of those tables, they will be reloaded in the background via database snapshot without data losses and replication will continue for them.
+
+Possible values:
+
+-   0 — The table is not automatically updated in the background, when schema changes are detected.
+-   1 — The table is automatically updated in the background, when schema changes are detected.
+
+Default value: `0`.

docs/en/operations/storing-data.md

@@ -0,0 +1,14 @@
+---
+toc_priority: 68
+toc_title: External Disks for Storing Data
+---
+
+# External Disks for Storing Data {#external-disks}
+
+Data, processed in ClickHouse, is usually stored in the local file system — on the same machine with the ClickHouse server. That requires large-capacity disks, which can be expensive enough. To avoid that you can store the data remotely — on [Amazon s3](https://aws.amazon.com/s3/) disks or in the Hadoop Distributed File System ([HDFS](https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html)). 
+
+To work with data stored on `Amazon s3` disks use [s3](../engines/table-engines/integrations/s3.md) table engine, and to work with data in the Hadoop Distributed File System — [HDFS](../engines/table-engines/integrations/hdfs.md) table engine. 
+
+## Zero-copy Replication {#zero-copy}
+
+ClickHouse supports zero-copy replication for `s3` and `HDFS` disks, which means that if the data is stored remotely on several machines and needs to be synchronized, then only the metadata is replicated (paths to the data parts), but not the data itself. 

docs/en/operations/system-tables/query_log.md

@@ -50,6 +50,7 @@ Columns:
 -   `query_kind` ([LowCardinality(String)](../../sql-reference/data-types/lowcardinality.md)) — Type of the query.
 -   `databases` ([Array](../../sql-reference/data-types/array.md)([LowCardinality(String)](../../sql-reference/data-types/lowcardinality.md))) — Names of the databases present in the query.
 -   `tables` ([Array](../../sql-reference/data-types/array.md)([LowCardinality(String)](../../sql-reference/data-types/lowcardinality.md))) — Names of the tables present in the query.
+-   `views` ([Array](../../sql-reference/data-types/array.md)([LowCardinality(String)](../../sql-reference/data-types/lowcardinality.md))) — Names of the (materialized or live) views present in the query.
 -   `columns` ([Array](../../sql-reference/data-types/array.md)([LowCardinality(String)](../../sql-reference/data-types/lowcardinality.md))) — Names of the columns present in the query.
 -   `projections` ([String](../../sql-reference/data-types/string.md)) — Names of the projections used during the query execution.
 -   `exception_code` ([Int32](../../sql-reference/data-types/int-uint.md)) — Code of an exception.
@@ -180,5 +181,6 @@ used_table_functions:                  []
 **See Also**
 
 -   [system.query_thread_log](../../operations/system-tables/query_thread_log.md#system_tables-query_thread_log) — This table contains information about each query execution thread.
+-   [system.query_views_log](../../operations/system-tables/query_views_log.md#system_tables-query_views_log) — This table contains information about each view executed during a query.
 
 [Original article](https://clickhouse.tech/docs/en/operations/system-tables/query_log) <!--hide-->

docs/en/operations/system-tables/query_thread_log.md

@@ -112,5 +112,6 @@ ProfileEvents:        {'Query':1,'SelectQuery':1,'ReadCompressedBytes':36,'Compr
 **See Also**
 
 -   [system.query_log](../../operations/system-tables/query_log.md#system_tables-query_log) — Description of the `query_log` system table which contains common information about queries execution.
+-   [system.query_views_log](../../operations/system-tables/query_views_log.md#system_tables-query_views_log) — This table contains information about each view executed during a query.
 
 [Original article](https://clickhouse.tech/docs/en/operations/system-tables/query_thread_log) <!--hide-->

docs/en/operations/system-tables/query_views_log.md

@@ -0,0 +1,81 @@
+# system.query_views_log {#system_tables-query_views_log}
+
+Contains information about the dependent views executed when running a query, for example, the view type or the execution time.
+
+To start logging:
+
+1.  Configure parameters in the [query_views_log](../../operations/server-configuration-parameters/settings.md#server_configuration_parameters-query_views_log) section.
+2.  Set [log_query_views](../../operations/settings/settings.md#settings-log-query-views) to 1.
+
+The flushing period of data is set in `flush_interval_milliseconds` parameter of the [query_views_log](../../operations/server-configuration-parameters/settings.md#server_configuration_parameters-query_views_log) server settings section. To force flushing, use the [SYSTEM FLUSH LOGS](../../sql-reference/statements/system.md#query_language-system-flush_logs) query.
+
+ClickHouse does not delete data from the table automatically. See [Introduction](../../operations/system-tables/index.md#system-tables-introduction) for more details.
+
+Columns:
+
+-   `event_date` ([Date](../../sql-reference/data-types/date.md)) — The date when the last event of the view happened.
+-   `event_time` ([DateTime](../../sql-reference/data-types/datetime.md)) — The date and time when the view finished execution.
+-   `event_time_microseconds` ([DateTime](../../sql-reference/data-types/datetime.md)) — The date and time when the view finished execution with microseconds precision.
+-   `view_duration_ms` ([UInt64](../../sql-reference/data-types/int-uint.md#uint-ranges)) — Duration of view execution (sum of its stages) in milliseconds.
+-   `initial_query_id` ([String](../../sql-reference/data-types/string.md)) — ID of the initial query (for distributed query execution).
+-   `view_name` ([String](../../sql-reference/data-types/string.md)) — Name of the view.
+-   `view_uuid` ([UUID](../../sql-reference/data-types/uuid.md)) — UUID of the view.
+-   `view_type` ([Enum8](../../sql-reference/data-types/enum.md)) — Type of the view. Values:
+    -   `'Default' = 1` — [Default views](../../sql-reference/statements/create/view.md#normal). Should not appear in this log.
+    -   `'Materialized' = 2` — [Materialized views](../../sql-reference/statements/create/view.md#materialized).
+    -   `'Live' = 3` — [Live views](../../sql-reference/statements/create/view.md#live-view).
+-   `view_query` ([String](../../sql-reference/data-types/string.md)) — The query executed by the view.
+-   `view_target` ([String](../../sql-reference/data-types/string.md)) — The name of the view target table.
+-   `read_rows` ([UInt64](../../sql-reference/data-types/int-uint.md#uint-ranges)) — Number of read rows.
+-   `read_bytes` ([UInt64](../../sql-reference/data-types/int-uint.md#uint-ranges)) — Number of read bytes.
+-   `written_rows` ([UInt64](../../sql-reference/data-types/int-uint.md#uint-ranges)) — Number of written rows.
+-   `written_bytes` ([UInt64](../../sql-reference/data-types/int-uint.md#uint-ranges)) — Number of written bytes.
+-   `peak_memory_usage` ([Int64](../../sql-reference/data-types/int-uint.md)) — The maximum difference between the amount of allocated and freed memory in context of this view.
+-   `ProfileEvents` ([Map(String, UInt64)](../../sql-reference/data-types/array.md)) — ProfileEvents that measure different metrics. The description of them could be found in the table [system.events](../../operations/system-tables/events.md#system_tables-events).
+-   `status` ([Enum8](../../sql-reference/data-types/enum.md)) — Status of the view. Values:
+    -   `'QueryStart' = 1` — Successful start the view execution. Should not appear.
+    -   `'QueryFinish' = 2` — Successful end of the view execution.
+    -   `'ExceptionBeforeStart' = 3` — Exception before the start of the view execution.
+    -   `'ExceptionWhileProcessing' = 4` — Exception during the view execution.
+-   `exception_code` ([Int32](../../sql-reference/data-types/int-uint.md)) — Code of an exception.
+-   `exception` ([String](../../sql-reference/data-types/string.md)) — Exception message.
+-   `stack_trace` ([String](../../sql-reference/data-types/string.md)) — [Stack trace](https://en.wikipedia.org/wiki/Stack_trace). An empty string, if the query was completed successfully.
+
+**Example**
+
+``` sql
+ SELECT * FROM system.query_views_log LIMIT 1 \G
+```
+
+``` text
+Row 1:
+──────
+event_date:              2021-06-22
+event_time:              2021-06-22 13:23:07
+event_time_microseconds: 2021-06-22 13:23:07.738221
+view_duration_ms:        0
+initial_query_id:        c3a1ac02-9cad-479b-af54-9e9c0a7afd70
+view_name:               default.matview_inner
+view_uuid:               00000000-0000-0000-0000-000000000000
+view_type:               Materialized
+view_query:              SELECT * FROM default.table_b
+view_target:             default.`.inner.matview_inner`
+read_rows:               4
+read_bytes:              64
+written_rows:            2
+written_bytes:           32
+peak_memory_usage:       4196188
+ProfileEvents:           {'FileOpen':2,'WriteBufferFromFileDescriptorWrite':2,'WriteBufferFromFileDescriptorWriteBytes':187,'IOBufferAllocs':3,'IOBufferAllocBytes':3145773,'FunctionExecute':3,'DiskWriteElapsedMicroseconds':13,'InsertedRows':2,'InsertedBytes':16,'SelectedRows':4,'SelectedBytes':48,'ContextLock':16,'RWLockAcquiredReadLocks':1,'RealTimeMicroseconds':698,'SoftPageFaults':4,'OSReadChars':463}
+status:                  QueryFinish
+exception_code:          0
+exception:
+stack_trace:
+```
+
+**See Also**
+
+-   [system.query_log](../../operations/system-tables/query_log.md#system_tables-query_log) — Description of the `query_log` system table which contains common information about queries execution.
+-   [system.query_thread_log](../../operations/system-tables/query_thread_log.md#system_tables-query_thread_log) — This table contains information about each query execution thread.
+
+
+[Original article](https://clickhouse.tech/docs/en/operations/system_tables/query_thread_log) <!--hide-->

docs/en/sql-reference/data-types/string.md

@@ -15,6 +15,6 @@ When creating tables, numeric parameters for string fields can be set (e.g. `VAR
 ClickHouse does not have the concept of encodings. Strings can contain an arbitrary set of bytes, which are stored and output as-is.
 If you need to store texts, we recommend using UTF-8 encoding. At the very least, if your terminal uses UTF-8 (as recommended), you can read and write your values without making conversions.
 Similarly, certain functions for working with strings have separate variations that work under the assumption that the string contains a set of bytes representing a UTF-8 encoded text.
-For example, the ‘length’ function calculates the string length in bytes, while the ‘lengthUTF8’ function calculates the string length in Unicode code points, assuming that the value is UTF-8 encoded.
+For example, the [length](../functions/string-functions.md#length) function calculates the string length in bytes, while the [lengthUTF8](../functions/string-functions.md#lengthutf8) function calculates the string length in Unicode code points, assuming that the value is UTF-8 encoded.
 
 [Original article](https://clickhouse.tech/docs/en/data_types/string/) <!--hide-->

docs/en/sql-reference/functions/array-functions.md

@@ -7,19 +7,89 @@ toc_title: Arrays
 
 ## empty {#function-empty}
 
-Returns 1 for an empty array, or 0 for a non-empty array.
+Checks whether the input array is empty.
-The result type is UInt8.
-The function also works for strings.
 
-Can be optimized by enabling the [optimize_functions_to_subcolumns](../../operations/settings/settings.md#optimize-functions-to-subcolumns) setting. With `optimize_functions_to_subcolumns = 1` the function reads only [size0](../../sql-reference/data-types/array.md#array-size) subcolumn instead of reading and processing the whole array column. The query `SELECT empty(arr) FROM table` transforms to `SELECT arr.size0 = 0 FROM TABLE`.
+**Syntax**
+
+``` sql
+empty([x])
+```
+
+An array is considered empty if it does not contain any elements.
+
+!!! note "Note"
+    Can be optimized by enabling the [optimize_functions_to_subcolumns](../../operations/settings/settings.md#optimize-functions-to-subcolumns) setting. With `optimize_functions_to_subcolumns = 1` the function reads only [size0](../../sql-reference/data-types/array.md#array-size) subcolumn instead of reading and processing the whole array column. The query `SELECT empty(arr) FROM TABLE;` transforms to `SELECT arr.size0 = 0 FROM TABLE;`.
+
+The function also works for [strings](string-functions.md#empty) or [UUID](uuid-functions.md#empty).
+
+**Arguments**
+
+-   `[x]` — Input array. [Array](../data-types/array.md).
+
+**Returned value**
+
+-   Returns `1` for an empty array or `0` for a non-empty array.
+
+Type: [UInt8](../data-types/int-uint.md).
+
+**Example**
+
+Query:
+
+```sql
+SELECT empty([]);
+```
+
+Result:
+
+```text
+┌─empty(array())─┐
+│              1 │
+└────────────────┘
+```
 
 ## notEmpty {#function-notempty}
 
-Returns 0 for an empty array, or 1 for a non-empty array.
+Checks whether the input array is non-empty.
-The result type is UInt8.
-The function also works for strings.
 
-Can be optimized by enabling the [optimize_functions_to_subcolumns](../../operations/settings/settings.md#optimize-functions-to-subcolumns) setting. With `optimize_functions_to_subcolumns = 1` the function reads only [size0](../../sql-reference/data-types/array.md#array-size) subcolumn instead of reading and processing the whole array column. The query `SELECT notEmpty(arr) FROM table` transforms to `SELECT arr.size0 != 0 FROM TABLE`.
+**Syntax**
+
+``` sql
+notEmpty([x])
+```
+
+An array is considered non-empty if it contains at least one element.
+
+!!! note "Note"
+    Can be optimized by enabling the [optimize_functions_to_subcolumns](../../operations/settings/settings.md#optimize-functions-to-subcolumns) setting. With `optimize_functions_to_subcolumns = 1` the function reads only [size0](../../sql-reference/data-types/array.md#array-size) subcolumn instead of reading and processing the whole array column. The query `SELECT notEmpty(arr) FROM table` transforms to `SELECT arr.size0 != 0 FROM TABLE`.
+
+The function also works for [strings](string-functions.md#notempty) or [UUID](uuid-functions.md#notempty).
+
+**Arguments**
+
+-   `[x]` — Input array. [Array](../data-types/array.md).
+
+**Returned value**
+
+-   Returns `1` for a non-empty array or `0` for an empty array.
+
+Type: [UInt8](../data-types/int-uint.md).
+
+**Example**
+
+Query:
+
+```sql
+SELECT notEmpty([1,2]);
+```
+
+Result:
+
+```text
+┌─notEmpty([1, 2])─┐
+│                1 │
+└──────────────────┘
+```
 
 ## length {#array_functions-length}
 
@@ -68,7 +138,7 @@ range([start, ] end [, step])
 **Implementation details**
 
 -   All arguments must be positive values: `start`, `end`, `step` are `UInt` data types, as well as elements of the returned array.
--   An exception is thrown if query results in arrays with a total length of more than 100,000,000 elements.
+-   An exception is thrown if query results in arrays with a total length of more than number of elements specified by the [function_range_max_elements_in_block](../../operations/settings/settings.md#settings-function_range_max_elements_in_block) setting.
 
 
 **Examples**

docs/en/sql-reference/functions/bitmap-functions.md

@@ -125,6 +125,44 @@ Result:
 └───────────────────────────┘
 ```
 
+## subBitmap {#subBitmap}
+
+Creates a subset of bitmap limit the results to `cardinality_limit` with offset of `offset`.
+
+**Syntax**
+
+``` sql
+subBitmap(bitmap, offset, cardinality_limit)
+```
+
+**Arguments**
+
+-   `bitmap` – [Bitmap object](#bitmap_functions-bitmapbuild).
+-   `offset` – the number of offsets. Type: [UInt32](../../sql-reference/data-types/int-uint.md).
+-   `cardinality_limit` – The subset cardinality upper limit. Type: [UInt32](../../sql-reference/data-types/int-uint.md).
+
+**Returned value**
+
+The subset.
+
+Type: `Bitmap object`.
+
+**Example**
+
+Query:
+
+``` sql
+SELECT bitmapToArray(subBitmap(bitmapBuild([0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,100,200,500]), toUInt32(10), toUInt32(10))) AS res;
+```
+
+Result:
+
+``` text
+┌─res─────────────────────────────┐
+│ [10,11,12,13,14,15,16,17,18,19] │
+└─────────────────────────────────┘
+```
+
 ## bitmapContains {#bitmap_functions-bitmapcontains}
 
 Checks whether the bitmap contains an element.

docs/en/sql-reference/functions/geo/coordinates.md

@@ -41,6 +41,13 @@ SELECT greatCircleDistance(55.755831, 37.617673, -55.755831, -37.617673)
 └───────────────────────────────────────────────────────────────────┘
 ```
 
+## geoDistance
+
+Similar to `greatCircleDistance` but calculates the distance on WGS-84 ellipsoid instead of sphere. This is more precise approximation of the Earth Geoid.
+The performance is the same as for `greatCircleDistance` (no performance drawback). It is recommended to use `geoDistance` to calculate the distances on Earth.
+
+Technical note: for close enough points we calculate the distance using planar approximation with the metric on the tangent plane at the midpoint of the coordinates.
+
 ## greatCircleAngle {#greatcircleangle}
 
 Calculates the central angle between two points on the Earth’s surface using [the great-circle formula](https://en.wikipedia.org/wiki/Great-circle_distance).

docs/en/sql-reference/functions/other-functions.md

@@ -2187,3 +2187,52 @@ defaultProfiles()
 -   List of the default settings profiles. 
 
 Type: [Array](../../sql-reference/data-types/array.md)([String](../../sql-reference/data-types/string.md)).
+
+## currentRoles {#current-roles}
+
+Returns the names of the roles which are current for the current user. The current roles can be changed by the [SET ROLE](../../sql-reference/statements/set-role.md#set-role-statement) statement. If the `SET ROLE` statement was not used, the function `currentRoles` returns the same as `defaultRoles`.
+
+**Syntax**
+
+``` sql
+currentRoles()
+```
+
+**Returned value**
+
+-   List of the current roles for the current user. 
+
+Type: [Array](../../sql-reference/data-types/array.md)([String](../../sql-reference/data-types/string.md)).
+
+## enabledRoles {#enabled-roles}
+
+Returns the names of the current roles and the roles, granted to some of the current roles.
+
+**Syntax**
+
+``` sql
+enabledRoles()
+```
+
+**Returned value**
+
+-   List of the enabled roles for the current user. 
+
+Type: [Array](../../sql-reference/data-types/array.md)([String](../../sql-reference/data-types/string.md)).
+
+## defaultRoles {#default-roles}
+
+Returns the names of the roles which are enabled by default for the current user when he logins. Initially these are all roles granted to the current user (see [GRANT](../../sql-reference/statements/grant/#grant-select)), but that can be changed with the [SET DEFAULT ROLE](../../sql-reference/statements/set-role.md#set-default-role-statement) statement. 
+
+**Syntax**
+
+``` sql
+defaultRoles()
+```
+
+**Returned value**
+
+-   List of the default roles for the current user. 
+
+Type: [Array](../../sql-reference/data-types/array.md)([String](../../sql-reference/data-types/string.md)).
+

docs/en/sql-reference/functions/string-functions.md

@@ -10,17 +10,83 @@ toc_title: Strings
 
 ## empty {#empty}
 
-Returns 1 for an empty string or 0 for a non-empty string.
+Checks whether the input string is empty.
-The result type is UInt8.
+
+**Syntax**
+
+``` sql
+empty(x)
+```
+
 A string is considered non-empty if it contains at least one byte, even if this is a space or a null byte.
-The function also works for arrays or UUID.
+
-UUID is empty if it is all zeros (nil UUID).
+The function also works for [arrays](array-functions.md#function-empty) or [UUID](uuid-functions.md#empty).
+
+**Arguments**
+
+-   `x` — Input value. [String](../data-types/string.md).
+
+**Returned value**
+
+-   Returns `1` for an empty string or `0` for a non-empty string. 
+
+Type: [UInt8](../data-types/int-uint.md).
+
+**Example**
+
+Query:
+
+```sql
+SELECT empty('');
+```
+
+Result:
+
+```text
+┌─empty('')─┐
+│         1 │
+└───────────┘
+```
 
 ## notEmpty {#notempty}
 
-Returns 0 for an empty string or 1 for a non-empty string.
+Checks whether the input string is non-empty.
-The result type is UInt8.
+
-The function also works for arrays or UUID.
+**Syntax**
+
+``` sql
+notEmpty(x)
+```
+
+A string is considered non-empty if it contains at least one byte, even if this is a space or a null byte.
+
+The function also works for [arrays](array-functions.md#function-notempty) or [UUID](uuid-functions.md#notempty).
+
+**Arguments**
+
+-   `x` — Input value. [String](../data-types/string.md).
+
+**Returned value**
+
+-   Returns `1` for a non-empty string or `0` for an empty string string. 
+
+Type: [UInt8](../data-types/int-uint.md).
+
+**Example**
+
+Query:
+
+```sql
+SELECT notEmpty('text');
+```
+
+Result:
+
+```text
+┌─notEmpty('text')─┐
+│                1 │
+└──────────────────┘
+```
 
 ## length {#length}
 
@@ -43,6 +109,158 @@ The result type is UInt64.
 Returns the length of a string in Unicode code points (not in characters), assuming that the string contains a set of bytes that make up UTF-8 encoded text. If this assumption is not met, it returns some result (it does not throw an exception).
 The result type is UInt64.
 
+## leftPad {#leftpad}
+
+Pads the current string from the left with spaces or a specified string (multiple times, if needed) until the resulting string reaches the given length. Similarly to the MySQL `LPAD` function.
+
+**Syntax**
+
+``` sql
+leftPad('string', 'length'[, 'pad_string'])
+```
+
+**Arguments**
+
+-   `string` — Input string that needs to be padded. [String](../data-types/string.md).
+-   `length` — The length of the resulting string. [UInt](../data-types/int-uint.md). If the value is less than the input string length, then the input string is returned as-is.
+-   `pad_string` — The string to pad the input string with. [String](../data-types/string.md). Optional. If not specified, then the input string is padded with spaces.
+
+**Returned value**
+
+-   The resulting string of the given length.
+
+Type: [String](../data-types/string.md).
+
+**Example**
+
+Query:
+
+``` sql
+SELECT leftPad('abc', 7, '*'), leftPad('def', 7);
+```
+
+Result:
+
+``` text
+┌─leftPad('abc', 7, '*')─┬─leftPad('def', 7)─┐
+│ ****abc                │     def           │
+└────────────────────────┴───────────────────┘
+```
+
+## leftPadUTF8 {#leftpadutf8}
+
+Pads the current string from the left with spaces or a specified string (multiple times, if needed) until the resulting string reaches the given length. Similarly to the MySQL `LPAD` function. While in the [leftPad](#leftpad) function the length is measured in bytes, here in the `leftPadUTF8` function it is measured in code points.
+
+**Syntax**
+
+``` sql
+leftPadUTF8('string','length'[, 'pad_string'])
+```
+
+**Arguments**
+
+-   `string` — Input string that needs to be padded. [String](../data-types/string.md).
+-   `length` — The length of the resulting string. [UInt](../data-types/int-uint.md). If the value is less than the input string length, then the input string is returned as-is.
+-   `pad_string` — The string to pad the input string with. [String](../data-types/string.md). Optional. If not specified, then the input string is padded with spaces.
+
+**Returned value**
+
+-   The resulting string of the given length.
+
+Type: [String](../data-types/string.md).
+
+**Example**
+
+Query:
+
+``` sql
+SELECT leftPadUTF8('абвг', 7, '*'), leftPadUTF8('дежз', 7);
+```
+
+Result:
+
+``` text
+┌─leftPadUTF8('абвг', 7, '*')─┬─leftPadUTF8('дежз', 7)─┐
+│ ***абвг                     │    дежз                │
+└─────────────────────────────┴────────────────────────┘
+```
+
+## rightPad {#rightpad}
+
+Pads the current string from the right with spaces or a specified string (multiple times, if needed) until the resulting string reaches the given length. Similarly to the MySQL `RPAD` function.
+
+**Syntax**
+
+``` sql
+rightPad('string', 'length'[, 'pad_string'])
+```
+
+**Arguments**
+
+-   `string` — Input string that needs to be padded. [String](../data-types/string.md).
+-   `length` — The length of the resulting string. [UInt](../data-types/int-uint.md). If the value is less than the input string length, then the input string is returned as-is.
+-   `pad_string` — The string to pad the input string with. [String](../data-types/string.md). Optional. If not specified, then the input string is padded with spaces.
+
+**Returned value**
+
+-   The resulting string of the given length.
+
+Type: [String](../data-types/string.md).
+
+**Example**
+
+Query:
+
+``` sql
+SELECT rightPad('abc', 7, '*'), rightPad('abc', 7);
+```
+
+Result:
+
+``` text
+┌─rightPad('abc', 7, '*')─┬─rightPad('abc', 7)─┐
+│ abc****                 │ abc                │
+└─────────────────────────┴────────────────────┘
+```
+
+## rightPadUTF8 {#rightpadutf8}
+
+Pads the current string from the right with spaces or a specified string (multiple times, if needed) until the resulting string reaches the given length. Similarly to the MySQL `RPAD` function. While in the [rightPad](#rightpad) function the length is measured in bytes, here in the `rightPadUTF8` function it is measured in code points.
+
+**Syntax**
+
+``` sql
+rightPadUTF8('string','length'[, 'pad_string'])
+```
+
+**Arguments**
+
+-   `string` — Input string that needs to be padded. [String](../data-types/string.md).
+-   `length` — The length of the resulting string. [UInt](../data-types/int-uint.md). If the value is less than the input string length, then the input string is returned as-is.
+-   `pad_string` — The string to pad the input string with. [String](../data-types/string.md). Optional. If not specified, then the input string is padded with spaces.
+
+**Returned value**
+
+-   The resulting string of the given length.
+
+Type: [String](../data-types/string.md).
+
+**Example**
+
+Query:
+
+``` sql
+SELECT rightPadUTF8('абвг', 7, '*'), rightPadUTF8('абвг', 7);
+```
+
+Result:
+
+``` text
+┌─rightPadUTF8('абвг', 7, '*')─┬─rightPadUTF8('абвг', 7)─┐
+│ абвг***                      │ абвг                    │
+└──────────────────────────────┴─────────────────────────┘
+```
+
 ## lower, lcase {#lower}
 
 Converts ASCII Latin symbols in a string to lowercase.

docs/en/sql-reference/functions/uuid-functions.md

@@ -9,7 +9,7 @@ The functions for working with UUID are listed below.
 
 ## generateUUIDv4 {#uuid-function-generate}
 
-Generates the [UUID](../../sql-reference/data-types/uuid.md) of [version 4](https://tools.ietf.org/html/rfc4122#section-4.4).
+Generates the [UUID](../data-types/uuid.md) of [version 4](https://tools.ietf.org/html/rfc4122#section-4.4).
 
 ``` sql
 generateUUIDv4()
@@ -37,6 +37,90 @@ SELECT * FROM t_uuid
 └──────────────────────────────────────┘
 ```
 
+## empty {#empty}
+
+Checks whether the input UUID is empty.
+
+**Syntax**
+
+```sql
+empty(UUID)
+```
+
+The UUID is considered empty if it contains all zeros (zero UUID).
+
+The function also works for [arrays](array-functions.md#function-empty) or [strings](string-functions.md#empty).
+
+**Arguments**
+
+-   `x` — Input UUID. [UUID](../data-types/uuid.md).
+
+**Returned value**
+
+-   Returns `1` for an empty UUID or `0` for a non-empty UUID. 
+
+Type: [UInt8](../data-types/int-uint.md).
+
+**Example**
+
+To generate the UUID value, ClickHouse provides the [generateUUIDv4](#uuid-function-generate) function.
+
+Query:
+
+```sql
+SELECT empty(generateUUIDv4());
+```
+
+Result:
+
+```text
+┌─empty(generateUUIDv4())─┐
+│                       0 │
+└─────────────────────────┘
+```
+
+## notEmpty {#notempty}
+
+Checks whether the input UUID is non-empty.
+
+**Syntax**
+
+```sql
+notEmpty(UUID)
+```
+
+The UUID is considered empty if it contains all zeros (zero UUID).
+
+The function also works for [arrays](array-functions.md#function-notempty) or [strings](string-functions.md#notempty).
+
+**Arguments**
+
+-   `x` — Input UUID. [UUID](../data-types/uuid.md).
+
+**Returned value**
+
+-   Returns `1` for a non-empty UUID or `0` for an empty UUID. 
+
+Type: [UInt8](../data-types/int-uint.md).
+
+**Example**
+
+To generate the UUID value, ClickHouse provides the [generateUUIDv4](#uuid-function-generate) function.
+
+Query:
+
+```sql
+SELECT notEmpty(generateUUIDv4());
+```
+
+Result:
+
+```text
+┌─notEmpty(generateUUIDv4())─┐
+│                          1 │
+└────────────────────────────┘
+```
+
 ## toUUID (x) {#touuid-x}
 
 Converts String type value to UUID type.

docs/en/sql-reference/statements/alter/projection.md

@@ -0,0 +1,23 @@
+---
+toc_priority: 49
+toc_title: PROJECTION
+---
+
+# Manipulating Projections {#manipulations-with-projections}
+
+The following operations are available:
+
+-   `ALTER TABLE [db].name ADD PROJECTION name AS SELECT <COLUMN LIST EXPR> [GROUP BY] [ORDER BY]` - Adds projection description to tables metadata.
+
+-   `ALTER TABLE [db].name DROP PROJECTION name` - Removes projection description from tables metadata and deletes projection files from disk.
+
+-   `ALTER TABLE [db.]table MATERIALIZE PROJECTION name IN PARTITION partition_name` - The query rebuilds the projection `name` in the partition `partition_name`. Implemented as a [mutation](../../../sql-reference/statements/alter/index.md#mutations).
+
+-   `ALTER TABLE [db.]table CLEAR PROJECTION name IN PARTITION partition_name` - Deletes projection files from disk without removing description.
+
+The commands ADD, DROP and CLEAR are lightweight in a sense that they only change metadata or remove files.
+
+Also, they are replicated, syncing projections metadata via ZooKeeper.
+
+!!! note "Note"
+    Projection manipulation is supported only for tables with [`*MergeTree`](../../../engines/table-engines/mergetree-family/mergetree.md) engine (including [replicated](../../../engines/table-engines/mergetree-family/replication.md) variants).

docs/en/sql-reference/statements/attach.md

@@ -5,14 +5,21 @@ toc_title: ATTACH
 
 # ATTACH Statement {#attach}
 
-Attaches the table, for example, when moving a database to another server.
+Attaches a table or a dictionary, for example, when moving a database to another server.
 
-The query does not create data on the disk, but assumes that data is already in the appropriate places, and just adds information about the table to the server. After executing an `ATTACH` query, the server will know about the existence of the table.
+**Syntax**
 
-If the table was previously detached ([DETACH](../../sql-reference/statements/detach.md)) query, meaning that its structure is known, you can use shorthand without defining the structure.
+``` sql
+ATTACH TABLE|DICTIONARY [IF NOT EXISTS] [db.]name [ON CLUSTER cluster] ...
+```
 
-## Syntax Forms {#syntax-forms}
+The query does not create data on the disk, but assumes that data is already in the appropriate places, and just adds information about the table or the dictionary to the server. After executing the `ATTACH` query, the server will know about the existence of the table or the dictionary.
-### Attach Existing Table {#attach-existing-table}
+
+If a table was previously detached ([DETACH](../../sql-reference/statements/detach.md) query), meaning that its structure is known, you can use shorthand without defining the structure.
+
+## Attach Existing Table {#attach-existing-table}
+
+**Syntax**
 
 ``` sql
 ATTACH TABLE [IF NOT EXISTS] [db.]name [ON CLUSTER cluster]
@@ -22,16 +29,18 @@ This query is used when starting the server. The server stores table metadata as
 
 If the table was detached permanently, it won't be reattached at the server start, so you need to use `ATTACH` query explicitly.
 
-### Сreate New Table And Attach Data {#create-new-table-and-attach-data}
+## Create New Table And Attach Data {#create-new-table-and-attach-data}
 
-**With specify path to table data**
+### With Specified Path to Table Data {#attach-with-specified-path}
+
+The query creates a new table with provided structure and attaches table data from the provided directory in `user_files`.
+
+**Syntax**
 
 ```sql
 ATTACH TABLE name FROM 'path/to/data/' (col1 Type1, ...)
 ```
 
-It creates new table with provided structure and attaches table data from provided directory in `user_files`.
-
 **Example**
 
 Query:
@@ -50,10 +59,23 @@ Result:
 └──────┴────┘
 ```
 
-**With specify table UUID** (Only for `Atomic` database)
+### With Specified Table UUID {#attach-with-specified-uuid}
+
+This query creates a new table with provided structure and attaches data from the table with the specified UUID.
+It is supported by the [Atomic](../../engines/database-engines/atomic.md) database engine.
+
+**Syntax**
 
 ```sql
 ATTACH TABLE name UUID '<uuid>' (col1 Type1, ...)
 ```
 
-It creates new table with provided structure and attaches data from table with the specified UUID.
+## Attach Existing Dictionary {#attach-existing-dictionary}
+
+Attaches a previously detached dictionary.
+
+**Syntax**
+
+``` sql
+ATTACH DICTIONARY [IF NOT EXISTS] [db.]name [ON CLUSTER cluster]
+```

docs/en/sql-reference/statements/create/table.md

@@ -254,6 +254,7 @@ CREATE TABLE codec_example
 ENGINE = MergeTree()
 ```
 
+<!--
 ### Encryption Codecs {#create-query-encryption-codecs}
 
 These codecs don't actually compress data, but instead encrypt data on disk. These are only available when an encryption key is specified by [encryption](../../../operations/server-configuration-parameters/settings.md#server-settings-encryption) settings. Note that encryption only makes sense at the end of codec pipelines, because encrypted data usually can't be compressed in any meaningful way.
@@ -267,7 +268,7 @@ Encryption codecs:
 
 !!! attention "Attention"
     If you perform a SELECT query mentioning a specific value in an encrypted column (such as in its WHERE clause), the value may appear in [system.query_log](../../../operations/system-tables/query_log.md). You may want to disable the logging.
-
+-->
 ## Temporary Tables {#temporary-tables}
 
 ClickHouse supports temporary tables which have the following characteristics:

docs/en/sql-reference/statements/detach.md

@@ -5,17 +5,18 @@ toc_title: DETACH
 
 # DETACH Statement {#detach}
 
-Makes the server "forget" about the existence of the table or materialized view.
+Makes the server "forget" about the existence of a table, a materialized view, or a dictionary.
 
-Syntax:
+**Syntax**
 
 ``` sql
-DETACH TABLE|VIEW [IF EXISTS] [db.]name [ON CLUSTER cluster] [PERMANENTLY]
+DETACH TABLE|VIEW|DICTIONARY [IF EXISTS] [db.]name [ON CLUSTER cluster] [PERMANENTLY]
 ```
 
-Detaching does not delete the data or metadata for the table or materialized view. If the table or view was not detached `PERMANENTLY`, on the next server launch the server will read the metadata and recall the table/view again. If the table or view was detached `PERMANENTLY`, there will be no automatic recall.
+Detaching does not delete the data or metadata of a table, a materialized view or a dictionary. If an entity was not detached `PERMANENTLY`, on the next server launch the server will read the metadata and recall the table/view/dictionary again. If an entity was detached `PERMANENTLY`, there will be no automatic recall.
 
-Whether the table was detached permanently or not, in both cases you can reattach it using the [ATTACH](../../sql-reference/statements/attach.md). System log tables can be also attached back (e.g. `query_log`, `text_log`, etc). Other system tables can't be reattached. On the next server launch the server will recall those tables again.
+Whether a table or a dictionary was detached permanently or not, in both cases you can reattach them using the [ATTACH](../../sql-reference/statements/attach.md) query.
+System log tables can be also attached back (e.g. `query_log`, `text_log`, etc). Other system tables can't be reattached. On the next server launch the server will recall those tables again.
 
 `ATTACH MATERIALIZED VIEW` does not work with short syntax (without `SELECT`), but you can attach it using the `ATTACH TABLE` query.
 
@@ -67,4 +68,7 @@ Received exception from server (version 21.4.1):
 Code: 60. DB::Exception: Received from localhost:9000. DB::Exception: Table default.test does not exist.
 ```
 
-[Original article](https://clickhouse.tech/docs/en/sql-reference/statements/detach/) <!--hide-->
+**See Also**
+
+-   [Materialized View](../../sql-reference/statements/create/view.md#materialized)
+-   [Dictionaries](../../sql-reference/dictionaries/index.md)

docs/en/sql-reference/statements/exchange.md

@@ -0,0 +1,42 @@
+---
+toc_priority: 49
+toc_title: EXCHANGE
+---
+
+# EXCHANGE Statement {#exchange}
+
+Exchanges the names of two tables or dictionaries atomically.
+This task can also be accomplished with a [RENAME](./rename.md) query using a temporary name, but the operation is not atomic in that case.
+
+!!! note "Note"
+    The `EXCHANGE` query is supported by the [Atomic](../../engines/database-engines/atomic.md) database engine only.
+
+**Syntax**
+
+```sql
+EXCHANGE TABLES|DICTIONARIES [db0.]name_A AND [db1.]name_B
+```
+
+## EXCHANGE TABLES {#exchange_tables}
+
+Exchanges the names of two tables.
+
+**Syntax**
+
+```sql
+EXCHANGE TABLES [db0.]table_A AND [db1.]table_B
+```
+
+## EXCHANGE DICTIONARIES {#exchange_dictionaries}
+
+Exchanges the names of two dictionaries.
+
+**Syntax**
+
+```sql
+EXCHANGE DICTIONARIES [db0.]dict_A AND [db1.]dict_B
+```
+
+**See Also**
+
+-   [Dictionaries](../../sql-reference/dictionaries/index.md)

docs/en/sql-reference/statements/rename.md

@@ -5,18 +5,57 @@ toc_title: RENAME
 
 # RENAME Statement {#misc_operations-rename}
 
-## RENAME DATABASE {#misc_operations-rename_database}
+Renames databases, tables, or dictionaries. Several entities can be renamed in a single query.
-Renames database, it is supported only for Atomic database engine.
+Note that the `RENAME` query with several entities is non-atomic operation. To swap entities names atomically, use the [EXCHANGE](./exchange.md) statement.
 
+!!! note "Note"
+    The `RENAME` query is supported by the [Atomic](../../engines/database-engines/atomic.md) database engine only.
+
+**Syntax**
+
+```sql
+RENAME DATABASE|TABLE|DICTIONARY name TO new_name [,...] [ON CLUSTER cluster]
 ```
-RENAME DATABASE atomic_database1 TO atomic_database2 [ON CLUSTER cluster]
+
+## RENAME DATABASE {#misc_operations-rename_database}
+
+Renames databases.
+
+**Syntax**
+
+```sql
+RENAME DATABASE atomic_database1 TO atomic_database2 [,...] [ON CLUSTER cluster]
 ```
 
 ## RENAME TABLE {#misc_operations-rename_table}
+
 Renames one or more tables.
 
+Renaming tables is a light operation. If you pass a different database after `TO`, the table will be moved to this database. However, the directories with databases must reside in the same file system. Otherwise, an error is returned. 
+If you rename multiple tables in one query, the operation is not atomic. It may be partially executed, and queries in other sessions may get `Table ... does not exist ...` error.
+
+**Syntax**
+
 ``` sql
-RENAME TABLE [db11.]name11 TO [db12.]name12, [db21.]name21 TO [db22.]name22, ... [ON CLUSTER cluster]
+RENAME TABLE [db1.]name1 TO [db2.]name2 [,...] [ON CLUSTER cluster]
 ```
 
-Renaming tables is a light operation. If you indicated another database after `TO`, the table will be moved to this database. However, the directories with databases must reside in the same file system (otherwise, an error is returned). If you rename multiple tables in one query, this is a non-atomic operation, it may be partially executed, queries in other sessions may receive the error `Table ... does not exist ..`.
+**Example**
+
+```sql
+RENAME TABLE table_A TO table_A_bak, table_B TO table_B_bak;
+```
+
+## RENAME DICTIONARY {#rename_dictionary}
+
+Renames one or several dictionaries. This query can be used to move dictionaries between databases.
+
+**Syntax**
+
+```sql
+RENAME DICTIONARY [db0.]dict_A TO [db1.]dict_B [,...] [ON CLUSTER cluster]
+```
+
+**See Also**
+
+-   [Dictionaries](../../sql-reference/dictionaries/index.md)

docs/en/sql-reference/statements/select/distinct.md

@@ -6,23 +6,55 @@ toc_title: DISTINCT
 
 If `SELECT DISTINCT` is specified, only unique rows will remain in a query result. Thus only a single row will remain out of all the sets of fully matching rows in the result.
 
-## Null Processing {#null-processing}
+You can specify the list of columns that must have unique values: `SELECT DISTINCT ON (column1, column2,...)`. If the columns are not specified, all of them are taken into consideration.
 
-`DISTINCT` works with [NULL](../../../sql-reference/syntax.md#null-literal) as if `NULL` were a specific value, and `NULL==NULL`. In other words, in the `DISTINCT` results, different combinations with `NULL` occur only once. It differs from `NULL` processing in most other contexts.
+Consider the table:
 
-## Alternatives {#alternatives}
+```text
+┌─a─┬─b─┬─c─┐
+│ 1 │ 1 │ 1 │
+│ 1 │ 1 │ 1 │
+│ 2 │ 2 │ 2 │
+│ 2 │ 2 │ 2 │
+│ 1 │ 1 │ 2 │
+│ 1 │ 2 │ 2 │
+└───┴───┴───┘
+```
 
-It is possible to obtain the same result by applying [GROUP BY](../../../sql-reference/statements/select/group-by.md) across the same set of values as specified as `SELECT` clause, without using any aggregate functions. But there are few differences from `GROUP BY` approach:
+Using `DISTINCT` without specifying columns:
 
--   `DISTINCT` can be applied together with `GROUP BY`.
+```sql
--   When [ORDER BY](../../../sql-reference/statements/select/order-by.md) is omitted and [LIMIT](../../../sql-reference/statements/select/limit.md) is defined, the query stops running immediately after the required number of different rows has been read.
+SELECT DISTINCT * FROM t1;
--   Data blocks are output as they are processed, without waiting for the entire query to finish running.
+```
 
-## Examples {#examples}
+```text
+┌─a─┬─b─┬─c─┐
+│ 1 │ 1 │ 1 │
+│ 2 │ 2 │ 2 │
+│ 1 │ 1 │ 2 │
+│ 1 │ 2 │ 2 │
+└───┴───┴───┘
+```
+
+Using `DISTINCT` with specified columns:
+
+```sql
+SELECT DISTINCT ON (a,b) * FROM t1;
+```
+
+```text
+┌─a─┬─b─┬─c─┐
+│ 1 │ 1 │ 1 │
+│ 2 │ 2 │ 2 │
+│ 1 │ 2 │ 2 │
+└───┴───┴───┘
+```
+
+## DISTINCT and ORDER BY {#distinct-orderby}
 
 ClickHouse supports using the `DISTINCT` and `ORDER BY` clauses for different columns in one query. The `DISTINCT` clause is executed before the `ORDER BY` clause.
 
-Example table:
+Consider the table:
 
 ``` text
 ┌─a─┬─b─┐
@@ -33,7 +65,11 @@ Example table:
 └───┴───┘
 ```
 
-When selecting data with the `SELECT DISTINCT a FROM t1 ORDER BY b ASC` query, we get the following result:
+Selecting data:
+
+```sql
+SELECT DISTINCT a FROM t1 ORDER BY b ASC;
+```
 
 ``` text
 ┌─a─┐
@@ -42,8 +78,11 @@ When selecting data with the `SELECT DISTINCT a FROM t1 ORDER BY b ASC` query, w
 │ 3 │
 └───┘
 ```
+Selecting data with the different sorting direction:
 
-If we change the sorting direction `SELECT DISTINCT a FROM t1 ORDER BY b DESC`, we get the following result:
+```sql
+SELECT DISTINCT a FROM t1 ORDER BY b DESC;
+```
 
 ``` text
 ┌─a─┐
@@ -56,3 +95,15 @@ If we change the sorting direction `SELECT DISTINCT a FROM t1 ORDER BY b DESC`,
 Row `2, 4` was cut before sorting.
 
 Take this implementation specificity into account when programming queries.
+
+## Null Processing {#null-processing}
+
+`DISTINCT` works with [NULL](../../../sql-reference/syntax.md#null-literal) as if `NULL` were a specific value, and `NULL==NULL`. In other words, in the `DISTINCT` results, different combinations with `NULL` occur only once. It differs from `NULL` processing in most other contexts.
+
+## Alternatives {#alternatives}
+
+It is possible to obtain the same result by applying [GROUP BY](../../../sql-reference/statements/select/group-by.md) across the same set of values as specified as `SELECT` clause, without using any aggregate functions. But there are few differences from `GROUP BY` approach:
+
+-   `DISTINCT` can be applied together with `GROUP BY`.
+-   When [ORDER BY](../../../sql-reference/statements/select/order-by.md) is omitted and [LIMIT](../../../sql-reference/statements/select/limit.md) is defined, the query stops running immediately after the required number of different rows has been read.
+-   Data blocks are output as they are processed, without waiting for the entire query to finish running.

docs/en/sql-reference/statements/select/index.md

@@ -13,7 +13,7 @@ toc_title: Overview
 
 ``` sql
 [WITH expr_list|(subquery)]
-SELECT [DISTINCT] expr_list
+SELECT [DISTINCT [ON (column1, column2, ...)]] expr_list
 [FROM [db.]table | (subquery) | table_function] [FINAL]
 [SAMPLE sample_coeff]
 [ARRAY JOIN ...]
@@ -36,6 +36,8 @@ All clauses are optional, except for the required list of expressions immediatel
 Specifics of each optional clause are covered in separate sections, which are listed in the same order as they are executed:
 
 -   [WITH clause](../../../sql-reference/statements/select/with.md)
+-   [SELECT clause](#select-clause)
+-   [DISTINCT clause](../../../sql-reference/statements/select/distinct.md)
 -   [FROM clause](../../../sql-reference/statements/select/from.md)
 -   [SAMPLE clause](../../../sql-reference/statements/select/sample.md)
 -   [JOIN clause](../../../sql-reference/statements/select/join.md)
@@ -44,8 +46,6 @@ Specifics of each optional clause are covered in separate sections, which are li
 -   [GROUP BY clause](../../../sql-reference/statements/select/group-by.md)
 -   [LIMIT BY clause](../../../sql-reference/statements/select/limit-by.md)
 -   [HAVING clause](../../../sql-reference/statements/select/having.md)
--   [SELECT clause](#select-clause)
--   [DISTINCT clause](../../../sql-reference/statements/select/distinct.md)
 -   [LIMIT clause](../../../sql-reference/statements/select/limit.md)
 -   [OFFSET clause](../../../sql-reference/statements/select/offset.md)
 -   [UNION clause](../../../sql-reference/statements/select/union.md)

docs/en/sql-reference/statements/set.md

@@ -1,5 +1,5 @@
 ---
-toc_priority: 49
+toc_priority: 50
 toc_title: SET
 ---
 

docs/ru/development/developer-instruction.md

@@ -43,7 +43,7 @@ ClickHouse не работает и не собирается на 32-битны
     git clone --recursive git@github.com:ClickHouse/ClickHouse.git
     cd ClickHouse
 
-Замените *yandex* на имя вашего аккаунта на GitHub.
+Замените первое вхождение слова `ClickHouse` в команде для git на имя вашего аккаунта на GitHub.
 
 Эта команда создаст директорию ClickHouse, содержащую рабочую копию проекта.
 
@@ -92,7 +92,6 @@ ClickHouse не работает и не собирается на 32-битны
     # Две последние команды могут быть объединены вместе:
     git submodule update --init
 
-The next commands would help you to reset all submodules to the initial state (!WARING! - any changes inside will be deleted):
 Следующие команды помогут сбросить все сабмодули в изначальное состояние (!ВНИМАНИЕ! - все изменения в сабмодулях будут утеряны):
 
     # Synchronizes submodules' remote URL with .gitmodules
@@ -140,7 +139,7 @@ ClickHouse использует для сборки некоторое коли
 
 Впрочем, наша среда continuous integration проверяет около десятка вариантов сборки, включая gcc, но сборка с помощью gcc непригодна для использования в продакшене.
 
-On Ubuntu/Debian you can use the automatic installation script (check [official webpage](https://apt.llvm.org/))
+На Ubuntu и Debian вы можете использовать скрипт для автоматической установки (см. [официальный сайт](https://apt.llvm.org/))
 
 ```bash
 sudo bash -c "$(wget -O - https://apt.llvm.org/llvm.sh)"
@@ -163,13 +162,19 @@ sudo bash -c "$(wget -O - https://apt.llvm.org/llvm.sh)"
     export CC=clang CXX=clang++
     cmake ..
 
-Переменная CC отвечает за компилятор C (сокращение от слов C Compiler), переменная CXX отвечает за выбор компилятора C++ (символ X - это как плюс, но положенный набок, ради того, чтобы превратить его в букву).
+Переменная CC отвечает за компилятор C (сокращение от слов C Compiler), переменная CXX отвечает за выбор компилятора C++ (символ X - это как плюс, но положенный набок, ради того, чтобы превратить его в букву). При получении ошибки типа `Could not find compiler set in environment variable CC: clang` необходимо указать в значениях для переменных CC и CXX явную версию компилятора, например, `clang-12` и `clang++-12`.
 
 Для более быстрой сборки, можно использовать debug вариант - сборку без оптимизаций. Для этого, укажите параметр `-D CMAKE_BUILD_TYPE=Debug`:
 
     cmake -D CMAKE_BUILD_TYPE=Debug ..
 
-Вы можете изменить вариант сборки, выполнив эту команду в директории build.
+В случае использования на разработческой машине старого HDD или SSD, а также при желании использовать меньше места для артефактов сборки можно использовать следующую команду:
+```bash
+cmake -DUSE_DEBUG_HELPERS=1 -DUSE_STATIC_LIBRARIES=0 -DSPLIT_SHARED_LIBRARIES=1 -DCLICKHOUSE_SPLIT_BINARY=1 ..
+```
+При этом надо учесть, что получаемые в результате сборки исполнимые файлы будут динамически слинкованы с библиотеками, и поэтому фактически станут непереносимыми на другие компьютеры (либо для этого нужно будет предпринять значительно больше усилий по сравнению со статической сборкой). Плюсом же в данном случае является значительно меньшее время сборки (это проявляется не на первой сборке, а на последующих, после внесения изменений в исходный код - тратится меньшее время на линковку по сравнению со статической сборкой) и значительно меньшее использование места на жёстком диске (экономия более, чем в 3 раза по сравнению со статической сборкой). Для целей разработки, когда планируются только отладочные запуски на том же компьютере, где осуществлялась сборка, это может быть наиболее удобным вариантом.
+
+Вы можете изменить вариант сборки, выполнив новую команду в директории build.
 
 Запустите ninja для сборки:
 
@@ -195,6 +200,14 @@ sudo bash -c "$(wget -O - https://apt.llvm.org/llvm.sh)"
 
 В процессе сборки могут появится сообщения `libprotobuf WARNING` про protobuf файлы в библиотеке libhdfs2. Это не имеет значения.
 
+В случае получения ошибок вида `error: variable 'y' set but not used [-Werror,-Wunused-but-set-variable]` ножно попробовать использовать другую версию компилятора сlang. Например, на момент написания данного текста описанная выше команда по установке clang для Ubuntu 20.04 по-умолчанию устанавливает clang-13, с которым возникает эта ошибка. Для решения проблемы можно установить clang-12 с помощью команд:
+```bash
+wget https://apt.llvm.org/llvm.sh
+chmod +x llvm.sh
+sudo ./llvm.sh 12
+```
+И далее использовать именно его, указав соответствующую версию при установке переменных окружения CC и CXX перед вызовом cmake.
+
 При успешной сборке, вы получите готовый исполняемый файл `ClickHouse/build/programs/clickhouse`:
 
     ls -l programs/clickhouse
@@ -234,7 +247,7 @@ sudo bash -c "$(wget -O - https://apt.llvm.org/llvm.sh)"
 
 В качестве простых редакторов кода можно использовать Sublime Text или Visual Studio Code или Kate (все варианты доступны под Linux).
 
-На всякий случай заметим, что CLion самостоятельно создаёт свою build директорию, самостоятельно выбирает тип сборки debug по-умолчанию, для конфигурации использует встроенную в CLion версию CMake вместо установленного вами, а для запуска задач использует make вместо ninja. Это нормально, просто имейте это ввиду, чтобы не возникало путаницы.
+На всякий случай заметим, что CLion самостоятельно создаёт свою build директорию, самостоятельно выбирает тип сборки debug по-умолчанию, для конфигурации использует встроенную в CLion версию CMake вместо установленного вами, а для запуска задач использует make вместо ninja (но при желании начиная с версии CLion 2019.3 EAP можно настроить использование ninja, см. подробнее [тут](https://blog.jetbrains.com/clion/2019/10/clion-2019-3-eap-ninja-cmake-generators/)). Это нормально, просто имейте это ввиду, чтобы не возникало путаницы.
 
 ## Написание кода {#napisanie-koda}
 

docs/ru/engines/database-engines/atomic.md

@@ -5,12 +5,12 @@ toc_title: Atomic
 
 # Atomic {#atomic}
 
-Поддерживает неблокирующие запросы [DROP TABLE](#drop-detach-table) и [RENAME TABLE](#rename-table) и атомарные запросы [EXCHANGE TABLES t1 AND t](#exchange-tables). Движок `Atomic` используется по умолчанию.
+Поддерживает неблокирующие запросы [DROP TABLE](#drop-detach-table) и [RENAME TABLE](#rename-table) и атомарные запросы [EXCHANGE TABLES](#exchange-tables). Движок `Atomic` используется по умолчанию.
 
 ## Создание БД {#creating-a-database}
 
 ``` sql
-    CREATE DATABASE test[ ENGINE = Atomic];
+CREATE DATABASE test [ENGINE = Atomic];
 ```
 
 ## Особенности и рекомендации {#specifics-and-recommendations}
@@ -25,16 +25,16 @@ CREATE TABLE name UUID '28f1c61c-2970-457a-bffe-454156ddcfef' (n UInt64) ENGINE
 ```
 ### RENAME TABLE {#rename-table}
 
-Запросы `RENAME` выполняются без изменения UUID и перемещения табличных данных. Эти запросы не ожидают завершения использующих таблицу запросов и будут выполнены мгновенно.
+Запросы [RENAME](../../sql-reference/statements/rename.md) выполняются без изменения UUID и перемещения табличных данных. Эти запросы не ожидают завершения использующих таблицу запросов и выполняются мгновенно.
 
 ### DROP/DETACH TABLE {#drop-detach-table}
 
 При выполнении запроса `DROP TABLE` никакие данные не удаляются. Таблица помечается как удаленная, метаданные перемещаются в папку `/clickhouse_path/metadata_dropped/` и база данных уведомляет фоновый поток. Задержка перед окончательным удалением данных задается настройкой [database_atomic_delay_before_drop_table_sec](../../operations/server-configuration-parameters/settings.md#database_atomic_delay_before_drop_table_sec).
 Вы можете задать синхронный режим, определяя модификатор `SYNC`. Используйте для этого настройку [database_atomic_wait_for_drop_and_detach_synchronously](../../operations/settings/settings.md#database_atomic_wait_for_drop_and_detach_synchronously). В этом случае запрос `DROP` ждет завершения `SELECT`, `INSERT` и других запросов, которые используют таблицу. Таблица будет фактически удалена, когда она не будет использоваться.
 
-### EXCHANGE TABLES {#exchange-tables}
+### EXCHANGE TABLES/DICTIONARIES {#exchange-tables}
 
-Запрос `EXCHANGE` меняет местами две таблицы атомарно. Вместо неатомарной операции:
+Запрос [EXCHANGE](../../sql-reference/statements/exchange.md) атомарно меняет местами две таблицы или два словаря. Например, вместо неатомарной операции:
 
 ```sql
 RENAME TABLE new_table TO tmp, old_table TO new_table, tmp TO old_table;
@@ -47,7 +47,7 @@ EXCHANGE TABLES new_table AND old_table;
 
 ### ReplicatedMergeTree in Atomic Database {#replicatedmergetree-in-atomic-database}
 
-Для таблиц [ReplicatedMergeTree](../table-engines/mergetree-family/replication.md#table_engines-replication) рекомендуется не указывать параметры движка - путь в ZooKeeper и имя реплики. В этом случае будут использоваться параметры конфигурации: [default_replica_path](../../operations/server-configuration-parameters/settings.md#default_replica_path) и [default_replica_name](../../operations/server-configuration-parameters/settings.md#default_replica_name). Если вы хотите определить параметры движка явно, рекомендуется использовать макрос {uuid}. Это удобно, так как автоматически генерируются уникальные пути для каждой таблицы в ZooKeeper.
+Для таблиц [ReplicatedMergeTree](../table-engines/mergetree-family/replication.md#table_engines-replication) рекомендуется не указывать параметры движка - путь в ZooKeeper и имя реплики. В этом случае будут использоваться параметры конфигурации: [default_replica_path](../../operations/server-configuration-parameters/settings.md#default_replica_path) и [default_replica_name](../../operations/server-configuration-parameters/settings.md#default_replica_name). Если вы хотите определить параметры движка явно, рекомендуется использовать макрос `{uuid}`. Это удобно, так как автоматически генерируются уникальные пути для каждой таблицы в ZooKeeper.
 
 ## Смотрите также
 

docs/ru/engines/database-engines/materialized-mysql.md

@@ -1,17 +1,16 @@
-
 ---
 toc_priority: 29
-toc_title: MaterializedMySQL
+toc_title: "[experimental] MaterializedMySQL"
 ---
 
-# MaterializedMySQL {#materialized-mysql}
+# [экспериментальный] MaterializedMySQL {#materialized-mysql}
+
+**Это экспериментальный движок, который не следует использовать в продакшене.**
 
 Создает базу данных ClickHouse со всеми таблицами, существующими в MySQL, и всеми данными в этих таблицах.
 
 Сервер ClickHouse работает как реплика MySQL. Он читает файл binlog и выполняет DDL and DML-запросы.
 
-`MaterializedMySQL` — экспериментальный движок баз данных.
-
 ## Создание базы данных {#creating-a-database}
 
 ``` sql
@@ -26,6 +25,32 @@ ENGINE = MaterializedMySQL('host:port', ['database' | database], 'user', 'passwo
 -   `user` — пользователь MySQL.
 -   `password` — пароль пользователя.
 
+**Настройки движка**
+
+-   `max_rows_in_buffer` — максимальное количество строк, содержимое которых может кешироваться в памяти (для одной таблицы и данных кеша, которые невозможно запросить). При превышении количества строк, данные будут материализованы. Значение по умолчанию: `65 505`.
+-   `max_bytes_in_buffer` —  максимальное количество байтов, которое разрешено кешировать в памяти (для одной таблицы и данных кеша, которые невозможно запросить). При превышении количества строк, данные будут материализованы. Значение по умолчанию: `1 048 576`.
+-   `max_rows_in_buffers` — максимальное количество строк, содержимое которых может кешироваться в памяти (для базы данных и данных кеша, которые невозможно запросить). При превышении количества строк, данные будут материализованы. Значение по умолчанию: `65 505`.
+-   `max_bytes_in_buffers` — максимальное количество байтов, которое разрешено кешировать данным в памяти (для базы данных и данных кеша, которые невозможно запросить). При превышении количества строк, данные будут материализованы. Значение по умолчанию: `1 048 576`.
+-   `max_flush_data_time` — максимальное время в миллисекундах, в течение которого разрешено кешировать данные в памяти (для базы данных и данных кеша, которые невозможно запросить). При превышении количества указанного периода, данные будут материализованы. Значение по умолчанию: `1000`.
+-   `max_wait_time_when_mysql_unavailable` — интервал между повторными попытками, если MySQL недоступен. Указывается в миллисекундах. Отрицательное значение отключает повторные попытки. Значение по умолчанию: `1000`.
+-   `allows_query_when_mysql_lost` — признак, разрешен ли запрос к материализованной таблице при потере соединения с MySQL. Значение по умолчанию: `0` (`false`).
+
+```sql
+CREATE DATABASE mysql ENGINE = MaterializedMySQL('localhost:3306', 'db', 'user', '***')
+     SETTINGS
+        allows_query_when_mysql_lost=true,
+        max_wait_time_when_mysql_unavailable=10000;
+```
+
+**Настройки на стороне MySQL-сервера**
+
+Для правильной работы `MaterializedMySQL` следует обязательно указать на сервере MySQL следующие параметры конфигурации:
+- `default_authentication_plugin = mysql_native_password` — `MaterializedMySQL` может авторизоваться только с помощью этого метода.
+- `gtid_mode = on` — ведение журнала на основе GTID является обязательным для обеспечения правильной репликации.
+
+!!! attention "Внимание"
+    При включении `gtid_mode` вы также должны указать `enforce_gtid_consistency = on`.
+
 ## Виртуальные столбцы {#virtual-columns}
 
 При работе с движком баз данных `MaterializedMySQL` используются таблицы семейства [ReplacingMergeTree](../../engines/table-engines/mergetree-family/replacingmergetree.md) с виртуальными столбцами `_sign` и `_version`.
@@ -54,13 +79,21 @@ ENGINE = MaterializedMySQL('host:port', ['database' | database], 'user', 'passwo
 | STRING                  | [String](../../sql-reference/data-types/string.md)           |
 | VARCHAR, VAR_STRING     | [String](../../sql-reference/data-types/string.md)           |
 | BLOB                    | [String](../../sql-reference/data-types/string.md)           |
-
+| BINARY                  | [FixedString](../../sql-reference/data-types/fixedstring.md) |
-Другие типы не поддерживаются. Если таблица MySQL содержит столбец другого типа, ClickHouse выдаст исключение "Неподдерживаемый тип данных" ("Unhandled data type") и остановит репликацию.
 
 Тип [Nullable](../../sql-reference/data-types/nullable.md) поддерживается.
 
+Другие типы не поддерживаются. Если таблица MySQL содержит столбец другого типа, ClickHouse выдаст исключение "Неподдерживаемый тип данных" ("Unhandled data type") и остановит репликацию.
+
 ## Особенности и рекомендации {#specifics-and-recommendations}
 
+### Ограничения совместимости {#compatibility-restrictions}
+
+Кроме ограничений на типы данных, существует несколько ограничений по сравнению с базами данных MySQL, которые следует решить до того, как станет возможной репликация:
+
+- Каждая таблица в MySQL должна содержать `PRIMARY KEY`.
+- Репликация для таблиц, содержащих строки со значениями полей `ENUM` вне диапазона значений (определяется размерностью `ENUM`), не будет работать.
+
 ### DDL-запросы {#ddl-queries}
 
 DDL-запросы в MySQL конвертируются в соответствующие DDL-запросы в ClickHouse ([ALTER](../../sql-reference/statements/alter/index.md), [CREATE](../../sql-reference/statements/create/index.md), [DROP](../../sql-reference/statements/drop.md), [RENAME](../../sql-reference/statements/rename.md)). Если ClickHouse не может конвертировать какой-либо DDL-запрос, он его игнорирует.
@@ -161,3 +194,4 @@ SELECT * FROM mysql.test;
 └───┴─────┴──────┘
 ```
 
+[Оригинальная статья](https://clickhouse.tech/docs/ru/engines/database-engines/materialized-mysql/) <!--hide-->

docs/ru/engines/database-engines/materialized-postgresql.md

@@ -0,0 +1,84 @@
+---
+toc_priority: 30
+toc_title: MaterializedPostgreSQL
+---
+
+# [экспериментальный] MaterializedPostgreSQL {#materialize-postgresql}
+
+Создает базу данных ClickHouse с исходным дампом данных таблиц PostgreSQL и запускает процесс репликации, т.е. выполняется применение новых изменений в фоне, как эти изменения происходят в таблице PostgreSQL в удаленной базе данных PostgreSQL.
+
+Сервер ClickHouse работает как реплика PostgreSQL. Он читает WAL и выполняет DML запросы. Данные, полученные в результате DDL запросов, не реплицируются, но сами запросы могут быть обработаны (описано ниже).
+
+## Создание базы данных {#creating-a-database}
+
+``` sql
+CREATE DATABASE [IF NOT EXISTS] db_name [ON CLUSTER cluster]
+ENGINE = MaterializedPostgreSQL('host:port', ['database' | database], 'user', 'password') [SETTINGS ...]
+```
+
+**Параметры движка**
+
+-   `host:port` — адрес сервера PostgreSQL.
+-   `database` — имя базы данных на удалённом сервере.
+-   `user` — пользователь PostgreSQL.
+-   `password` — пароль пользователя.
+
+## Настройки {#settings}
+
+-   [materialized_postgresql_max_block_size](../../operations/settings/settings.md#materialized-postgresql-max-block-size)
+
+-   [materialized_postgresql_tables_list](../../operations/settings/settings.md#materialized-postgresql-tables-list)
+
+-   [materialized_postgresql_allow_automatic_update](../../operations/settings/settings.md#materialized-postgresql-allow-automatic-update)
+
+``` sql
+CREATE DATABASE database1
+ENGINE = MaterializedPostgreSQL('postgres1:5432', 'postgres_database', 'postgres_user', 'postgres_password')
+SETTINGS materialized_postgresql_max_block_size = 65536,
+         materialized_postgresql_tables_list = 'table1,table2,table3';
+
+SELECT * FROM database1.table1;
+```
+
+## Требования {#requirements}
+
+1. Настройка [wal_level](https://postgrespro.ru/docs/postgrespro/10/runtime-config-wal) должна иметь значение `logical`, параметр `max_replication_slots` должен быть равен по меньшей мере `2` в конфигурационном файле в PostgreSQL.
+
+2. Каждая реплицируемая таблица должна иметь один из следующих [репликационных идентификаторов](https://postgrespro.ru/docs/postgresql/10/sql-altertable#SQL-CREATETABLE-REPLICA-IDENTITY):
+
+-   первичный ключ (по умолчанию)
+
+-   индекс
+
+``` bash
+postgres# CREATE TABLE postgres_table (a Integer NOT NULL, b Integer, c Integer NOT NULL, d Integer, e Integer NOT NULL);
+postgres# CREATE unique INDEX postgres_table_index on postgres_table(a, c, e);
+postgres# ALTER TABLE postgres_table REPLICA IDENTITY USING INDEX postgres_table_index;
+```
+
+Первичный ключ всегда проверяется первым. Если он отсутствует, то проверяется индекс, определенный как replica identity index (репликационный идентификатор).
+Если индекс используется в качестве репликационного идентификатора, то в таблице должен быть только один такой индекс.
+Вы можете проверить, какой тип используется для указанной таблицы, выполнив следующую команду:
+
+``` bash
+postgres# SELECT CASE relreplident
+          WHEN 'd' THEN 'default'
+          WHEN 'n' THEN 'nothing'
+          WHEN 'f' THEN 'full'
+          WHEN 'i' THEN 'index'
+       END AS replica_identity
+FROM pg_class
+WHERE oid = 'postgres_table'::regclass;
+```
+
+!!! warning "Предупреждение"
+    Репликация **TOAST**-значений не поддерживается. Для типа данных будет использоваться значение по умолчанию.
+	
+## Пример использования {#example-of-use}
+
+``` sql
+CREATE DATABASE postgresql_db
+ENGINE = MaterializedPostgreSQL('postgres1:5432', 'postgres_database', 'postgres_user', 'postgres_password');
+
+SELECT * FROM postgresql_db.postgres_table;
+```

docs/ru/engines/table-engines/integrations/hdfs.md

@@ -7,7 +7,7 @@ toc_title: HDFS
 
 Управляет данными в HDFS. Данный движок похож на движки [File](../special/file.md#table_engines-file) и [URL](../special/url.md#table_engines-url).
 
-## Использование движка {#ispolzovanie-dvizhka}
+## Использование движка {#usage}
 
 ``` sql
 ENGINE = HDFS(URI, format)
@@ -44,13 +44,13 @@ SELECT * FROM hdfs_engine_table LIMIT 2
 └──────┴───────┘
 ```
 
-## Детали реализации {#detali-realizatsii}
+## Детали реализации {#implementation-details}
 
 -   Поддерживается многопоточное чтение и запись.
+-   Поддерживается репликация без копирования данных ([zero-copy](../../../operations/storing-data.md#zero-copy)).  
 -   Не поддерживается:
     -   использование операций `ALTER` и `SELECT...SAMPLE`;
-    -   индексы;
+    -   индексы.
-    -   репликация.
 
 **Шаблоны в пути**
 
@@ -67,12 +67,12 @@ SELECT * FROM hdfs_engine_table LIMIT 2
 
 1.  Предположим, у нас есть несколько файлов со следующими URI в HDFS:
 
--   ‘hdfs://hdfs1:9000/some_dir/some_file_1’
+-   'hdfs://hdfs1:9000/some_dir/some_file_1'
--   ‘hdfs://hdfs1:9000/some_dir/some_file_2’
+-   'hdfs://hdfs1:9000/some_dir/some_file_2'
--   ‘hdfs://hdfs1:9000/some_dir/some_file_3’
+-   'hdfs://hdfs1:9000/some_dir/some_file_3'
--   ‘hdfs://hdfs1:9000/another_dir/some_file_1’
+-   'hdfs://hdfs1:9000/another_dir/some_file_1'
--   ‘hdfs://hdfs1:9000/another_dir/some_file_2’
+-   'hdfs://hdfs1:9000/another_dir/some_file_2'
--   ‘hdfs://hdfs1:9000/another_dir/some_file_3’
+-   'hdfs://hdfs1:9000/another_dir/some_file_3'
 
 1.  Есть несколько возможностей создать таблицу, состояющую из этих шести файлов:
 
@@ -122,8 +122,9 @@ CREATE TABLE big_table (name String, value UInt32) ENGINE = HDFS('hdfs://hdfs1:9
   </hdfs_root>
 ```
 
-### Список возможных опций конфигурации со значениями по умолчанию
+### Параметры конфигурации {#configuration-options}
-#### Поддерживаемые из libhdfs3
+
+#### Поддерживаемые из libhdfs3 {#supported-by-libhdfs3}
 
 
 | **параметр**                                          | **по умолчанию**        |
@@ -180,7 +181,7 @@ CREATE TABLE big_table (name String, value UInt32) ENGINE = HDFS('hdfs://hdfs1:9
 |hadoop\_kerberos\_principal                            | ""                      |
 |hadoop\_kerberos\_kinit\_command                       | kinit                   |
 
-#### Ограничения {#limitations}
+### Ограничения {#limitations}
   * hadoop\_security\_kerberos\_ticket\_cache\_path могут быть определены только на глобальном уровне
 
 ## Поддержка Kerberos {#kerberos-support}
@@ -193,7 +194,7 @@ CREATE TABLE big_table (name String, value UInt32) ENGINE = HDFS('hdfs://hdfs1:9
 
 Если hadoop\_kerberos\_keytab, hadoop\_kerberos\_principal или hadoop\_kerberos\_kinit\_command указаны в настройках, kinit будет вызван. hadoop\_kerberos\_keytab и hadoop\_kerberos\_principal обязательны в этом случае. Необходимо также будет установить kinit и файлы конфигурации krb5.
 
-## Виртуальные столбцы {#virtualnye-stolbtsy}
+## Виртуальные столбцы {#virtual-columns}
 
 -   `_path` — Путь к файлу.
 -   `_file` — Имя файла.
@@ -201,4 +202,3 @@ CREATE TABLE big_table (name String, value UInt32) ENGINE = HDFS('hdfs://hdfs1:9
 **См. также**
 
 -   [Виртуальные колонки](../../../engines/table-engines/index.md#table_engines-virtual_columns)
-

docs/ru/engines/table-engines/integrations/materialized-postgresql.md

@@ -0,0 +1,55 @@
+---
+toc_priority: 12
+toc_title: MaterializedPostgreSQL
+---
+
+# MaterializedPostgreSQL {#materialize-postgresql}
+
+Создает таблицу ClickHouse с исходным дампом данных таблицы PostgreSQL и запускает процесс репликации, т.е. выполняется применение новых изменений в фоне, как эти изменения происходят в таблице PostgreSQL в удаленной базе данных PostgreSQL.
+
+Если требуется более одной таблицы, вместо движка таблиц рекомендуется использовать движок баз данных [MaterializedPostgreSQL](../../../engines/database-engines/materialized-postgresql.md) и с помощью настройки [materialized_postgresql_tables_list](../../../operations/settings/settings.md#materialized-postgresql-tables-list) указывать таблицы, которые нужно реплицировать. Это будет намного лучше с точки зрения нагрузки на процессор, уменьшит количество подключений и количество слотов репликации внутри удаленной базы данных PostgreSQL.
+
+## Создание таблицы {#creating-a-table}
+
+``` sql
+CREATE TABLE postgresql_db.postgresql_replica (key UInt64, value UInt64)
+ENGINE = MaterializedPostgreSQL('postgres1:5432', 'postgres_database', 'postgresql_replica', 'postgres_user', 'postgres_password')
+PRIMARY KEY key;
+```
+
+**Параметры движка**
+
+-   `host:port` — адрес сервера PostgreSQL.
+-   `database` — имя базы данных на удалённом сервере.
+-   `table` — имя таблицы на удалённом сервере.
+-   `user` — пользователь PostgreSQL.
+-   `password` — пароль пользователя.
+
+## Требования {#requirements}
+
+1. Настройка [wal_level](https://postgrespro.ru/docs/postgrespro/10/runtime-config-wal) должна иметь значение `logical`, параметр `max_replication_slots` должен быть равен по меньшей мере `2` в конфигурационном файле в PostgreSQL.
+
+2. Таблица, созданная с помощью движка `MaterializedPostgreSQL`, должна иметь первичный ключ — такой же, как replica identity index (по умолчанию: первичный ключ) таблицы PostgreSQL (смотрите [replica identity index](../../../engines/database-engines/materialized-postgresql.md#requirements)).
+
+3. Допускается только база данных [Atomic](https://en.wikipedia.org/wiki/Atomicity_(database_systems)).
+
+## Виртуальные столбцы {#virtual-columns}
+
+-   `_version` — счетчик транзакций. Тип: [UInt64](../../../sql-reference/data-types/int-uint.md).
+-   `_sign` — метка удаления. Тип: [Int8](../../../sql-reference/data-types/int-uint.md). Возможные значения:
+    - `1` — строка не удалена, 
+    - `-1` — строка удалена.
+
+Эти столбцы не нужно добавлять при создании таблицы. Они всегда доступны в `SELECT` запросе.
+Столбец `_version` равен позиции `LSN` в `WAL`, поэтому его можно использовать для проверки актуальности репликации.
+
+``` sql
+CREATE TABLE postgresql_db.postgresql_replica (key UInt64, value UInt64)
+ENGINE = MaterializedPostgreSQL('postgres1:5432', 'postgres_database', 'postgresql_replica', 'postgres_user', 'postgres_password')
+PRIMARY KEY key;
+
+SELECT key, value, _version FROM postgresql_db.postgresql_replica;
+```
+
+!!! warning "Предупреждение"
+    Репликация **TOAST**-значений не поддерживается. Для типа данных будет использоваться значение по умолчанию.

docs/ru/engines/table-engines/integrations/s3.md

@@ -47,10 +47,10 @@ SELECT * FROM s3_engine_table LIMIT 2;
 ## Детали реализации {#implementation-details}
 
 -   Чтение и запись могут быть параллельными.
+-   Поддерживается репликация без копирования данных ([zero-copy](../../../operations/storing-data.md#zero-copy)).
 -   Не поддерживаются:
     -   запросы `ALTER` и `SELECT...SAMPLE`,
-    -   индексы,
+    -   индексы.
-    -   репликация.
 
 ## Символы подстановки  {#wildcards-in-path}
 
@@ -72,7 +72,7 @@ SELECT * FROM s3_engine_table LIMIT 2;
 -   `s3_max_redirects` — максимальное количество разрешенных переадресаций S3. Значение по умолчанию — `10`.
 -   `s3_single_read_retries` — максимальное количество попыток запроса при единичном чтении. Значение по умолчанию — `4`.
 
-Соображение безопасности: если злонамеренный пользователь попробует указать произвольные URL-адреса S3, параметр `s3_max_redirects` должен быть установлен в ноль, чтобы избежать атак [SSRF] (https://en.wikipedia.org/wiki/Server-side_request_forgery). Как альтернатива, в конфигурации сервера должен быть указан `remote_host_filter`.
+Соображение безопасности: если злонамеренный пользователь попробует указать произвольные URL-адреса S3, параметр `s3_max_redirects` должен быть установлен в ноль, чтобы избежать атак [SSRF](https://en.wikipedia.org/wiki/Server-side_request_forgery). Как альтернатива, в конфигурации сервера должен быть указан `remote_host_filter`.
 
 ## Настройки точки приема запроса {#endpoint-settings}
 

docs/ru/engines/table-engines/mergetree-family/mergetree.md

@@ -68,7 +68,7 @@ ORDER BY expr
 
 -   `SAMPLE BY` — выражение для сэмплирования. Необязательный параметр.
 
-    Если используется выражение для сэмплирования, то первичный ключ должен содержать его. Пример: `SAMPLE BY intHash32(UserID) ORDER BY (CounterID, EventDate, intHash32(UserID))`.
+    Если используется выражение для сэмплирования, то первичный ключ должен содержать его. Результат выражения для сэмплирования должен быть беззнаковым целым числом. Пример: `SAMPLE BY intHash32(UserID) ORDER BY (CounterID, EventDate, intHash32(UserID))`.
 
 -   `TTL` — список правил, определяющих длительности хранения строк, а также задающих правила перемещения частей на определённые тома или диски. Необязательный параметр.
 
@@ -375,6 +375,24 @@ INDEX b (u64 * length(str), i32 + f64 * 100, date, str) TYPE set(100) GRANULARIT
     -   `s != 1`
     -   `NOT startsWith(s, 'test')`
 
+### Проекции {#projections}
+Проекции похожи на материализованные представления, но определяются на уровне партов. Это обеспечивает гарантии согласованности наряду с автоматическим использованием в запросах.
+
+#### Запрос {#projection-query}
+Запрос проекции — это то, что определяет проекцию. Он имеет следующую грамматику:
+
+`SELECT <COLUMN LIST EXPR> [GROUP BY] [ORDER BY]`
+
+Он неявно выбирает данные из родительской таблицы.
+
+#### Хранение {#projection-storage}
+Проекции хранятся в каталоге парта. Это похоже на хранение индексов, но используется подкаталог, в котором хранится анонимный парт таблицы MergeTree. Таблица создается запросом определения проекции. Если есть конструкция GROUP BY, то базовый механизм хранения становится AggregatedMergeTree, а все агрегатные функции преобразуются в AggregateFunction. Если есть конструкция ORDER BY, таблица MergeTree будет использовать его в качестве выражения первичного ключа. Во время процесса слияния парт проекции будет слит с помощью процедуры слияния ее хранилища. Контрольная сумма парта родительской таблицы будет включать парт проекции. Другие процедуры аналогичны индексам пропуска данных.
+
+#### Анализ запросов {#projection-query-analysis}
+1. Проверить, можно ли использовать проекцию в данном запросе, то есть, что с ней выходит тот же результат, что и с запросом к базовой таблице.
+2. Выбрать наиболее подходящее совпадение, содержащее наименьшее количество гранул для чтения.
+3. План запроса, который использует проекции, будет отличаться от того, который использует исходные парты. При отсутствии проекции в некоторых партах можно расширить план, чтобы «проецировать» на лету.
+
 ## Конкурентный доступ к данным {#concurrent-data-access}
 
 Для конкурентного доступа к таблице используется мультиверсионность. То есть, при одновременном чтении и обновлении таблицы, данные будут читаться из набора кусочков, актуального на момент запроса. Длинных блокировок нет. Вставки никак не мешают чтениям.

docs/ru/engines/table-engines/special/join.md

@@ -27,68 +27,30 @@ CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster]
 
 Вводите параметры `join_strictness` и `join_type` без кавычек, например, `Join(ANY, LEFT, col1)`. Они должны быть такими же как и в той операции `JOIN`, в которой таблица будет использоваться. Если параметры не совпадают, ClickHouse не генерирует исключение и может возвращать неверные данные.
 
-## Использование таблицы {#ispolzovanie-tablitsy}
+## Особенности и рекомендации {#specifics-and-recommendations}
 
-### Пример {#primer}
+### Хранение данных {#data-storage}
 
-Создание левой таблицы:
+Данные таблиц `Join` всегда находятся в оперативной памяти. При вставке строк в таблицу ClickHouse записывает блоки данных в каталог на диске, чтобы их можно было восстановить при перезапуске сервера.
 
-``` sql
+При аварийном перезапуске сервера блок данных на диске может быть потерян или повреждён. В последнем случае может потребоваться вручную удалить файл с повреждёнными данными.
-CREATE TABLE id_val(`id` UInt32, `val` UInt32) ENGINE = TinyLog
-```
 
-``` sql
+### Выборка и добавление данных {#selecting-and-inserting-data}
-INSERT INTO id_val VALUES (1,11)(2,12)(3,13)
-```
-
-Создание правой таблицы с движком `Join`:
-
-``` sql
-CREATE TABLE id_val_join(`id` UInt32, `val` UInt8) ENGINE = Join(ANY, LEFT, id)
-```
-
-``` sql
-INSERT INTO id_val_join VALUES (1,21)(1,22)(3,23)
-```
-
-Объединение таблиц:
-
-``` sql
-SELECT * FROM id_val ANY LEFT JOIN id_val_join USING (id) SETTINGS join_use_nulls = 1
-```
-
-``` text
-┌─id─┬─val─┬─id_val_join.val─┐
-│  1 │  11 │              21 │
-│  2 │  12 │            ᴺᵁᴸᴸ │
-│  3 │  13 │              23 │
-└────┴─────┴─────────────────┘
-```
-
-В качестве альтернативы, можно извлечь данные из таблицы `Join`, указав значение ключа объединения:
-
-``` sql
-SELECT joinGet('id_val_join', 'val', toUInt32(1))
-```
-
-``` text
-┌─joinGet('id_val_join', 'val', toUInt32(1))─┐
-│                                         21 │
-└────────────────────────────────────────────┘
-```
-
-### Выборка и вставка данных {#vyborka-i-vstavka-dannykh}
 
 Для добавления данных в таблицы с движком `Join` используйте запрос `INSERT`. Если таблица создавалась со строгостью `ANY`, то данные с повторяющимися ключами игнорируются. Если задавалась строгость `ALL`, то добавляются все строки.
 
-Из таблиц нельзя выбрать данные с помощью запроса `SELECT`. Вместо этого, используйте один из следующих методов:
+Основные применения `Join` таблиц:
 
--   Используйте таблицу как правую в секции `JOIN`.
+-   Использование в правой части секции `JOIN`.
--   Используйте функцию [joinGet](../../../engines/table-engines/special/join.md#joinget), которая позволяет извлекать данные из таблицы таким же образом как из словаря.
+-   Извлечение данных из таблицы таким же образом как из словаря с помощью функции [joinGet](../../../engines/table-engines/special/join.md#joinget).
+
+### Удаление данных {#deleting-data}
+
+Запросы `ALTER DELETE` для таблиц с движком `Join` выполняются как [мутации](../../../sql-reference/statements/alter/index.md#mutations). При выполнении мутации `DELETE` считываются отфильтрованные данные и перезаписываются в оперативную память и на диск.
 
 ### Ограничения и настройки {#join-limitations-and-settings}
 
-При создании таблицы, применяются следующие параметры :
+При создании таблицы применяются следующие настройки:
 
 -   [join_use_nulls](../../../operations/settings/settings.md#join_use_nulls)
 -   [max_rows_in_join](../../../operations/settings/query-complexity.md#settings-max_rows_in_join)
@@ -99,11 +61,64 @@ SELECT joinGet('id_val_join', 'val', toUInt32(1))
 
 Таблицы с движком `Join` нельзя использовать в операциях `GLOBAL JOIN`.
 
-Движок `Join` позволяет использовать параметр [join_use_nulls](../../../operations/settings/settings.md#join_use_nulls) в запросе `CREATE TABLE`, который также можно использовать в запросе [SELECT](../../../engines/table-engines/special/join.md). Если у вас разные настройки `join_use_nulls`, вы можете получить сообщение об ошибке при объединении таблиц. Это зависит от типа соединения. Когда вы используете функцию [joinGet](../../../engines/table-engines/special/join.md#joinget), вам необходимо использовать один и тот же параметр `join_use_nulls` в запросах `CRATE TABLE` и `SELECT`.
+Движок `Join` позволяет использовать настройку [join_use_nulls](../../../operations/settings/settings.md#join_use_nulls) в запросе `CREATE TABLE`. Необходимо использовать одно и то же значение параметра `join_use_nulls` в запросах `CRATE TABLE` и `SELECT`.
 
-## Хранение данных {#khranenie-dannykh}
+## Примеры использования {#example}
 
-Данные таблиц `Join` всегда находятся в RAM. При вставке строк в таблицу ClickHouse записывает блоки данных в каталог на диске, чтобы их можно было восстановить при перезапуске сервера.
+Создание левой таблицы:
 
-При аварийном перезапуске сервера блок данных на диске может быть потерян или повреждён. В последнем случае, может потребоваться вручную удалить файл с повреждёнными данными.
+``` sql
+CREATE TABLE id_val(`id` UInt32, `val` UInt32) ENGINE = TinyLog;
+```
 
+``` sql
+INSERT INTO id_val VALUES (1,11)(2,12)(3,13);
+```
+
+Создание правой таблицы с движком `Join`:
+
+``` sql
+CREATE TABLE id_val_join(`id` UInt32, `val` UInt8) ENGINE = Join(ANY, LEFT, id);
+```
+
+``` sql
+INSERT INTO id_val_join VALUES (1,21)(1,22)(3,23);
+```
+
+Объединение таблиц:
+
+``` sql
+SELECT * FROM id_val ANY LEFT JOIN id_val_join USING (id);
+```
+
+``` text
+┌─id─┬─val─┬─id_val_join.val─┐
+│  1 │  11 │              21 │
+│  2 │  12 │               0 │
+│  3 │  13 │              23 │
+└────┴─────┴─────────────────┘
+```
+
+В качестве альтернативы, можно извлечь данные из таблицы `Join`, указав значение ключа объединения:
+
+``` sql
+SELECT joinGet('id_val_join', 'val', toUInt32(1));
+```
+
+``` text
+┌─joinGet('id_val_join', 'val', toUInt32(1))─┐
+│                                         21 │
+└────────────────────────────────────────────┘
+```
+
+Удаление данных из таблицы `Join`:
+
+```sql
+ALTER TABLE id_val_join DELETE WHERE id = 3;
+```
+
+```text
+┌─id─┬─val─┐
+│  1 │  21 │
+└────┴─────┘
+```

docs/ru/operations/server-configuration-parameters/settings.md

@@ -134,6 +134,25 @@ ClickHouse проверяет условия для `min_part_size` и `min_part
 <default_profile>default</default_profile>
 ```
 
+## default_replica_path {#default_replica_path}
+
+Путь к таблице в ZooKeeper.
+
+**Пример**
+
+``` xml
+<default_replica_path>/clickhouse/tables/{uuid}/{shard}</default_replica_path>
+```
+## default_replica_name {#default_replica_name}
+
+Имя реплики в ZooKeeper.
+
+**Пример**
+
+``` xml
+<default_replica_name>{replica}</default_replica_name>
+```
+
 ## dictionaries_config {#server_configuration_parameters-dictionaries_config}
 
 Путь к конфигурации внешних словарей.

docs/ru/operations/settings/settings.md

@@ -109,6 +109,21 @@ ClickHouse применяет настройку в тех случаях, ко
 
 Имеет смысл выключать, если на сервере миллионы мелких таблиц-чанков, которые постоянно создаются и уничтожаются.
 
+## function_range_max_elements_in_block {#settings-function_range_max_elements_in_block}
+
+Устанавливает порог безопасности для объема данных, создаваемого функцией [range](../../sql-reference/functions/array-functions.md#range). Задаёт максимальное количество значений, генерируемых функцией на блок данных (сумма размеров массивов для каждой строки в блоке).
+
+Возможные значения:
+
+-   Положительное целое.
+
+Значение по умолчанию: `500 000 000`.
+
+**См. также**
+
+-   [max_block_size](#setting-max_block_size)
+-   [min_insert_block_size_rows](#min-insert-block-size-rows)
+
 ## enable_http_compression {#settings-enable_http_compression}
 
 Включает или отключает сжатие данных в ответе на HTTP-запрос.
@@ -3195,3 +3210,30 @@ SETTINGS index_granularity = 8192 │
 -   1 — тип `LowCardinality` конвертируется в тип `DICTIONARY`.
 
 Значение по умолчанию: `0`.
+
+## materialized_postgresql_max_block_size {#materialized-postgresql-max-block-size}
+
+Задает максимальное количество строк, собранных в памяти перед вставкой данных в таблицу базы данных PostgreSQL.
+
+Возможные значения:
+
+-   Положительное целое число.
+
+Значение по умолчанию: `65536`.
+
+## materialized_postgresql_tables_list {#materialized-postgresql-tables-list}
+
+Задает список таблиц базы данных PostgreSQL, разделенных запятыми, которые будут реплицироваться с помощью движка базы данных [MaterializedPostgreSQL](../../engines/database-engines/materialized-postgresql.md).
+
+Значение по умолчанию: пустой список — база данных PostgreSQL будет полностью реплицирована.
+
+## materialized_postgresql_allow_automatic_update {#materialized-postgresql-allow-automatic-update}
+
+Позволяет автоматически обновить таблицу в фоновом режиме при обнаружении изменений схемы. DDL-запросы на стороне сервера PostgreSQL не реплицируются с помощью движка ClickHouse [MaterializedPostgreSQL](../../engines/database-engines/materialized-postgresql.md), поскольку это запрещено протоколом логической репликации PostgreSQL, но факт DDL-измененений обнаруживается транзакционно.  После обнаружения DDL по умолчанию прекращается репликация этих таблиц. Однако, если эта настройка включена, то вместо остановки репликации, таблицы будут перезагружены в фоновом режиме с помощью снимка базы данных без потери информации, и репликация для них будет продолжена.
+
+Возможные значения:
+
+-   0 — таблица не обновляется автоматически в фоновом режиме при обнаружении изменений схемы.
+-   1 — таблица обновляется автоматически в фоновом режиме при обнаружении изменений схемы.
+
+Значение по умолчанию: `0`.

docs/ru/operations/storing-data.md

@@ -0,0 +1,14 @@
+---
+toc_priority: 68
+toc_title: "Хранение данных на внешних дисках"
+---
+
+# Хранение данных на внешних дисках {#external-disks}
+
+Данные, которые обрабатываются в ClickHouse, обычно хранятся в файловой системе локально, где развернут сервер ClickHouse. При этом для хранения данных требуются диски большого объема, которые могут быть довольно дорогостоящими. Решением проблемы может стать хранение данных отдельно от сервера — в распределенных файловых системах — [Amazon s3](https://aws.amazon.com/s3/) или Hadoop ([HDFS](https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html)). 
+
+Для работы с данными, хранящимися в файловой системе `Amazon s3`, используйте движок [s3](../engines/table-engines/integrations/s3.md), а для работы с данными в файловой системе Hadoop — движок [HDFS](../engines/table-engines/integrations/hdfs.md). 
+
+## Репликация без копирования данных {#zero-copy}
+
+Для дисков `s3` и `HDFS` в ClickHouse поддерживается репликация без копирования данных (zero-copy): если данные хранятся на нескольких репликах, то при синхронизации пересылаются только метаданные (пути к кускам данных), а сами данные не копируются.

docs/ru/sql-reference/aggregate-functions/parametric-functions.md

@@ -172,7 +172,7 @@ SELECT sequenceMatch('(?1)(?2)')(time, number = 1, number = 2, number = 4) FROM
 
 ## sequenceCount(pattern)(time, cond1, cond2, …) {#function-sequencecount}
 
-Вычисляет количество цепочек событий, соответствующих шаблону. Функция обнаруживает только непересекающиеся цепочки событий. Она начитает искать следующую цепочку только после того, как полностью совпала текущая цепочка событий.
+Вычисляет количество цепочек событий, соответствующих шаблону. Функция обнаруживает только непересекающиеся цепочки событий. Она начинает искать следующую цепочку только после того, как полностью совпала текущая цепочка событий.
 
 !!! warning "Предупреждение"
     События, произошедшие в одну и ту же секунду, располагаются в последовательности в неопределенном порядке, что может повлиять на результат работы функции.

docs/ru/sql-reference/functions/array-functions.md

@@ -7,19 +7,89 @@ toc_title: "Массивы"
 
 ## empty {#function-empty}
 
-Возвращает 1 для пустого массива, и 0 для непустого массива.
+Проверяет, является ли входной массив пустым.
-Тип результата - UInt8.
-Функция также работает для строк.
 
-Функцию можно оптимизировать, если включить настройку [optimize_functions_to_subcolumns](../../operations/settings/settings.md#optimize-functions-to-subcolumns). При `optimize_functions_to_subcolumns = 1` функция читает только подстолбец [size0](../../sql-reference/data-types/array.md#array-size) вместо чтения и обработки всего столбца массива. Запрос `SELECT empty(arr) FROM table` преобразуется к запросу `SELECT arr.size0 = 0 FROM TABLE`.
+**Синтаксис**
+
+``` sql
+empty([x])
+```
+
+Массив считается пустым, если он не содержит ни одного элемента.
+
+!!! note "Примечание"
+    Функцию можно оптимизировать, если включить настройку [optimize_functions_to_subcolumns](../../operations/settings/settings.md#optimize-functions-to-subcolumns). При `optimize_functions_to_subcolumns = 1` функция читает только подстолбец [size0](../../sql-reference/data-types/array.md#array-size) вместо чтения и обработки всего столбца массива. Запрос `SELECT empty(arr) FROM TABLE` преобразуется к запросу `SELECT arr.size0 = 0 FROM TABLE`.
+
+Функция также поддерживает работу с типами [String](string-functions.md#empty) и [UUID](uuid-functions.md#empty).
+
+**Параметры**
+
+-   `[x]` — массив на входе функции. [Array](../data-types/array.md).
+
+**Возвращаемое значение**
+
+-   Возвращает `1` для пустого массива или `0` — для непустого массива.
+
+Тип: [UInt8](../data-types/int-uint.md).
+
+**Пример**
+
+Запрос:
+
+```sql
+SELECT empty([]);
+```
+
+Ответ:
+
+```text
+┌─empty(array())─┐
+│              1 │
+└────────────────┘
+```
 
 ## notEmpty {#function-notempty}
 
-Возвращает 0 для пустого массива, и 1 для непустого массива.
+Проверяет, является ли входной массив непустым.
-Тип результата - UInt8.
-Функция также работает для строк.
 
-Функцию можно оптимизировать, если включить настройку [optimize_functions_to_subcolumns](../../operations/settings/settings.md#optimize-functions-to-subcolumns). При `optimize_functions_to_subcolumns = 1` функция читает только подстолбец [size0](../../sql-reference/data-types/array.md#array-size) вместо чтения и обработки всего столбца массива. Запрос `SELECT notEmpty(arr) FROM table` преобразуется к запросу `SELECT arr.size0 != 0 FROM TABLE`.
+**Синтаксис**
+
+``` sql
+notEmpty([x])
+```
+
+Массив считается непустым, если он содержит хотя бы один элемент.
+
+!!! note "Примечание"
+    Функцию можно оптимизировать, если включить настройку [optimize_functions_to_subcolumns](../../operations/settings/settings.md#optimize-functions-to-subcolumns). При `optimize_functions_to_subcolumns = 1` функция читает только подстолбец [size0](../../sql-reference/data-types/array.md#array-size) вместо чтения и обработки всего столбца массива. Запрос `SELECT notEmpty(arr) FROM table` преобразуется к запросу `SELECT arr.size0 != 0 FROM TABLE`.
+
+Функция также поддерживает работу с типами [String](string-functions.md#notempty) и [UUID](uuid-functions.md#notempty).
+
+**Параметры**
+
+-   `[x]` — массив на входе функции. [Array](../data-types/array.md).
+
+**Возвращаемое значение**
+
+-   Возвращает `1` для непустого массива или `0` — для пустого массива.
+
+Тип: [UInt8](../data-types/int-uint.md).
+
+**Пример**
+
+Запрос:
+
+```sql
+SELECT notEmpty([1,2]);
+```
+
+Результат:
+
+```text
+┌─notEmpty([1, 2])─┐
+│                1 │
+└──────────────────┘
+```
 
 ## length {#array_functions-length}
 
@@ -62,18 +132,15 @@ range([start, ] end [, step])
 -   `end` — конец диапазона. Обязательный аргумент. Должен быть больше, чем `start`. Тип: [UInt](../data-types/int-uint.md)
 -   `step` — шаг обхода. Необязательный аргумент. По умолчанию равен `1`. Тип: [UInt](../data-types/int-uint.md)
 
-
 **Возвращаемые значения**
 
 -   массив `UInt` чисел от `start` до `end - 1` с шагом `step`
 
-
 **Особенности реализации**
 
 -   Не поддерживаются отрицательные значения аргументов: `start`, `end`, `step` имеют тип `UInt`.
 
--   Если в результате запроса создаются массивы суммарной длиной больше 100 000 000 элементов, то генерируется исключение.
+-   Если в результате запроса создаются массивы суммарной длиной больше, чем количество элементов, указанное настройкой [function_range_max_elements_in_block](../../operations/settings/settings.md#settings-function_range_max_elements_in_block), то генерируется исключение.
-
 
 **Примеры**
 

docs/ru/sql-reference/functions/conditional-functions.md

@@ -7,7 +7,7 @@ toc_title: "Условные функции"
 
 ## if {#if}
 
-Условное выражение. В отличии от большинства систем, ClickHouse всегда считает оба выражения `then` и `else`.
+Условное выражение. В отличие от большинства систем, ClickHouse всегда считает оба выражения `then` и `else`.
 
 **Синтаксис**
 

docs/ru/sql-reference/functions/other-functions.md

@@ -2137,3 +2137,51 @@ defaultProfiles()
 -   Список профилей по умолчанию.
 
 Тип: [Array](../../sql-reference/data-types/array.md)([String](../../sql-reference/data-types/string.md)).
+
+## currentRoles {#current-roles}
+
+Возвращает список текущих ролей для текущего пользователя. Список ролей пользователя можно изменить с помощью выражения [SET ROLE](../../sql-reference/statements/set-role.md#set-role-statement). Если выражение `SET ROLE` не использовалось, данная функция возвращает тот же результат, что и функция [defaultRoles](#default-roles).
+
+**Синтаксис**
+
+``` sql
+currentRoles()
+```
+
+**Возвращаемое значение**
+
+-   Список текущих ролей для текущего пользователя. 
+
+Тип: [Array](../../sql-reference/data-types/array.md)([String](../../sql-reference/data-types/string.md)).
+
+## enabledRoles {#enabled-roles}
+
+Возвращает имена текущих ролей, а также ролей, которые разрешено использовать текущему пользователю путем назначения привилегий.
+
+**Синтаксис**
+
+``` sql
+enabledRoles()
+```
+
+**Возвращаемое значение**
+
+-   Список доступных ролей для текущего пользователя. 
+
+Тип: [Array](../../sql-reference/data-types/array.md)([String](../../sql-reference/data-types/string.md)).
+
+## defaultRoles {#default-roles}
+
+Возвращает имена ролей, которые задаются по умолчанию для текущего пользователя при входе в систему. Изначально это все роли, которые разрешено использовать текущему пользователю (см. [GRANT](../../sql-reference/statements/grant/#grant-select)). Список ролей по умолчанию может быть изменен с помощью выражения [SET DEFAULT ROLE](../../sql-reference/statements/set-role.md#set-default-role-statement). 
+
+**Синтаксис**
+
+``` sql
+defaultRoles()
+```
+
+**Возвращаемое значение**
+
+-   Список ролей по умолчанию. 
+
+Тип: [Array](../../sql-reference/data-types/array.md)([String](../../sql-reference/data-types/string.md)).

docs/ru/sql-reference/functions/string-functions.md

@@ -7,16 +7,83 @@ toc_title: "Функции для работы со строками"
 
 ## empty {#empty}
 
-Возвращает 1 для пустой строки, и 0 для непустой строки.
+Проверяет, является ли входная строка пустой.
-Тип результата — UInt8.
+
-Строка считается непустой, если содержит хотя бы один байт, пусть даже это пробел или нулевой байт.
+**Синтаксис**
-Функция также работает для массивов.
+
+``` sql
+empty(x)
+```
+
+Строка считается непустой, если содержит хотя бы один байт, пусть даже это пробел или нулевой байт. 
+
+Функция также поддерживает работу с типами [Array](array-functions.md#function-empty) и [UUID](uuid-functions.md#empty).
+
+**Параметры**
+
+-   `x` — Входная строка. [String](../data-types/string.md).
+
+**Возвращаемое значение**
+
+-   Возвращает `1` для пустой строки и `0` — для непустой строки.
+
+Тип: [UInt8](../data-types/int-uint.md).
+
+**Пример**
+
+Запрос:
+
+```sql
+SELECT notempty('text');
+```
+
+Результат:
+
+```text
+┌─empty('')─┐
+│         1 │
+└───────────┘
+```
 
 ## notEmpty {#notempty}
 
-Возвращает 0 для пустой строки, и 1 для непустой строки.
+Проверяет, является ли входная строка непустой.
-Тип результата — UInt8.
+
-Функция также работает для массивов.
+**Синтаксис**
+
+``` sql
+notEmpty(x)
+```
+
+Строка считается непустой, если содержит хотя бы один байт, пусть даже это пробел или нулевой байт. 
+
+Функция также поддерживает работу с типами [Array](array-functions.md#function-notempty) и [UUID](uuid-functions.md#notempty).
+
+**Параметры**
+
+-   `x` — Входная строка. [String](../data-types/string.md).
+
+**Возвращаемое значение**
+
+-   Возвращает `1` для непустой строки и `0` — для пустой строки.
+
+Тип: [UInt8](../data-types/int-uint.md).
+
+**Пример**
+
+Запрос:
+
+```sql
+SELECT notEmpty('text');
+```
+
+Результат:
+
+```text
+┌─notEmpty('text')─┐
+│                1 │
+└──────────────────┘
+```
 
 ## length {#length}
 
@@ -39,6 +106,158 @@ toc_title: "Функции для работы со строками"
 Возвращает длину строки в кодовых точках Unicode (не символах), при допущении, что строка содержит набор байтов, являющийся текстом в кодировке UTF-8. Если допущение не выполнено, возвращает какой-нибудь результат (не кидает исключение).
 Тип результата — UInt64.
 
+## leftPad {#leftpad}
+
+Дополняет текущую строку слева пробелами или указанной строкой (несколько раз, если необходимо), пока результирующая строка не достигнет заданной длины. Соответствует MySQL функции `LPAD`.
+
+**Синтаксис**
+
+``` sql
+leftPad('string', 'length'[, 'pad_string'])
+```
+
+**Параметры**
+
+-   `string` — входная строка, которую необходимо дополнить. [String](../data-types/string.md).
+-   `length` — длина результирующей строки. [UInt](../data-types/int-uint.md). Если указанное значение меньше, чем длина входной строки, то входная строка возвращается как есть.
+-   `pad_string` — строка, используемая для дополнения входной строки. [String](../data-types/string.md). Необязательный параметр. Если не указано, то входная строка дополняется пробелами.
+
+**Возвращаемое значение**
+
+-   Результирующая строка заданной длины.
+
+Type: [String](../data-types/string.md).
+
+**Пример**
+
+Запрос:
+
+``` sql
+SELECT leftPad('abc', 7, '*'), leftPad('def', 7);
+```
+
+Результат:
+
+``` text
+┌─leftPad('abc', 7, '*')─┬─leftPad('def', 7)─┐
+│ ****abc                │     def           │
+└────────────────────────┴───────────────────┘
+```
+
+## leftPadUTF8 {#leftpadutf8}
+
+Дополняет текущую строку слева пробелами или указанной строкой (несколько раз, если необходимо), пока результирующая строка не достигнет заданной длины. Соответствует MySQL функции `LPAD`. В отличие от функции [leftPad](#leftpad), измеряет длину строки не в байтах, а в кодовых точках Unicode.
+
+**Синтаксис**
+
+``` sql
+leftPadUTF8('string','length'[, 'pad_string'])
+```
+
+**Параметры**
+
+-   `string` — входная строка, которую необходимо дополнить. [String](../data-types/string.md).
+-   `length` — длина результирующей строки. [UInt](../data-types/int-uint.md). Если указанное значение меньше, чем длина входной строки, то входная строка возвращается как есть.
+-   `pad_string` — строка, используемая для дополнения входной строки. [String](../data-types/string.md). Необязательный параметр. Если не указано, то входная строка дополняется пробелами.
+
+**Возвращаемое значение**
+
+-   Результирующая строка заданной длины.
+
+Type: [String](../data-types/string.md).
+
+**Пример**
+
+Запрос:
+
+``` sql
+SELECT leftPadUTF8('абвг', 7, '*'), leftPadUTF8('дежз', 7);
+```
+
+Результат:
+
+``` text
+┌─leftPadUTF8('абвг', 7, '*')─┬─leftPadUTF8('дежз', 7)─┐
+│ ***абвг                     │    дежз                │
+└─────────────────────────────┴────────────────────────┘
+```
+
+## rightPad {#rightpad}
+
+Дополняет текущую строку справа пробелами или указанной строкой (несколько раз, если необходимо), пока результирующая строка не достигнет заданной длины. Соответствует MySQL функции `RPAD`.
+
+**Синтаксис**
+
+``` sql
+rightPad('string', 'length'[, 'pad_string'])
+```
+
+**Параметры**
+
+-   `string` — входная строка, которую необходимо дополнить. [String](../data-types/string.md).
+-   `length` — длина результирующей строки. [UInt](../data-types/int-uint.md). Если указанное значение меньше, чем длина входной строки, то входная строка возвращается как есть.
+-   `pad_string` — строка, используемая для дополнения входной строки. [String](../data-types/string.md). Необязательный параметр. Если не указано, то входная строка дополняется пробелами.
+
+**Возвращаемое значение**
+
+-   Результирующая строка заданной длины.
+
+Type: [String](../data-types/string.md).
+
+**Пример**
+
+Запрос:
+
+``` sql
+SELECT rightPad('abc', 7, '*'), rightPad('abc', 7);
+```
+
+Результат:
+
+``` text
+┌─rightPad('abc', 7, '*')─┬─rightPad('abc', 7)─┐
+│ abc****                 │ abc                │
+└─────────────────────────┴────────────────────┘
+```
+
+## rightPadUTF8 {#rightpadutf8}
+
+Дополняет текущую строку слева пробелами или указанной строкой (несколько раз, если необходимо), пока результирующая строка не достигнет заданной длины. Соответствует MySQL функции `RPAD`. В отличие от функции [rightPad](#rightpad), измеряет длину строки не в байтах, а в кодовых точках Unicode.
+
+**Синтаксис**
+
+``` sql
+rightPadUTF8('string','length'[, 'pad_string'])
+```
+
+**Параметры**
+
+-   `string` — входная строка, которую необходимо дополнить. [String](../data-types/string.md).
+-   `length` — длина результирующей строки. [UInt](../data-types/int-uint.md). Если указанное значение меньше, чем длина входной строки, то входная строка возвращается как есть.
+-   `pad_string` — строка, используемая для дополнения входной строки. [String](../data-types/string.md). Необязательный параметр. Если не указано, то входная строка дополняется пробелами.
+
+**Возвращаемое значение**
+
+-   Результирующая строка заданной длины.
+
+Type: [String](../data-types/string.md).
+
+**Пример**
+
+Запрос:
+
+``` sql
+SELECT rightPadUTF8('абвг', 7, '*'), rightPadUTF8('абвг', 7);
+```
+
+Результат:
+
+``` text
+┌─rightPadUTF8('абвг', 7, '*')─┬─rightPadUTF8('абвг', 7)─┐
+│ абвг***                      │ абвг                    │
+└──────────────────────────────┴─────────────────────────┘
+```
+
 ## lower, lcase {#lower}
 
 Переводит ASCII-символы латиницы в строке в нижний регистр.

docs/ru/sql-reference/functions/uuid-functions.md

@@ -35,6 +35,90 @@ SELECT * FROM t_uuid
 └──────────────────────────────────────┘
 ```
 
+## empty {#empty}
+
+Проверяет, является ли входной UUID пустым.
+
+**Синтаксис**
+
+```sql
+empty(UUID)
+```
+
+UUID считается пустым, если он содержит все нули (нулевой UUID).
+
+Функция также поддерживает работу с типами [Array](array-functions.md#function-empty) и [String](string-functions.md#empty).
+
+**Параметры**
+
+-   `x` — UUID на входе функции. [UUID](../data-types/uuid.md).
+
+**Возвращаемое значение**
+
+-   Возвращает `1` для пустого UUID или `0` — для непустого UUID.
+
+Тип: [UInt8](../data-types/int-uint.md).
+
+**Пример**
+
+Для генерации UUID-значений предназначена функция [generateUUIDv4](#uuid-function-generate).
+
+Запрос:
+
+```sql
+SELECT empty(generateUUIDv4());
+```
+
+Ответ:
+
+```text
+┌─empty(generateUUIDv4())─┐
+│                       0 │
+└─────────────────────────┘
+```
+
+## notEmpty {#notempty}
+
+Проверяет, является ли входной UUID непустым.
+
+**Синтаксис**
+
+```sql
+notEmpty(UUID)
+```
+
+UUID считается пустым, если он содержит все нули (нулевой UUID).
+
+Функция также поддерживает работу с типами [Array](array-functions.md#function-notempty) и [String](string-functions.md#function-notempty).
+
+**Параметры**
+
+-   `x` — UUID на входе функции. [UUID](../data-types/uuid.md).
+
+**Возвращаемое значение**
+
+-   Возвращает `1` для непустого UUID или `0` — для пустого UUID.
+
+Тип: [UInt8](../data-types/int-uint.md).
+
+**Пример**
+
+Для генерации UUID-значений предназначена функция [generateUUIDv4](#uuid-function-generate).
+
+Запрос:
+
+```sql
+SELECT notEmpty(generateUUIDv4());
+```
+
+Результат:
+
+```text
+┌─notEmpty(generateUUIDv4())─┐
+│                          1 │
+└────────────────────────────┘
+```
+
 ## toUUID (x) {#touuid-x}
 
 Преобразует значение типа String в тип UUID.

docs/ru/sql-reference/statements/alter/projection.md

@@ -0,0 +1,23 @@
+---
+toc_priority: 49
+toc_title: PROJECTION
+---
+
+# Манипуляции с проекциями {#manipulations-with-projections}
+
+Доступны следующие операции:
+
+-   `ALTER TABLE [db].name ADD PROJECTION name AS SELECT <COLUMN LIST EXPR> [GROUP BY] [ORDER BY]` — добавляет описание проекции в метаданные.
+
+-   `ALTER TABLE [db].name DROP PROJECTION name` — удаляет описание проекции из метаданных и удаляет файлы проекции с диска.
+
+-   `ALTER TABLE [db.]table MATERIALIZE PROJECTION name IN PARTITION partition_name` — перестраивает проекцию в указанной партиции. Реализовано как [мутация](../../../sql-reference/statements/alter/index.md#mutations).
+
+-   `ALTER TABLE [db.]table CLEAR PROJECTION name IN PARTITION partition_name` — удаляет файлы проекции с диска без удаления описания.
+
+Комманды ADD, DROP и CLEAR — легковесны, поскольку они только меняют метаданные или удаляют файлы.
+
+Также команды реплицируются, синхронизируя описания проекций в метаданных с помощью ZooKeeper.
+
+!!! note "Note"
+    Манипуляции с проекциями поддерживаются только для таблиц с движком [`*MergeTree`](../../../engines/table-engines/mergetree-family/mergetree.md) (включая [replicated](../../../engines/table-engines/mergetree-family/replication.md) варианты).

docs/ru/sql-reference/statements/attach.md

@@ -3,16 +3,23 @@ toc_priority: 40
 toc_title: ATTACH
 ---
 
-# ATTACH Statement {#attach}
+# ATTACH {#attach}
 
-Выполняет подключение таблицы, например, при перемещении базы данных на другой сервер.
+Выполняет подключение таблицы или словаря, например, при перемещении базы данных на другой сервер.
 
-Запрос не создаёт данные на диске, а предполагает, что данные уже лежат в соответствующих местах, и всего лишь добавляет информацию о таблице на сервер. После выполнения запроса `ATTACH` сервер будет знать о существовании таблицы.
+**Синтаксис**
+
+``` sql
+ATTACH TABLE|DICTIONARY [IF NOT EXISTS] [db.]name [ON CLUSTER cluster] ...
+```
+
+Запрос не создаёт данные на диске, а предполагает, что данные уже лежат в соответствующих местах, и всего лишь добавляет информацию о таблице или словаре на сервер. После выполнения запроса `ATTACH` сервер будет знать о существовании таблицы или словаря.
 
 Если таблица перед этим была отключена при помощи ([DETACH](../../sql-reference/statements/detach.md)), т.е. её структура известна, можно использовать сокращенную форму записи без определения структуры.
 
-## Варианты синтаксиса {#syntax-forms}
+## Присоединение существующей таблицы {#attach-existing-table}
-### Присоединение существующей таблицы {#attach-existing-table}
+
+**Синтаксис**
 
 ``` sql
 ATTACH TABLE [IF NOT EXISTS] [db.]name [ON CLUSTER cluster]
@@ -22,16 +29,18 @@ ATTACH TABLE [IF NOT EXISTS] [db.]name [ON CLUSTER cluster]
 
 Если таблица была отключена перманентно, она не будет подключена обратно во время старта сервера, так что нужно явно использовать запрос `ATTACH`, чтобы подключить ее.
 
-### Создание новой таблицы и присоединение данных {#create-new-table-and-attach-data}
+## Создание новой таблицы и присоединение данных {#create-new-table-and-attach-data}
 
-**С указанием пути к табличным данным**
+### С указанием пути к табличным данным {#attach-with-specified-path}
+
+Запрос создает новую таблицу с указанной структурой и присоединяет табличные данные из соответствующего каталога в `user_files`.
+
+**Синтаксис**
 
 ```sql
 ATTACH TABLE name FROM 'path/to/data/' (col1 Type1, ...)
 ```
 
-Cоздает новую таблицу с указанной структурой и присоединяет табличные данные из соответствующего каталога в `user_files`.
-
 **Пример**
 
 Запрос:
@@ -50,10 +59,23 @@ SELECT * FROM test;
 └──────┴────┘
 ```
 
-**С указанием UUID таблицы** (Только для баз данных `Atomic`)
+### С указанием UUID таблицы {#attach-with-specified-uuid}
+
+Этот запрос создает новую таблицу с указанной структурой и присоединяет данные из таблицы с указанным UUID.
+Запрос поддерживается только движком баз данных [Atomic](../../engines/database-engines/atomic.md).
+
+**Синтаксис**
 
 ```sql
 ATTACH TABLE name UUID '<uuid>' (col1 Type1, ...)
 ```
 
-Cоздает новую таблицу с указанной структурой и присоединяет данные из таблицы с указанным UUID.
+## Присоединение существующего словаря {#attach-existing-dictionary}
+
+Присоединяет ранее отключенный словарь.
+
+**Синтаксис**
+
+``` sql
+ATTACH DICTIONARY [IF NOT EXISTS] [db.]name [ON CLUSTER cluster]
+```

docs/ru/sql-reference/statements/create/table.md

@@ -183,7 +183,7 @@ CREATE TABLE codec_example
     dt Date CODEC(ZSTD),
     ts DateTime CODEC(LZ4HC),
     float_value Float32 CODEC(NONE),
-    double_value Float64 CODEC(LZ4HC(9))
+    double_value Float64 CODEC(LZ4HC(9)),
     value Float32 CODEC(Delta, ZSTD)
 )
 ENGINE = <Engine>

docs/ru/sql-reference/statements/detach.md

@@ -5,17 +5,17 @@ toc_title: DETACH
 
 # DETACH {#detach-statement}
 
-Заставляет сервер "забыть" о существовании таблицы или материализованного представления.
+Заставляет сервер "забыть" о существовании таблицы, материализованного представления или словаря.
 
-Синтаксис:
+**Синтаксис**
 
 ``` sql
-DETACH TABLE|VIEW [IF EXISTS] [db.]name [ON CLUSTER cluster] [PERMANENTLY]
+DETACH TABLE|VIEW|DICTIONARY [IF EXISTS] [db.]name [ON CLUSTER cluster] [PERMANENTLY]
 ```
 
-Но ни данные, ни метаданные таблицы или материализованного представления не удаляются. При следующем запуске сервера, если не было использовано `PERMANENTLY`, сервер прочитает метаданные и снова узнает о таблице/представлении. Если таблица или представление были отключены перманентно, сервер не подключит их обратно автоматически.
+Такой запрос не удаляет ни данные, ни метаданные таблицы, материализованного представления или словаря. Если отключение не было перманентным (запрос без ключевого слова `PERMANENTLY`), то при следующем запуске сервер прочитает метаданные и снова узнает о таблице/представлении/словаре. Если сущность была отключена перманентно, то сервер не подключит их обратно автоматически.
 
-Независимо от того, каким способом таблица была отключена, ее можно подключить обратно с помощью запроса [ATTACH](../../sql-reference/statements/attach.md). Системные log таблицы также могут быть подключены обратно (к примеру `query_log`, `text_log` и др.) Другие системные таблицы не могут быть подключены обратно, но на следующем запуске сервер снова "вспомнит" об этих таблицах.
+Независимо от того, каким способом таблица была отключена, ее можно подключить обратно с помощью запроса [ATTACH](../../sql-reference/statements/attach.md). Системные log таблицы также могут быть подключены обратно (к примеру, `query_log`, `text_log` и др.). Другие системные таблицы не могут быть подключены обратно, но на следующем запуске сервер снова "вспомнит" об этих таблицах.
 
 `ATTACH MATERIALIZED VIEW` не может быть использован с кратким синтаксисом (без `SELECT`), но можно подключить представление с помощью запроса `ATTACH TABLE`.
 
@@ -67,3 +67,7 @@ Received exception from server (version 21.4.1):
 Code: 60. DB::Exception: Received from localhost:9000. DB::Exception: Table default.test doesn't exist.
 ```
 
+**Смотрите также**
+
+-   [Материализованные представления](../../sql-reference/statements/create/view.md#materialized)
+-   [Словари](../../sql-reference/dictionaries/index.md)

docs/ru/sql-reference/statements/exchange.md

@@ -0,0 +1,42 @@
+---
+toc_priority: 49
+toc_title: EXCHANGE
+---
+
+# EXCHANGE {#exchange}
+
+Атомарно обменивает имена двух таблиц или словарей.
+Это действие также можно выполнить с помощью запроса [RENAME](./rename.md), используя третье временное имя, но в таком случае действие неатомарно.
+
+!!! note "Примечание"
+    Запрос `EXCHANGE` поддерживается только движком баз данных [Atomic](../../engines/database-engines/atomic.md).
+
+**Синтаксис**
+
+```sql
+EXCHANGE TABLES|DICTIONARIES [db0.]name_A AND [db1.]name_B
+```
+
+## EXCHANGE TABLES {#exchange_tables}
+
+Обменивает имена двух таблиц.
+
+**Синтаксис**
+
+```sql
+EXCHANGE TABLES [db0.]table_A AND [db1.]table_B
+```
+
+## EXCHANGE DICTIONARIES {#exchange_dictionaries}
+
+Обменивает имена двух словарей.
+
+**Синтаксис**
+
+```sql
+EXCHANGE DICTIONARIES [db0.]dict_A AND [db1.]dict_B
+```
+
+**Смотрите также**
+
+-   [Словари](../../sql-reference/dictionaries/index.md)

docs/ru/sql-reference/statements/rename.md

@@ -3,20 +3,58 @@ toc_priority: 48
 toc_title: RENAME
 ---
 
-# RENAME Statement {#misc_operations-rename}
+# RENAME {#misc_operations-rename}
+
+Переименовывает базы данных, таблицы или словари. Несколько сущностей могут быть переименованы в одном запросе.
+Обратите внимание, что запрос `RENAME` с несколькими сущностями это неатомарная операция. Чтобы обменять имена атомарно, используйте выражение [EXCHANGE](./exchange.md).
+
+!!! note "Примечание"
+    Запрос `RENAME` поддерживается только движком баз данных [Atomic](../../engines/database-engines/atomic.md).
+
+**Синтаксис**
+
+```sql
+RENAME DATABASE|TABLE|DICTIONARY name TO new_name [,...] [ON CLUSTER cluster]
+```
 
 ## RENAME DATABASE {#misc_operations-rename_database}
-Переименовывает базу данных, поддерживается только для движка базы данных Atomic.
 
-```
+Переименовывает базы данных.
-RENAME DATABASE atomic_database1 TO atomic_database2 [ON CLUSTER cluster]
+
+**Синтаксис**
+
+```sql
+RENAME DATABASE atomic_database1 TO atomic_database2 [,...] [ON CLUSTER cluster]
 ```
 
 ## RENAME TABLE {#misc_operations-rename_table}
+
 Переименовывает одну или несколько таблиц.
 
+Переименовывание таблиц является лёгкой операцией. Если вы указали после `TO` другую базу данных, то таблица будет перенесена в эту базу данных. При этом директории с базами данных должны быть расположены в одной файловой системе, иначе возвращается ошибка. Если переименовывается несколько таблиц в одном запросе, то такая операция неатомарная. Она может выполнится частично, и запросы в других сессиях могут получить ошибку `Table ... doesn't exist...`.
+
+**Синтаксис**
+
 ``` sql
-RENAME TABLE [db11.]name11 TO [db12.]name12, [db21.]name21 TO [db22.]name22, ... [ON CLUSTER cluster]
+RENAME TABLE [db1.]name1 TO [db2.]name2 [,...] [ON CLUSTER cluster]
 ```
 
-Переименовывание таблицы является лёгкой операцией. Если вы указали после `TO` другую базу данных, то таблица будет перенесена в эту базу данных. При этом, директории с базами данных должны быть расположены в одной файловой системе (иначе возвращается ошибка). В случае переименования нескольких таблиц в одном запросе — это неатомарная операция,  может выполнится частично, запросы в других сессиях могут получить ошибку `Table ... doesn't exist...`.
+**Пример**
+
+```sql
+RENAME TABLE table_A TO table_A_bak, table_B TO table_B_bak;
+```
+
+## RENAME DICTIONARY {#rename_dictionary}
+
+Переименовывает один или несколько словарей. Этот запрос можно использовать для перемещения словарей между базами данных.
+
+**Синтаксис**
+
+```sql
+RENAME DICTIONARY [db0.]dict_A TO [db1.]dict_B [,...] [ON CLUSTER cluster]
+```
+
+**Смотрите также**
+
+-   [Словари](../../sql-reference/dictionaries/index.md)

docs/ru/sql-reference/statements/select/distinct.md

@@ -6,19 +6,51 @@ toc_title: DISTINCT
 
 Если указан `SELECT DISTINCT`, то в результате запроса останутся только уникальные строки. Таким образом, из всех наборов полностью совпадающих строк в результате останется только одна строка.
 
-## Обработка NULL {#null-processing}
+Вы можете указать столбцы, по которым хотите отбирать уникальные значения: `SELECT DISTINCT ON (column1, column2,...)`. Если столбцы не указаны, то отбираются строки, в которых значения уникальны во всех столбцах. 
 
-`DISTINCT` работает с [NULL](../../syntax.md#null-literal) как-будто `NULL` — обычное значение и `NULL==NULL`. Другими словами, в результате `DISTINCT`, различные комбинации с `NULL` встретятся только один раз. Это отличается от обработки `NULL` в большинстве других контекстов.
+Рассмотрим таблицу:
 
-## Альтернативы {#alternatives}
+```text
+┌─a─┬─b─┬─c─┐
+│ 1 │ 1 │ 1 │
+│ 1 │ 1 │ 1 │
+│ 2 │ 2 │ 2 │
+│ 2 │ 2 │ 2 │
+│ 1 │ 1 │ 2 │
+│ 1 │ 2 │ 2 │
+└───┴───┴───┘
+```
 
-Такой же результат можно получить, применив секцию [GROUP BY](group-by.md) для того же набора значений, которые указан в секции `SELECT`, без использования каких-либо агрегатных функций. Но есть от `GROUP BY` несколько отличий:
+Использование `DISTINCT` без указания столбцов:
 
--   `DISTINCT` может применяться вместе с `GROUP BY`.
+```sql
--   Когда секция [ORDER BY](order-by.md) опущена, а секция [LIMIT](limit.md) присутствует, запрос прекращает выполнение сразу после считывания необходимого количества различных строк.
+SELECT DISTINCT * FROM t1;
--   Блоки данных выводятся по мере их обработки, не дожидаясь завершения выполнения всего запроса.
+```
 
-## Примеры {#examples}
+```text
+┌─a─┬─b─┬─c─┐
+│ 1 │ 1 │ 1 │
+│ 2 │ 2 │ 2 │
+│ 1 │ 1 │ 2 │
+│ 1 │ 2 │ 2 │
+└───┴───┴───┘
+```
+
+Использование `DISTINCT` с указанием столбцов:
+
+```sql
+SELECT DISTINCT ON (a,b) * FROM t1;
+```
+
+```text
+┌─a─┬─b─┬─c─┐
+│ 1 │ 1 │ 1 │
+│ 2 │ 2 │ 2 │
+│ 1 │ 2 │ 2 │
+└───┴───┴───┘
+```
+
+## DISTINCT и ORDER BY {#distinct-orderby}
 
 ClickHouse поддерживает использование секций `DISTINCT` и `ORDER BY` для разных столбцов в одном запросе. Секция `DISTINCT` выполняется до секции `ORDER BY`.
 
@@ -56,3 +88,16 @@ ClickHouse поддерживает использование секций `DIS
 Ряд `2, 4` был разрезан перед сортировкой.
 
 Учитывайте эту специфику при разработке запросов.
+
+## Обработка NULL {#null-processing}
+
+`DISTINCT` работает с [NULL](../../syntax.md#null-literal) как-будто `NULL` — обычное значение и `NULL==NULL`. Другими словами, в результате `DISTINCT`, различные комбинации с `NULL` встретятся только один раз. Это отличается от обработки `NULL` в большинстве других контекстов.
+
+## Альтернативы {#alternatives}
+
+Можно получить такой же результат, применив [GROUP BY](group-by.md) для того же набора значений, которые указан в секции `SELECT`, без использования каких-либо агрегатных функций. Но есть несколько отличий от `GROUP BY`:
+
+-   `DISTINCT` может применяться вместе с `GROUP BY`.
+-   Когда секция [ORDER BY](order-by.md) опущена, а секция [LIMIT](limit.md) присутствует, запрос прекращает выполнение сразу после считывания необходимого количества различных строк.
+-   Блоки данных выводятся по мере их обработки, не дожидаясь завершения выполнения всего запроса.
+

docs/ru/sql-reference/statements/select/index.md

@@ -11,7 +11,7 @@ toc_title: "Обзор"
 
 ``` sql
 [WITH expr_list|(subquery)]
-SELECT [DISTINCT] expr_list
+SELECT [DISTINCT [ON (column1, column2, ...)]] expr_list
 [FROM [db.]table | (subquery) | table_function] [FINAL]
 [SAMPLE sample_coeff]
 [ARRAY JOIN ...]
@@ -34,6 +34,8 @@ SELECT [DISTINCT] expr_list
 Особенности каждой необязательной секции рассматриваются в отдельных разделах, которые перечислены в том же порядке, в каком они выполняются:
 
 -   [Секция WITH](with.md)
+-   [Секция SELECT](#select-clause)
+-   [Секция DISTINCT](distinct.md)
 -   [Секция FROM](from.md)
 -   [Секция SAMPLE](sample.md)
 -   [Секция JOIN](join.md)
@@ -42,8 +44,6 @@ SELECT [DISTINCT] expr_list
 -   [Секция GROUP BY](group-by.md)
 -   [Секция LIMIT BY](limit-by.md)
 -   [Секция HAVING](having.md)
--   [Секция SELECT](#select-clause)
--   [Секция DISTINCT](distinct.md)
 -   [Секция LIMIT](limit.md)
     [Секция OFFSET](offset.md)
 -   [Секция UNION ALL](union.md)

docs/zh/sql-reference/functions/bitmap-functions.md

@@ -88,6 +88,30 @@ SELECT bitmapToArray(bitmapSubsetLimit(bitmapBuild([0,1,2,3,4,5,6,7,8,9,10,11,12
     │ [30,31,32,33,100,200,500] │
     └───────────────────────────┘
 
+## subBitmap {#subBitmap}
+
+将位图跳过`offset`个元素，限制大小为`limit`个的结果转换为另一个位图。
+
+    subBitmap(bitmap, offset, limit)
+
+**参数**
+
+-   `bitmap` – 位图对象.
+-   `offset` – 跳过多少个元素.
+-   `limit` – 子位图基数上限.
+
+**示例**
+
+``` sql
+SELECT bitmapToArray(subBitmap(bitmapBuild([0,1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31,32,33,100,200,500]), toUInt32(10), toUInt32(10))) AS res
+```
+
+```text
+┌─res─────────────────────────────┐
+│ [10,11,12,13,14,15,16,17,18,19] │
+└─────────────────────────────────┘
+```
+
 ## bitmapContains {#bitmapcontains}
 
 检查位图是否包含指定元素。

programs/client/Client.cpp

@@ -13,7 +13,7 @@
 #include <boost/algorithm/string/replace.hpp>
 #include <Poco/String.h>
 #include <filesystem>
-
+#include <string>
 #include "Client.h"
 
 #include <common/argsToConfig.h>
@@ -31,11 +31,13 @@
 #include <Common/TerminalSize.h>
 #include <Common/Config/configReadClient.h>
 #include <Common/InterruptListener.h>
+#include "Common/MemoryTracker.h"
 
 #include <Core/QueryProcessingStage.h>
 #include <Client/Connection.h>
 #include <Client/TestHint.h>
 #include <Columns/ColumnString.h>
+#include "Columns/ColumnsNumber.h"
 #include <Poco/Util/Application.h>
 
 #include <Processors/Formats/IInputFormat.h>
@@ -74,6 +76,14 @@
 #pragma GCC optimize("-fno-var-tracking-assignments")
 #endif
 
+namespace CurrentMetrics
+{
+    extern const Metric Revision;
+    extern const Metric VersionInteger;
+    extern const Metric MemoryTracking;
+    extern const Metric MaxDDLEntryID;
+}
+
 namespace fs = std::filesystem;
 
 
@@ -363,6 +373,18 @@ int Client::mainImpl()
 {
     try
     {
+        MainThreadStatus::getInstance();
+
+        /// Limit on total memory usage
+        size_t max_client_memory_usage = config().getInt64("max_memory_usage_in_client", 0 /*default value*/);
+
+        if (max_client_memory_usage != 0)
+        {
+            total_memory_tracker.setHardLimit(max_client_memory_usage);
+            total_memory_tracker.setDescription("(total)");
+            total_memory_tracker.setMetric(CurrentMetrics::MemoryTracking);
+        }
+
         registerFormats();
         registerFunctions();
         registerAggregateFunctions();
@@ -1719,6 +1741,7 @@ void Client::addAndCheckOptions(OptionsDescription & options_description, po::va
         ("opentelemetry-tracestate", po::value<std::string>(), "OpenTelemetry tracestate header as described by W3C Trace Context recommendation")
         ("history_file", po::value<std::string>(), "path to history file")
         ("no-warnings", "disable warnings when client connects to server")
+        ("max_memory_usage_in_client", po::value<int>(), "sets memory limit in client")
     ;
 
     /// Commandline options related to external tables.

programs/server/Server.cpp

@@ -97,7 +97,7 @@
 #endif
 
 #if USE_SSL
-#    if USE_INTERNAL_SSL_LIBRARY
+#    if USE_INTERNAL_SSL_LIBRARY  && !defined(ARCADIA_BUILD)
 #        include <Compression/CompressionCodecEncrypted.h>
 #    endif
 #    include <Poco/Net/Context.h>
@@ -126,6 +126,7 @@ namespace CurrentMetrics
     extern const Metric VersionInteger;
     extern const Metric MemoryTracking;
     extern const Metric MaxDDLEntryID;
+    extern const Metric MaxPushedDDLEntryID;
 }
 
 namespace fs = std::filesystem;
@@ -1468,7 +1469,8 @@ if (ThreadFuzzer::instance().isEffective())
             if (pool_size < 1)
                 throw Exception("distributed_ddl.pool_size should be greater then 0", ErrorCodes::ARGUMENT_OUT_OF_BOUND);
             global_context->setDDLWorker(std::make_unique<DDLWorker>(pool_size, ddl_zookeeper_path, global_context, &config(),
-                                                                     "distributed_ddl", "DDLWorker", &CurrentMetrics::MaxDDLEntryID));
+                                                                     "distributed_ddl", "DDLWorker",
+                                                                     &CurrentMetrics::MaxDDLEntryID, &CurrentMetrics::MaxPushedDDLEntryID));
         }
 
         for (auto & server : *servers)

programs/server/config.xml

@@ -320,7 +320,7 @@
          The amount of data in mapped files can be monitored
          in system.metrics, system.metric_log by the MMappedFiles, MMappedFileBytes metrics
          and in system.asynchronous_metrics, system.asynchronous_metrics_log by the MMapCacheCells metric,
-         and also in system.events, system.processes, system.query_log, system.query_thread_log by the
+         and also in system.events, system.processes, system.query_log, system.query_thread_log, system.query_views_log by the
          CreatedReadBufferMMap, CreatedReadBufferMMapFailed, MMappedFileCacheHits, MMappedFileCacheMisses events.
          Note that the amount of data in mapped files does not consume memory directly and is not accounted
          in query or server memory usage - because this memory can be discarded similar to OS page cache.
@@ -878,14 +878,23 @@
         <flush_interval_milliseconds>7500</flush_interval_milliseconds>
     </query_thread_log>
 
+    <!-- Query views log. Has information about all dependent views associated with a query.
+         Used only for queries with setting log_query_views = 1. -->
+    <query_views_log>
+        <database>system</database>
+        <table>query_views_log</table>
+        <partition_by>toYYYYMM(event_date)</partition_by>
+        <flush_interval_milliseconds>7500</flush_interval_milliseconds>
+    </query_views_log>
+
     <!-- Uncomment if use part log.
-         Part log contains information about all actions with parts in MergeTree tables (creation, deletion, merges, downloads).
+         Part log contains information about all actions with parts in MergeTree tables (creation, deletion, merges, downloads).-->
     <part_log>
         <database>system</database>
         <table>part_log</table>
+        <partition_by>toYYYYMM(event_date)</partition_by>
         <flush_interval_milliseconds>7500</flush_interval_milliseconds>
     </part_log>
-    -->
 
     <!-- Uncomment to write text log into table.
          Text log contains all information from usual server log but stores it in structured and efficient way.
@@ -955,6 +964,7 @@
         <flush_interval_milliseconds>1000</flush_interval_milliseconds>
     </crash_log>
 
+
     <!-- Parameters for embedded dictionaries, used in Yandex.Metrica.
          See https://clickhouse.yandex/docs/en/dicts/internal_dicts/
     -->

programs/server/config.yaml.example

@@ -271,7 +271,7 @@ mark_cache_size: 5368709120
 # The amount of data in mapped files can be monitored
 # in system.metrics, system.metric_log by the MMappedFiles, MMappedFileBytes metrics
 # and in system.asynchronous_metrics, system.asynchronous_metrics_log by the MMapCacheCells metric,
-# and also in system.events, system.processes, system.query_log, system.query_thread_log by the
+# and also in system.events, system.processes, system.query_log, system.query_thread_log, system.query_views_log by the
 # CreatedReadBufferMMap, CreatedReadBufferMMapFailed, MMappedFileCacheHits, MMappedFileCacheMisses events.
 # Note that the amount of data in mapped files does not consume memory directly and is not accounted
 # in query or server memory usage - because this memory can be discarded similar to OS page cache.
@@ -731,12 +731,21 @@ query_thread_log:
     partition_by: toYYYYMM(event_date)
     flush_interval_milliseconds: 7500
 
+# Query views log. Has information about all dependent views associated with a query.
+# Used only for queries with setting log_query_views = 1.
+query_views_log:
+    database: system
+    table: query_views_log
+    partition_by: toYYYYMM(event_date)
+    flush_interval_milliseconds: 7500
+
 # Uncomment if use part log.
 # Part log contains information about all actions with parts in MergeTree tables (creation, deletion, merges, downloads).
-# part_log:
+part_log:
-#     database: system
+    database: system
-#     table: part_log
+    table: part_log
-#     flush_interval_milliseconds: 7500
+    partition_by: toYYYYMM(event_date)
+    flush_interval_milliseconds: 7500
 
 # Uncomment to write text log into table.
 # Text log contains all information from usual server log but stores it in structured and efficient way.

programs/server/play.html

@@ -68,7 +68,7 @@
         html, body
         {
             /* Personal choice. */
-            font-family: Sans-Serif;
+            font-family: Liberation Sans, DejaVu Sans, sans-serif, Noto Color Emoji, Apple Color Emoji, Segoe UI Emoji;
             background: var(--background-color);
             color: var(--text-color);
         }
@@ -96,11 +96,16 @@
         .monospace
         {
             /* Prefer fonts that have full hinting info. This is important for non-retina displays.
-               Also I personally dislike "Ubuntu" font due to the similarity of 'r' and 'г' (it looks very ignorant).
+               Also I personally dislike "Ubuntu" font due to the similarity of 'r' and 'г' (it looks very ignorant). */
-            */
             font-family: Liberation Mono, DejaVu Sans Mono, MonoLisa, Consolas, Monospace;
         }
 
+        .monospace-table
+        {
+            /* Liberation is worse than DejaVu for block drawing characters. */
+            font-family: DejaVu Sans Mono, Liberation Mono, MonoLisa, Consolas, Monospace;
+        }
+
         .shadow
         {
             box-shadow: 0 0 1rem var(--shadow-color);
@@ -325,8 +330,8 @@
         <span id="toggle-dark">🌑</span><span id="toggle-light">🌞</span>
     </div>
     <div id="data_div">
-        <table class="monospace shadow" id="data-table"></table>
+        <table class="monospace-table shadow" id="data-table"></table>
-        <pre class="monospace shadow" id="data-unparsed"></pre>
+        <pre class="monospace-table shadow" id="data-unparsed"></pre>
     </div>
     <svg id="graph" fill="none"></svg>
     <p id="error" class="monospace shadow">
@@ -367,7 +372,7 @@
         const server_address = document.getElementById('url').value;
 
         const url = server_address +
-            (server_address.indexOf('?') >= 0 ? '&' : '?') + 
+            (server_address.indexOf('?') >= 0 ? '&' : '?') +
             /// Ask server to allow cross-domain requests.
             'add_http_cors_header=1' +
             '&user=' + encodeURIComponent(user) +

release

@@ -71,9 +71,6 @@ then
     export DEB_CC=${DEB_CC=clang-10}
     export DEB_CXX=${DEB_CXX=clang++-10}
     EXTRAPACKAGES="$EXTRAPACKAGES clang-10 lld-10"
-elif [[ $BUILD_TYPE == 'valgrind' ]]; then
-    MALLOC_OPTS="-DENABLE_TCMALLOC=0 -DENABLE_JEMALLOC=0"
-    VERSION_POSTFIX+="+valgrind"
 elif [[ $BUILD_TYPE == 'debug' ]]; then
     CMAKE_BUILD_TYPE=Debug
     VERSION_POSTFIX+="+debug"

src/Access/AccessRightsElement.h

@@ -122,6 +122,9 @@ struct AccessRightsElement
 class AccessRightsElements : public std::vector<AccessRightsElement>
 {
 public:
+    using Base = std::vector<AccessRightsElement>;
+    using Base::Base;
+
     bool empty() const { return std::all_of(begin(), end(), [](const AccessRightsElement & e) { return e.empty(); }); }
 
     bool sameDatabaseAndTable() const

src/Access/IAccessStorage.cpp

@@ -455,7 +455,7 @@ UUID IAccessStorage::login(
         if (!replace_exception_with_cannot_authenticate)
             throw;
 
-        tryLogCurrentException(getLogger(), credentials.getUserName() + ": Authentication failed");
+        tryLogCurrentException(getLogger(), "from: " + address.toString() + ", user: " + credentials.getUserName()  + ": Authentication failed");
         throwCannotAuthenticate(credentials.getUserName());
     }
 }

src/Access/ya.make

@@ -46,7 +46,6 @@ SRCS(
     SettingsProfilesInfo.cpp
     User.cpp
     UsersConfigAccessStorage.cpp
-    tests/gtest_access_rights_ops.cpp
 
 )
 

src/Access/ya.make.in

@@ -8,7 +8,7 @@ PEERDIR(
 
 
 SRCS(
-<? find . -name '*.cpp' | grep -v -F examples | sed 's/^\.\//    /' | sort ?>
+<? find . -name '*.cpp' | grep -v -F tests | grep -v -F examples | sed 's/^\.\//    /' | sort ?>
 )
 
 END()