From 87e762d1debbaad9174b60c820250040085bc5c0 Mon Sep 17 00:00:00 2001 From: Slach Date: Thu, 16 Sep 2021 19:41:58 +0500 Subject: [PATCH] add distributed_ddl description, sync EN with RU version Signed-off-by: Slach --- .../settings.md | 62 +++++-- .../settings.md | 158 ++++++++++++++++-- 2 files changed, 196 insertions(+), 24 deletions(-) diff --git a/docs/en/operations/server-configuration-parameters/settings.md b/docs/en/operations/server-configuration-parameters/settings.md index 8ad450738b7..d5970b1dc65 100644 --- a/docs/en/operations/server-configuration-parameters/settings.md +++ b/docs/en/operations/server-configuration-parameters/settings.md @@ -110,7 +110,7 @@ Load key from environment variable: ``` -Where current_key_id sets the current key for encryption, and all specified keys can be used for decryption. +Where `current_key_id` sets the current key for encryption, and all specified keys can be used for decryption. All this methods can be applied for multiple keys: @@ -182,6 +182,7 @@ Default value: `1073741824` (1 GB). 1073741824 ``` + ## database_atomic_delay_before_drop_table_sec {#database_atomic_delay_before_drop_table_sec} Sets the delay before remove table data in seconds. If the query has `SYNC` modifier, this setting is ignored. @@ -861,7 +862,7 @@ Use the following parameters to configure logging: The path to the directory containing data. -!!! note "Note" +!!! warning "Warning" The trailing slash is mandatory. **Example** @@ -950,9 +951,9 @@ If the table does not exist, ClickHouse will create it. If the structure of the ## query_views_log {#server_configuration_parameters-query_views_log} -Setting for logging views dependant of queries received with the [log_query_views=1](../../operations/settings/settings.md#settings-log-query-views) setting. +Setting for logging views (live, materialized etc) dependant of queries received with the [log_query_views=1](../../operations/settings/settings.md#settings-log-query-views) setting. -Queries are logged in the [system.query_views_log](../../operations/system-tables/query_thread_log.md#system_tables-query_views_log) table, not in a separate file. You can change the name of the table in the `table` parameter (see below). +Queries are logged in the [system.query_views_log](../../operations/system-tables/query_views_log.md#system_tables-query_views_log) table, not in a separate file. You can change the name of the table in the `table` parameter (see below). Use the following parameters to configure logging: @@ -1030,8 +1031,7 @@ The default server configuration file `config.xml` contains the following settin Regexp-based rules, which will be applied to queries as well as all log messages before storing them in server logs, `system.query_log`, `system.text_log`, `system.processes` tables, and in logs sent to the client. That allows preventing -sensitive data leakage from SQL queries (like names, emails, personal -identifiers or credit card numbers) to logs. +sensitive data leakage from SQL queries (like names, emails, personal identifiers or credit card numbers) to logs. **Example** @@ -1129,7 +1129,7 @@ Example Path to temporary data for processing large queries. -!!! note "Note" +!!! warning "Note" The trailing slash is mandatory. **Example** @@ -1146,9 +1146,9 @@ If not set, [tmp_path](#tmp-path) is used, otherwise it is ignored. !!! note "Note" - `move_factor` is ignored. -- `keep_free_space_bytes` is ignored. -- `max_data_part_size_bytes` is ignored. -- Уou must have exactly one volume in that policy. + - `keep_free_space_bytes` is ignored. + - `max_data_part_size_bytes` is ignored. + - Уou must have exactly one volume in that policy. ## uncompressed_cache_size {#server-settings-uncompressed_cache_size} @@ -1212,9 +1212,10 @@ This section contains the following parameters: The `index` attribute specifies the node order when trying to connect to the ZooKeeper cluster. -- `session_timeout` — Maximum timeout for the client session in milliseconds. -- `root` — The [znode](http://zookeeper.apache.org/doc/r3.5.5/zookeeperOver.html#Nodes+and+ephemeral+nodes) that is used as the root for znodes used by the ClickHouse server. Optional. -- `identity` — User and password, that can be required by ZooKeeper to give access to requested znodes. Optional. +- `session_timeout_ms` — Maximum timeout for the client session in milliseconds. +- `operation_timeout_ms` — Maximum timeout for one operation in milliseconds. +- `root` — The [znode](http://zookeeper.apache.org/doc/r3.5.5/zookeeperOver.html#Nodes+and+ephemeral+nodes) that is used as the root for znodes used by the ClickHouse server. Optional. +- `identity` — User and password, that can be required by ZooKeeper to give access to requested znodes. Optional. **Example configuration** @@ -1288,6 +1289,39 @@ The update is performed asynchronously, in a separate system thread. - [background_schedule_pool_size](../../operations/settings/settings.md#background_schedule_pool_size) +## distributed_ddl {#server-settings-distributed_ddl} + +Manage executing [distributed ddl queries](../../sql-reference/distributed-ddl.md) (CREATE, DROP, ALTER, RENAME) on cluster. +Works only if [ZooKeeper](#server-settings_zookeeper) is enabled. + +**Example** + +```xml + + + /clickhouse/task_queue/ddl + + + default + + + 1 + + + + + 604800 + + + 60 + + + 1000 + +``` + ## access_control_path {#access_control_path} Path to a folder where a ClickHouse server stores user and role configurations created by SQL commands. @@ -1296,7 +1330,7 @@ Default value: `/var/lib/clickhouse/access/`. **See also** -- [Access Control and Account Management](../../operations/access-rights.md#access-control) +- [Access Control and Account Management](../../operations/access-rights.md#access-control) ## user_directories {#user_directories} diff --git a/docs/ru/operations/server-configuration-parameters/settings.md b/docs/ru/operations/server-configuration-parameters/settings.md index fbecdbdc15e..31202b7f519 100644 --- a/docs/ru/operations/server-configuration-parameters/settings.md +++ b/docs/ru/operations/server-configuration-parameters/settings.md @@ -69,6 +69,85 @@ ClickHouse проверяет условия для `min_part_size` и `min_part ``` +## encryption {#server-settings-encryption} + +Настраивает комманду для получения ключа используемого [кодеками шифрования](../../sql-reference/statements/create/table.md#create-query-encryption-codecs). Ключ (или несколько ключей) должны быть записаны в переменные окружения или установлены в конфигурационном файле . + +Ключи могут быть представлены в шестнадцатеричной или строковой форме. Их длинна должна быть равна 16. + +**Пример** + +Загрузка из файла конфигурации: + +```xml + + + 12345567812345678 + + +``` + +!!! note "Примечание" + Хранение ключей в конфигурационном файле не рекомендовано. Это не безопасно. Вы можете переместить ключи в отдельный файл на секретном диске и сделать symlink к этому конфигурационному файлу в папке `config.d/`. + +Загрузка из файла конфигурации, когда ключ представлен в шестнадцатеричной форме: + +```xml + + + 00112233445566778899aabbccddeeff + + +``` + +Загрузка ключа из переменной окружения: + +```xml + + + + + +``` + +Параметр `current_key_id` устанавливает текущий ключ для шифрования, и все указанные ключи можно использовать для расшифровки. + +Все эти методы могут быть применены для нескольких ключей: + +```xml + + + 00112233445566778899aabbccddeeff + + 1 + + +``` + +Параметр `current_key_id` указывает текущий ключ для шифрования. + +Также пользователь может добавить одноразовое случайное число длинной 12 байт (по умолчанию шифрование и дешифровка будут использовать одноразовое число длинной 12 байт, заполненное нулями): + +```xml + + + 0123456789101 + + +``` + +Одноразовое число также может быть представлено в шестнадцатеричной форме: + +```xml + + + abcdefabcdef + + +``` + +Все вышеперечисленное можно применить также для алгоритма `aes_256_gcm_siv` (но ключ должен быть длинной 32 байта). + ## custom_settings_prefixes {#custom_settings_prefixes} Список префиксов для [пользовательских настроек](../../operations/settings/index.md#custom_settings). Префиксы должны перечисляться через запятую. @@ -345,8 +424,6 @@ ClickHouse проверяет условия для `min_part_size` и `min_part example.yandex.ru ``` - - ## interserver_http_credentials {#server-settings-interserver-http-credentials} Имя пользователя и пароль, использующиеся для аутентификации при [репликации](../../operations/server-configuration-parameters/settings.md) движками Replicated\*. Это имя пользователя и пароль используются только для взаимодействия между репликами кластера и никак не связаны с аутентификацией клиентов ClickHouse. Сервер проверяет совпадение имени и пароля для соединяющихся с ним реплик, а также использует это же имя и пароль для соединения с другими репликами. Соответственно, эти имя и пароль должны быть прописаны одинаковыми для всех реплик кластера. @@ -414,7 +491,7 @@ ClickHouse проверяет условия для `min_part_size` и `min_part ``` -Также, существует поддержка записи в syslog. Пример конфига: +Также, существует поддержка записи в syslog. Пример настроек: ``` xml @@ -873,6 +950,33 @@ ClickHouse проверяет условия для `min_part_size` и `min_part ``` +## query_views_log {#server_configuration_parameters-query_views_log} + +Настройки логирования информации о зависимых представлениях (materialized, live и т.п.) в запросах принятых с настройкой [log_query_views=1](../../operations/settings/settings.md#settings-log-query-views). + +Запросы сохраняются в таблицу [system.query_views_log](../../operations/system-tables/query_views_log.md#system_tables-query_views_log). Вы можете изменить название этой таблицы в параметре `table` (см. ниже). + +При настройке логирования используются следующие параметры: + +- `database` – имя базы данных. +- `table` – имя таблицы куда будут записываться использованные представления. +- `partition_by` — устанавливает [произвольный ключ партиционирования](../../engines/table-engines/mergetree-family/custom-partitioning-key.md). Нельзя использовать если используется `engine` +- `engine` - устанавливает [настройки MergeTree Engine](../../engines/table-engines/mergetree-family/mergetree.md#table_engine-mergetree-creating-a-table) для системной таблицы. Нельзя использовать если используется `partition_by`. +- `flush_interval_milliseconds` — период сброса данных из буфера в памяти в таблицу. + +Если таблица не существует, то ClickHouse создаст её. Если структура журнала запросов изменилась при обновлении сервера ClickHouse, то таблица со старой структурой переименовывается, а новая таблица создается автоматически. + +**Example** + +``` xml + + system + query_views_log
+ toYYYYMM(event_date) + 7500 + +``` + ## text_log {#server_configuration_parameters-text_log} Настройка логирования текстовых сообщений в системную таблицу [text_log](../../operations/system-tables/text_log.md#system_tables-text_log). @@ -882,7 +986,7 @@ ClickHouse проверяет условия для `min_part_size` и `min_part - `level` — Максимальный уровень сообщения (по умолчанию `Trace`) которое будет сохранено в таблице. - `database` — имя базы данных для хранения таблицы. - `table` — имя таблицы, куда будут записываться текстовые сообщения. -- `partition_by` — устанавливает [произвольный ключ партиционирования](../../operations/server-configuration-parameters/settings.md). Нельзя использовать если используется `engine` +- `partition_by` — устанавливает [произвольный ключ партиционирования](../../engines/table-engines/mergetree-family/custom-partitioning-key.md). Нельзя использовать если используется `engine` - `engine` - устанавливает [настройки MergeTree Engine](../../engines/table-engines/mergetree-family/mergetree.md#table_engine-mergetree-creating-a-table) для системной таблицы. Нельзя использовать если используется `partition_by`. - `flush_interval_milliseconds` — период сброса данных из буфера в памяти в таблицу. @@ -913,7 +1017,7 @@ Parameters: - `engine` - устанавливает [настройки MergeTree Engine](../../engines/table-engines/mergetree-family/mergetree.md#table_engine-mergetree-creating-a-table) для системной таблицы. Нельзя использовать если используется `partition_by`. - `flush_interval_milliseconds` — Interval for flushing data from the buffer in memory to the table. -The default server configuration file `config.xml` contains the following settings section: +По умолчанию файл настроек сервера `config.xml` содержит следующие настройки: ``` xml @@ -1096,7 +1200,7 @@ ClickHouse использует ZooKeeper для хранения метадан - `node` — адрес ноды (сервера) ZooKeeper. Можно сконфигурировать несколько нод. - Например: + Например: @@ -1109,9 +1213,10 @@ ClickHouse использует ZooKeeper для хранения метадан Атрибут `index` задает порядок опроса нод при попытках подключиться к кластеру ZooKeeper. -- `session_timeout` — максимальный таймаут клиентской сессии в миллисекундах. -- `root` — [znode](http://zookeeper.apache.org/doc/r3.5.5/zookeeperOver.html#Nodes+and+ephemeral+nodes), который используется как корневой для всех znode, которые использует сервер ClickHouse. Необязательный. -- `identity` — пользователь и пароль, которые может потребовать ZooKeeper для доступа к запрошенным znode. Необязательный. +- `session_timeout_ms` — максимальный таймаут клиентской сессии в миллисекундах. +- `operation_timeout_ms` — максимальный таймаут для одной операции в миллисекундах. +- `root` — [znode](http://zookeeper.apache.org/doc/r3.5.5/zookeeperOver.html#Nodes+and+ephemeral+nodes), который используется как корневой для всех znode, которые использует сервер ClickHouse. Необязательный. +- `identity` — пользователь и пароль, которые может потребовать ZooKeeper для доступа к запрошенным znode. Необязательный. **Пример конфигурации** @@ -1185,6 +1290,39 @@ ClickHouse использует ZooKeeper для хранения метадан - [background_schedule_pool_size](../settings/settings.md#background_schedule_pool_size) +## distributed_ddl {#server-settings-distributed_ddl} + +Управление запуском [распределенных ddl запросов](../../sql-reference/distributed-ddl.md) (CREATE, DROP, ALTER, RENAME) в кластере. +Работает только если разрешена [работа с ZooKeeper](#server-settings_zookeeper). + +**Пример** + +```xml + + + /clickhouse/task_queue/ddl + + + default + + + 1 + + + + + 604800 + + + 60 + + + 1000 + +``` + ## access_control_path {#access_control_path} Путь к каталогу, где сервер ClickHouse хранит конфигурации пользователей и ролей, созданные командами SQL. @@ -1193,7 +1331,7 @@ ClickHouse использует ZooKeeper для хранения метадан **Смотрите также** -- [Управление доступом](../access-rights.md#access-control) +- [Управление доступом](../../operations/access-rights.md#access-control) ## user_directories {#user_directories}