2017-12-11 12:07:26 +00:00
# Ограничения на сложность запроса
2017-10-25 05:27:09 +00:00
2017-03-12 17:58:51 +00:00
Ограничения на сложность запроса - часть настроек.
Используются, чтобы обеспечить более безопасное исполнение запросов из пользовательского интерфейса.
Почти все ограничения действуют только на SELECT-ы.
При распределённой обработке запроса, ограничения действуют на каждом сервере по-отдельности.
2018-08-31 20:02:57 +00:00
Ограничения проверяются на каждый блок обработанных данных, а не на каждую строку. В связи с этим, ограничения могут быть превышены на размер блока.
2017-03-12 17:58:51 +00:00
Ограничения вида "максимальное количество чего-нибудь" могут принимать значение 0, которое обозначает "не ограничено".
Для большинства ограничений также присутствует настройка вида overflow_mode - что делать, когда ограничение превышено.
2017-10-25 05:27:09 +00:00
Оно может принимать одно из двух значений: `throw` или `break` ; а для ограничения на агрегацию (group_by_overflow_mode) есть ещё значение `any` .
2017-03-12 17:58:51 +00:00
2017-10-25 05:27:09 +00:00
`throw` - кинуть исключение (по умолчанию).
2017-03-12 17:58:51 +00:00
2017-10-25 05:27:09 +00:00
`break` - прервать выполнение запроса и вернуть неполный результат, как будто исходные данные закончились.
2017-03-12 17:58:51 +00:00
2017-10-25 05:27:09 +00:00
`any (только для group_by_overflow_mode)` - продолжить агрегацию по ключам, которые успели войти в набор, но не добавлять новые ключи в набор.
2017-03-12 17:58:51 +00:00
2018-12-21 19:23:55 +00:00
## max_memory_usage {#settings_max_memory_usage}
2017-10-25 05:27:09 +00:00
2018-03-14 12:42:02 +00:00
Максимальный возможный объем оперативной памяти для выполнения запроса на одном сервере.
2018-03-26 13:16:59 +00:00
В конфигурационном файле по умолчанию, ограничение равно 10 ГБ.
2017-03-12 17:58:51 +00:00
Настройка не учитывает объём свободной памяти или общий объём памяти на машине.
Ограничение действует на один запрос, в пределах одного сервера.
2018-03-14 12:42:02 +00:00
Текущее потребление памяти для каждого запроса можно посмотреть с помощью `SHOW PROCESSLIST` .
Также отслеживается и выводится в лог пиковое потребление памяти для каждого запроса.
2018-03-15 23:23:13 +00:00
Потребление памяти не отслеживается для состояний некоторых агрегатных функций.
2018-03-14 12:42:02 +00:00
Потребление памяти не полностью учитывается для состояний агрегатных функций `min` , `max` , `any` , `anyLast` , `argMin` , `argMax` от аргументов `String` и `Array` .
Потребление памяти ограничивается также параметрами `max_memory_usage_for_user` и `max_memory_usage_for_all_queries` .
## max_memory_usage_for_user
Максимальный возможный объем оперативной памяти для запросов пользователя на одном сервере.
Значения по умолчанию определены в файле [Settings.h ](https://github.com/yandex/ClickHouse/blob/master/dbms/src/Interpreters/Settings.h#L244 ). По умолчанию размер не ограничен (`max_memory_usage_for_user = 0`).
Смотрите также описание настройки [max_memory_usage ](#settings_max_memory_usage ).
## max_memory_usage_for_all_queries
2017-03-12 17:58:51 +00:00
2018-03-14 12:42:02 +00:00
Максимальный возможный объем оперативной памяти для всех запросов на одном сервере.
2017-10-25 05:27:09 +00:00
2018-03-14 12:42:02 +00:00
Значения по умолчанию определены в файле [Settings.h ](https://github.com/yandex/ClickHouse/blob/master/dbms/src/Interpreters/Settings.h#L245 ). По умолчанию размер не ограничен (`max_memory_usage_for_all_queries = 0`).
2017-03-12 17:58:51 +00:00
2018-03-14 12:42:02 +00:00
Смотрите также описание настройки [max_memory_usage ](#settings_max_memory_usage ).
2017-03-12 17:58:51 +00:00
2017-12-11 12:07:26 +00:00
## max_rows_to_read
2017-10-25 05:27:09 +00:00
2017-03-12 17:58:51 +00:00
Следующие ограничения могут проверяться на каждый блок (а не на каждую строку). Т о есть, ограничения могут быть немного нарушены.
При выполнении запроса в несколько потоков, следующие ограничения действуют в каждом потоке по-отдельности.
Максимальное количество строчек, которое можно прочитать из таблицы при выполнении запроса.
2017-12-11 12:07:26 +00:00
## max_bytes_to_read
2017-10-25 05:27:09 +00:00
2017-03-12 17:58:51 +00:00
Максимальное количество байт (несжатых данных), которое можно прочитать из таблицы при выполнении запроса.
2017-12-11 12:07:26 +00:00
## read_overflow_mode
2017-10-25 05:27:09 +00:00
2017-03-12 17:58:51 +00:00
Что делать, когда количество прочитанных данных превысило одно из ограничений: throw или break. По умолчанию: throw.
2017-12-11 12:07:26 +00:00
## max_rows_to_group_by
2017-10-25 05:27:09 +00:00
2017-03-12 17:58:51 +00:00
Максимальное количество уникальных ключей, получаемых в процессе агрегации. Позволяет ограничить потребление оперативки при агрегации.
2017-12-11 12:07:26 +00:00
## group_by_overflow_mode
2017-10-25 05:27:09 +00:00
2017-03-12 17:58:51 +00:00
Что делать, когда количество уникальных ключей при агрегации превысило ограничение: throw, break или any. По умолчанию: throw.
Использование значения any позволяет выполнить GROUP BY приближённо. Качество такого приближённого вычисления сильно зависит от статистических свойств данных.
2017-12-11 12:07:26 +00:00
## max_rows_to_sort
2017-10-25 05:27:09 +00:00
2017-03-12 17:58:51 +00:00
Максимальное количество строк до сортировки. Позволяет ограничить потребление оперативки при сортировке.
2017-12-11 12:07:26 +00:00
## max_bytes_to_sort
2017-10-25 05:27:09 +00:00
2017-03-12 17:58:51 +00:00
Максимальное количество байт до сортировки.
2017-12-11 12:07:26 +00:00
## sort_overflow_mode
2017-10-25 05:27:09 +00:00
2017-03-12 17:58:51 +00:00
Что делать, если количество строк, полученное перед сортировкой, превысило одно из ограничений: throw или break. По умолчанию: throw.
2017-12-11 12:07:26 +00:00
## max_result_rows
2017-10-25 05:27:09 +00:00
2017-03-12 17:58:51 +00:00
Ограничение на количество строк результата. Проверяются также для подзапросов и на удалённых серверах при выполнении части распределённого запроса.
2017-12-11 12:07:26 +00:00
## max_result_bytes
2017-10-25 05:27:09 +00:00
2017-03-12 17:58:51 +00:00
Ограничение на количество байт результата. Аналогично.
2017-12-11 12:07:26 +00:00
## result_overflow_mode
2017-10-25 05:27:09 +00:00
2017-03-12 17:58:51 +00:00
Что делать, если объём результата превысил одно из ограничений: throw или break. По умолчанию: throw.
Использование break по смыслу похоже на LIMIT.
2017-12-11 12:07:26 +00:00
## max_execution_time
2017-10-25 05:27:09 +00:00
2017-03-12 17:58:51 +00:00
Максимальное время выполнения запроса в секундах.
Н а данный момент не проверяется при одной из стадий сортировки а также при слиянии и финализации агрегатных функций.
2017-12-11 12:07:26 +00:00
## timeout_overflow_mode
2017-10-25 05:27:09 +00:00
2017-03-12 17:58:51 +00:00
Что делать, если запрос выполняется дольше max_execution_time: throw или break. По умолчанию: throw.
2017-12-11 12:07:26 +00:00
## min_execution_speed
2017-10-25 05:27:09 +00:00
2017-03-12 17:58:51 +00:00
Минимальная скорость выполнения запроса в строчках в секунду. Проверяется на каждый блок данных по истечении timeout_before_checking_execution_speed. Если скорость выполнения запроса оказывается меньше, то кидается исключение.
2017-12-11 12:07:26 +00:00
## timeout_before_checking_execution_speed
2017-10-25 05:27:09 +00:00
2017-03-12 17:58:51 +00:00
Проверять, что скорость выполнения запроса не слишком низкая (не меньше min_execution_speed), после прошествия указанного времени в секундах.
2017-12-11 12:07:26 +00:00
## max_columns_to_read
2017-10-25 05:27:09 +00:00
2017-03-12 17:58:51 +00:00
Максимальное количество столбцов, которых можно читать из таблицы в одном запросе. Если запрос требует чтения большего количества столбцов - кинуть исключение.
2017-12-11 12:07:26 +00:00
## max_temporary_columns
2017-10-25 05:27:09 +00:00
2017-03-12 17:58:51 +00:00
Максимальное количество временных столбцов, которых необходимо одновременно держать в оперативке, в процессе выполнения запроса, включая константные столбцы. Если временных столбцов оказалось больше - кидается исключение.
2017-12-11 12:07:26 +00:00
## max_temporary_non_const_columns
2017-10-25 05:27:09 +00:00
2017-03-12 17:58:51 +00:00
Т о же самое, что и max_temporary_columns, но без учёта столбцов-констант.
Стоит заметить, что столбцы-константы довольно часто образуются в процессе выполнения запроса, но расходуют примерно нулевое количество вычислительных ресурсов.
2017-12-11 12:07:26 +00:00
## max_subquery_depth
2017-10-25 05:27:09 +00:00
2017-03-12 17:58:51 +00:00
Максимальная вложенность подзапросов. Если подзапросы более глубокие - кидается исключение. По умолчанию: 100.
2017-12-11 12:07:26 +00:00
## max_pipeline_depth
2017-10-25 05:27:09 +00:00
2017-03-12 17:58:51 +00:00
Максимальная глубина конвейера выполнения запроса. Соответствует количеству преобразований, которое проходит каждый блок данных в процессе выполнения запроса. Считается в пределах одного сервера. Если глубина конвейера больше - кидается исключение. По умолчанию: 1000.
2017-12-11 12:07:26 +00:00
## max_ast_depth
2017-10-25 05:27:09 +00:00
2017-03-12 17:58:51 +00:00
Максимальная вложенность синтаксического дерева запроса. Если превышена - кидается исключение.
Н а данный момент, проверяются не во время парсинга а уже после парсинга запроса. Т о есть, во время парсинга может быть создано слишком глубокое синтаксическое дерево, но запрос не будет выполнен. По умолчанию: 1000.
2017-12-11 12:07:26 +00:00
## max_ast_elements
2017-10-25 05:27:09 +00:00
2017-03-12 17:58:51 +00:00
Максимальное количество элементов синтаксического дерева запроса. Если превышено - кидается исключение.
Аналогично, проверяется уже после парсинга запроса. По умолчанию: 10 000.
2017-12-11 12:07:26 +00:00
## max_rows_in_set
2017-10-25 05:27:09 +00:00
2017-03-12 17:58:51 +00:00
Максимальное количество строчек для множества в секции IN, создаваемого из подзапроса.
2017-12-11 12:07:26 +00:00
## max_bytes_in_set
2017-10-25 05:27:09 +00:00
2017-03-12 17:58:51 +00:00
Максимальное количество байт (несжатых данных), занимаемое множеством в секции IN, создаваемым из подзапроса.
2017-12-11 12:07:26 +00:00
## set_overflow_mode
2017-10-25 05:27:09 +00:00
2017-03-12 17:58:51 +00:00
Что делать, когда количество данных превысило одно из ограничений: throw или break. По умолчанию: throw.
2017-12-11 12:07:26 +00:00
## max_rows_in_distinct
2017-10-25 05:27:09 +00:00
2017-03-12 17:58:51 +00:00
Максимальное количество различных строчек при использовании DISTINCT.
2017-12-11 12:07:26 +00:00
## max_bytes_in_distinct
2017-10-25 05:27:09 +00:00
2017-03-12 17:58:51 +00:00
Максимальное количество байт, занимаемых хэш-таблицей, при использовании DISTINCT.
2017-12-11 12:07:26 +00:00
## distinct_overflow_mode
2017-10-25 05:27:09 +00:00
2017-03-12 17:58:51 +00:00
Что делать, когда количество данных превысило одно из ограничений: throw или break. По умолчанию: throw.
2017-12-11 12:07:26 +00:00
## max_rows_to_transfer
2017-10-25 05:27:09 +00:00
2017-03-12 17:58:51 +00:00
Максимальное количество строчек, которых можно передать на удалённый сервер или сохранить во временную таблицу, при использовании GLOBAL IN.
2017-12-11 12:07:26 +00:00
## max_bytes_to_transfer
2017-10-25 05:27:09 +00:00
2017-03-12 17:58:51 +00:00
Максимальное количество байт (несжатых данных), которых можно передать на удалённый сервер или сохранить во временную таблицу, при использовании GLOBAL IN.
2017-12-11 12:07:26 +00:00
## transfer_overflow_mode
2017-10-25 05:27:09 +00:00
2017-03-12 17:58:51 +00:00
Что делать, когда количество данных превысило одно из ограничений: throw или break. По умолчанию: throw.
2018-10-16 10:47:17 +00:00
[Оригинальная статья ](https://clickhouse.yandex/docs/ru/operations/settings/query_complexity/ ) <!--hide-->