d3e02a2e1b
* Draft for table description. * async_metric_log was described in two langs * Fixes. * Fixes. * Update docs/en/operations/system-tables/asynchronous_metric_log.md Co-authored-by: Ivan Blinkov <github@blinkov.ru> * Update docs/en/operations/system-tables/asynchronous_metric_log.md Co-authored-by: Ivan Blinkov <github@blinkov.ru> * Update docs/en/operations/system-tables/asynchronous_metric_log.md Co-authored-by: Ivan Blinkov <github@blinkov.ru> * Update docs/en/operations/system-tables/asynchronous_metric_log.md Co-authored-by: Ivan Blinkov <github@blinkov.ru> Co-authored-by: Ivan Blinkov <github@blinkov.ru>
136 KiB
Системные таблицы
Введение
Системные таблицы используются для реализации части функциональности системы, а также предоставляют доступ к информации о работе системы. Вы не можете удалить системную таблицу (хотя можете сделать DETACH). Для системных таблиц нет файлов с данными на диске и файлов с метаданными. Сервер создаёт все системные таблицы при старте. В системные таблицы нельзя записывать данные - можно только читать. Системные таблицы расположены в базе данных system.
system.asynchronous_metrics
Содержит метрики, которые периодически вычисляются в фоновом режиме. Например, объём используемой оперативной памяти.
Столбцы:
Пример
SELECT * FROM system.asynchronous_metrics LIMIT 10
┌─metric──────────────────────────────────┬──────value─┐
│ jemalloc.background_thread.run_interval │ 0 │
│ jemalloc.background_thread.num_runs │ 0 │
│ jemalloc.background_thread.num_threads │ 0 │
│ jemalloc.retained │ 422551552 │
│ jemalloc.mapped │ 1682989056 │
│ jemalloc.resident │ 1656446976 │
│ jemalloc.metadata_thp │ 0 │
│ jemalloc.metadata │ 10226856 │
│ UncompressedCacheCells │ 0 │
│ MarkCacheFiles │ 0 │
└─────────────────────────────────────────┴────────────┘
Смотрите также
- Мониторинг — основы мониторинга в ClickHouse.
- system.metrics — таблица с мгновенно вычисляемыми метриками.
- system.events — таблица с количеством произошедших событий.
- system.metric_log — таблица фиксирующая историю значений метрик из
system.metricsиsystem.events.
system.asynchronous_metric_log
Содержит исторические значения метрик из таблицы system.asynchronous_metrics, которые сохраняются раз в минуту. По умолчанию включена.
Столбцы:
event_date(Date) — дата события.event_time(DateTime) — время события.name(String) — название метрики.value(Float64) — значение метрики.
Пример
SELECT * FROM system.asynchronous_metric_log LIMIT 10
┌─event_date─┬──────────event_time─┬─name─────────────────────────────────────┬────value─┐
│ 2020-06-22 │ 2020-06-22 06:57:30 │ jemalloc.arenas.all.pmuzzy │ 0 │
│ 2020-06-22 │ 2020-06-22 06:57:30 │ jemalloc.arenas.all.pdirty │ 4214 │
│ 2020-06-22 │ 2020-06-22 06:57:30 │ jemalloc.background_thread.run_intervals │ 0 │
│ 2020-06-22 │ 2020-06-22 06:57:30 │ jemalloc.background_thread.num_runs │ 0 │
│ 2020-06-22 │ 2020-06-22 06:57:30 │ jemalloc.retained │ 17657856 │
│ 2020-06-22 │ 2020-06-22 06:57:30 │ jemalloc.mapped │ 71471104 │
│ 2020-06-22 │ 2020-06-22 06:57:30 │ jemalloc.resident │ 61538304 │
│ 2020-06-22 │ 2020-06-22 06:57:30 │ jemalloc.metadata │ 6199264 │
│ 2020-06-22 │ 2020-06-22 06:57:30 │ jemalloc.allocated │ 38074336 │
│ 2020-06-22 │ 2020-06-22 06:57:30 │ jemalloc.epoch │ 2 │
└────────────┴─────────────────────┴──────────────────────────────────────────┴──────────┘
Смотрите также
- system.asynchronous_metrics — Содержит метрики, которые периодически вычисляются в фоновом режиме.
- system.metric_log — таблица фиксирующая историю значений метрик из
system.metricsиsystem.events.
system.clusters
Содержит информацию о доступных в конфигурационном файле кластерах и серверах, которые в них входят. Столбцы:
cluster String — имя кластера.
shard_num UInt32 — номер шарда в кластере, начиная с 1.
shard_weight UInt32 — относительный вес шарда при записи данных
replica_num UInt32 — номер реплики в шарде, начиная с 1.
host_name String — хост, указанный в конфигурации.
host_address String — IP-адрес хоста, полученный из DNS.
port UInt16 — порт, на который обращаться для соединения с сервером.
user String — имя пользователя, которого использовать для соединения с сервером.
system.columns
Содержит информацию о столбцах всех таблиц.
С помощью этой таблицы можно получить информацию аналогично запросу DESCRIBE TABLE, но для многих таблиц сразу.
Таблица system.columns содержит столбцы (тип столбца указан в скобках):
database(String) — имя базы данных.table(String) — имя таблицы.name(String) — имя столбца.type(String) — тип столбца.default_kind(String) — тип выражения (DEFAULT,MATERIALIZED,ALIAS) значения по умолчанию, или пустая строка.default_expression(String) — выражение для значения по умолчанию или пустая строка.data_compressed_bytes(UInt64) — размер сжатых данных в байтах.data_uncompressed_bytes(UInt64) — размер распакованных данных в байтах.marks_bytes(UInt64) — размер засечек в байтах.comment(String) — комментарий к столбцу или пустая строка.is_in_partition_key(UInt8) — флаг, показывающий включение столбца в ключ партиционирования.is_in_sorting_key(UInt8) — флаг, показывающий включение столбца в ключ сортировки.is_in_primary_key(UInt8) — флаг, показывающий включение столбца в первичный ключ.is_in_sampling_key(UInt8) — флаг, показывающий включение столбца в ключ выборки.
system.contributors
Содержит информацию о контрибьютерах. Контрибьютеры расположены в таблице в случайном порядке. Порядок определяется заново при каждом запросе.
Столбцы:
name(String) — Имя контрибьютера (автора коммита) из git log.
Пример
SELECT * FROM system.contributors LIMIT 10
┌─name─────────────┐
│ Olga Khvostikova │
│ Max Vetrov │
│ LiuYangkuan │
│ svladykin │
│ zamulla │
│ Šimon Podlipský │
│ BayoNet │
│ Ilya Khomutov │
│ Amy Krishnevsky │
│ Loud_Scream │
└──────────────────┘
Чтобы найти себя в таблице, выполните запрос:
SELECT * FROM system.contributors WHERE name='Olga Khvostikova'
┌─name─────────────┐
│ Olga Khvostikova │
└──────────────────┘
system.licenses
Содержит информацию о лицензиях сторонних библиотек, которые находятся в директории contrib исходных кодов ClickHouse.
Столбцы:
library_name(String) — Название библиотеки, к которой относится лицензия.license_type(String) — Тип лицензии, например, Apache, MIT.license_path(String) — Путь к файлу с текстом лицензии.license_text(String) — Текст лицензии.
Пример
SELECT library_name, license_type, license_path FROM system.licenses LIMIT 15
┌─library_name───────┬─license_type─┬─license_path────────────────────────┐
│ FastMemcpy │ MIT │ /contrib/FastMemcpy/LICENSE │
│ arrow │ Apache │ /contrib/arrow/LICENSE.txt │
│ avro │ Apache │ /contrib/avro/LICENSE.txt │
│ aws-c-common │ Apache │ /contrib/aws-c-common/LICENSE │
│ aws-c-event-stream │ Apache │ /contrib/aws-c-event-stream/LICENSE │
│ aws-checksums │ Apache │ /contrib/aws-checksums/LICENSE │
│ aws │ Apache │ /contrib/aws/LICENSE.txt │
│ base64 │ BSD 2-clause │ /contrib/base64/LICENSE │
│ boost │ Boost │ /contrib/boost/LICENSE_1_0.txt │
│ brotli │ MIT │ /contrib/brotli/LICENSE │
│ capnproto │ MIT │ /contrib/capnproto/LICENSE │
│ cassandra │ Apache │ /contrib/cassandra/LICENSE.txt │
│ cctz │ Apache │ /contrib/cctz/LICENSE.txt │
│ cityhash102 │ MIT │ /contrib/cityhash102/COPYING │
│ cppkafka │ BSD 2-clause │ /contrib/cppkafka/LICENSE │
└────────────────────┴──────────────┴─────────────────────────────────────┘
system.databases
Таблица содержит один столбец name типа String - имя базы данных.
Для каждой базы данных, о которой знает сервер, будет присутствовать соответствующая запись в таблице.
Эта системная таблица используется для реализации запроса SHOW DATABASES.
system.data_type_families
Содержит информацию о поддерживаемых типах данных.
Столбцы:
name(String) — имя типа данных.case_insensitive(UInt8) — свойство, которое показывает, зависит ли имя типа данных в запросе от регистра. Например, допустимы иDate, иdate.alias_to(String) — тип данных, для которогоnameявляется алиасом.
Пример
SELECT * FROM system.data_type_families WHERE alias_to = 'String'
┌─name───────┬─case_insensitive─┬─alias_to─┐
│ LONGBLOB │ 1 │ String │
│ LONGTEXT │ 1 │ String │
│ TINYTEXT │ 1 │ String │
│ TEXT │ 1 │ String │
│ VARCHAR │ 1 │ String │
│ MEDIUMBLOB │ 1 │ String │
│ BLOB │ 1 │ String │
│ TINYBLOB │ 1 │ String │
│ CHAR │ 1 │ String │
│ MEDIUMTEXT │ 1 │ String │
└────────────┴──────────────────┴──────────┘
See Also
- Синтаксис — поддерживаемый SQL синтаксис.
system.detached_parts
Содержит информацию об отсоединённых кусках таблиц семейства MergeTree. Столбец reason содержит причину, по которой кусок был отсоединён. Для кусов, отсоединённых пользователем, reason содержит пустую строку.
Такие куски могут быть присоединены с помощью ALTER TABLE ATTACH PARTITION|PART. Остальные столбцы описаны в system.parts.
Если имя куска некорректно, значения некоторых столбцов могут быть NULL. Такие куски могут быть удалены с помощью ALTER TABLE DROP DETACHED PART.
system.dictionaries
Содержит информацию о внешних словарях.
Столбцы:
database(String) — Имя базы данных, в которой находится словарь, созданный с помощью DDL-запроса. Пустая строка для других словарей.name(String) — Имя словаря.status(Enum8) — Статус словаря. Возможные значения:NOT_LOADED— Словарь не загружен, потому что не использовался.LOADED— Словарь загружен успешно.FAILED— Словарь не загружен в результате ошибки.LOADING— Словарь в процессе загрузки.LOADED_AND_RELOADING— Словарь загружен успешно, сейчас перезагружается (частые причины: запрос SYSTEM RELOAD DICTIONARY, таймаут, изменение настроек словаря).FAILED_AND_RELOADING— Словарь не загружен в результате ошибки, сейчас перезагружается.
origin(String) — Путь к конфигурационному файлу, описывающему словарь.type(String) — Тип размещения словаря. Хранение словарей в памяти.key— Тип ключа: Числовой ключ (UInt64) или Составной ключ (String) — строка вида “(тип 1, тип 2, …, тип n)”.attribute.names(Array(String)) — Массив имен атрибутов, предоставляемых справочником.attribute.types(Array(String)) — Соответствующий массив типов атрибутов, предоставляемых справочником.bytes_allocated(UInt64) — Объем оперативной памяти, используемый словарем.query_count(UInt64) — Количество запросов с момента загрузки словаря или с момента последней успешной перезагрузки.hit_rate(Float64) — Для cache-словарей — процент закэшированных значений.element_count(UInt64) — Количество элементов, хранящихся в словаре.load_factor(Float64) — Процент заполнения словаря (для хэшированного словаря — процент заполнения хэш-таблицы).source(String) — Текст, описывающий источник данных для словаря.lifetime_min(UInt64) — Минимальное время обновления словаря в памяти, по истечении которого Clickhouse попытается перезагрузить словарь (если заданоinvalidate_query, то только если он изменился). Задается в секундах.lifetime_max(UInt64) — Максимальное время обновления словаря в памяти, по истечении которого Clickhouse попытается перезагрузить словарь (если заданоinvalidate_query, то только если он изменился). Задается в секундах.loading_start_time(DateTime) — Время начала загрузки словаря.loading_duration(Float32) — Время, затраченное на загрузку словаря.last_exception(String) — Текст ошибки, возникающей при создании или перезагрузке словаря, если словарь не удалось создать.
Пример
Настройте словарь.
CREATE DICTIONARY dictdb.dict
(
`key` Int64 DEFAULT -1,
`value_default` String DEFAULT 'world',
`value_expression` String DEFAULT 'xxx' EXPRESSION 'toString(127 * 172)'
)
PRIMARY KEY key
SOURCE(CLICKHOUSE(HOST 'localhost' PORT 9000 USER 'default' TABLE 'dicttbl' DB 'dictdb'))
LIFETIME(MIN 0 MAX 1)
LAYOUT(FLAT())
Убедитесь, что словарь загружен.
SELECT * FROM system.dictionaries
┌─database─┬─name─┬─status─┬─origin──────┬─type─┬─key────┬─attribute.names──────────────────────┬─attribute.types─────┬─bytes_allocated─┬─query_count─┬─hit_rate─┬─element_count─┬───────────load_factor─┬─source─────────────────────┬─lifetime_min─┬─lifetime_max─┬──loading_start_time─┌──last_successful_update_time─┬──────loading_duration─┬─last_exception─┐
│ dictdb │ dict │ LOADED │ dictdb.dict │ Flat │ UInt64 │ ['value_default','value_expression'] │ ['String','String'] │ 74032 │ 0 │ 1 │ 1 │ 0.0004887585532746823 │ ClickHouse: dictdb.dicttbl │ 0 │ 1 │ 2020-03-04 04:17:34 │ 2020-03-04 04:30:34 │ 0.002 │ │
└──────────┴──────┴────────┴─────────────┴──────┴────────┴──────────────────────────────────────┴─────────────────────┴─────────────────┴─────────────┴──────────┴───────────────┴───────────────────────┴────────────────────────────┴──────────────┴──────────────┴─────────────────────┴──────────────────────────────┘───────────────────────┴────────────────┘
system.events
Содержит информацию о количестве событий, произошедших в системе. Например, в таблице можно найти, сколько запросов SELECT обработано с момента запуска сервера ClickHouse.
Столбцы:
event(String) — имя события.value(UInt64) — количество произошедших событий.description(String) — описание события.
Пример
SELECT * FROM system.events LIMIT 5
┌─event─────────────────────────────────┬─value─┬─description────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Query │ 12 │ Number of queries to be interpreted and potentially executed. Does not include queries that failed to parse or were rejected due to AST size limits, quota limits or limits on the number of simultaneously running queries. May include internal queries initiated by ClickHouse itself. Does not count subqueries. │
│ SelectQuery │ 8 │ Same as Query, but only for SELECT queries. │
│ FileOpen │ 73 │ Number of files opened. │
│ ReadBufferFromFileDescriptorRead │ 155 │ Number of reads (read/pread) from a file descriptor. Does not include sockets. │
│ ReadBufferFromFileDescriptorReadBytes │ 9931 │ Number of bytes read from file descriptors. If the file is compressed, this will show the compressed data size. │
└───────────────────────────────────────┴───────┴────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┘
Смотрите также
- system.asynchronous_metrics — таблица с периодически вычисляемыми метриками.
- system.metrics — таблица с мгновенно вычисляемыми метриками.
- system.metric_log — таблица фиксирующая историю значений метрик из
system.metricsиsystem.events. - Мониторинг — основы мониторинга в ClickHouse.
system.functions
Содержит информацию об обычных и агрегатных функциях.
Столбцы:
name(String) – Имя функции.is_aggregate(UInt8) – Признак, является ли функция агрегатной.
system.graphite_retentions
Содержит информацию о том, какие параметры graphite_rollup используются в таблицах с движками *GraphiteMergeTree.
Столбцы:
config_name(String) - Имя параметра, используемого дляgraphite_rollup.regexp(String) - Шаблон имени метрики.function(String) - Имя агрегирующей функции.age(UInt64) - Минимальный возраст данных в секундах.precision(UInt64) - Точность определения возраста данных в секундах.priority(UInt16) - Приоритет раздела pattern.is_default(UInt8) - Является ли раздел pattern дефолтным.Tables.database(Array(String)) - Массив имён баз данных таблиц, использующих параметрconfig_name.Tables.table(Array(String)) - Массив имён таблиц, использующих параметрconfig_name.
system.merges
Содержит информацию о производящихся прямо сейчас слияниях и мутациях кусков для таблиц семейства MergeTree.
Столбцы:
database String— Имя базы данных, в которой находится таблица.table String— Имя таблицы.elapsed Float64— Время в секундах, прошедшее от начала выполнения слияния.progress Float64— Доля выполненной работы от 0 до 1.num_parts UInt64— Количество сливаемых кусков.result_part_name String— Имя куска, который будет образован в результате слияния.is_mutation UInt8- Является ли данный процесс мутацией куска.total_size_bytes_compressed UInt64— Суммарный размер сжатых данных сливаемых кусков.total_size_marks UInt64— Суммарное количество засечек в сливаемых кусках.bytes_read_uncompressed UInt64— Количество прочитанных байт, разжатых.rows_read UInt64— Количество прочитанных строк.bytes_written_uncompressed UInt64— Количество записанных байт, несжатых.rows_written UInt64— Количество записанных строк.
system.metrics
Содержит метрики, которые могут быть рассчитаны мгновенно или имеют текущее значение. Например, число одновременно обрабатываемых запросов или текущее значение задержки реплики. Эта таблица всегда актуальна.
Столбцы:
metric(String) — название метрики.value(Int64) — значение метрики.description(String) — описание метрики.
Список поддержанных метрик смотрите в файле src/Common/CurrentMetrics.cpp.
Пример
SELECT * FROM system.metrics LIMIT 10
┌─metric─────────────────────┬─value─┬─description──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ Query │ 1 │ Number of executing queries │
│ Merge │ 0 │ Number of executing background merges │
│ PartMutation │ 0 │ Number of mutations (ALTER DELETE/UPDATE) │
│ ReplicatedFetch │ 0 │ Number of data parts being fetched from replicas │
│ ReplicatedSend │ 0 │ Number of data parts being sent to replicas │
│ ReplicatedChecks │ 0 │ Number of data parts checking for consistency │
│ BackgroundPoolTask │ 0 │ Number of active tasks in BackgroundProcessingPool (merges, mutations, fetches, or replication queue bookkeeping) │
│ BackgroundSchedulePoolTask │ 0 │ Number of active tasks in BackgroundSchedulePool. This pool is used for periodic ReplicatedMergeTree tasks, like cleaning old data parts, altering data parts, replica re-initialization, etc. │
│ DiskSpaceReservedForMerge │ 0 │ Disk space reserved for currently running background merges. It is slightly more than the total size of currently merging parts. │
│ DistributedSend │ 0 │ Number of connections to remote servers sending data that was INSERTed into Distributed tables. Both synchronous and asynchronous mode. │
└────────────────────────────┴───────┴──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┘
Смотрите также
- system.asynchronous_metrics — таблица с периодически вычисляемыми метриками.
- system.events — таблица с количеством произошедших событий.
- system.metric_log — таблица фиксирующая историю значений метрик из
system.metricsиsystem.events. - Мониторинг — основы мониторинга в ClickHouse.
system.metric_log
Содержит историю значений метрик из таблиц system.metrics и system.events, периодически сбрасываемую на диск.
Для включения сбора истории метрик в таблице system.metric_log создайте /etc/clickhouse-server/config.d/metric_log.xml следующего содержания:
<yandex>
<metric_log>
<database>system</database>
<table>metric_log</table>
<flush_interval_milliseconds>7500</flush_interval_milliseconds>
<collect_interval_milliseconds>1000</collect_interval_milliseconds>
</metric_log>
</yandex>
Пример
SELECT * FROM system.metric_log LIMIT 1 FORMAT Vertical;
Row 1:
──────
event_date: 2020-02-18
event_time: 2020-02-18 07:15:33
milliseconds: 554
ProfileEvent_Query: 0
ProfileEvent_SelectQuery: 0
ProfileEvent_InsertQuery: 0
ProfileEvent_FileOpen: 0
ProfileEvent_Seek: 0
ProfileEvent_ReadBufferFromFileDescriptorRead: 1
ProfileEvent_ReadBufferFromFileDescriptorReadFailed: 0
ProfileEvent_ReadBufferFromFileDescriptorReadBytes: 0
ProfileEvent_WriteBufferFromFileDescriptorWrite: 1
ProfileEvent_WriteBufferFromFileDescriptorWriteFailed: 0
ProfileEvent_WriteBufferFromFileDescriptorWriteBytes: 56
...
CurrentMetric_Query: 0
CurrentMetric_Merge: 0
CurrentMetric_PartMutation: 0
CurrentMetric_ReplicatedFetch: 0
CurrentMetric_ReplicatedSend: 0
CurrentMetric_ReplicatedChecks: 0
...
Смотрите также
- system.asynchronous_metrics — таблица с периодически вычисляемыми метриками.
- system.events — таблица с количеством произошедших событий.
- system.metrics — таблица с мгновенно вычисляемыми метриками.
- Мониторинг — основы мониторинга в ClickHouse.
system.numbers
Таблица содержит один столбец с именем number типа UInt64, содержащим почти все натуральные числа, начиная с нуля. Эту таблицу можно использовать для тестов, а также если вам нужно сделать перебор. Чтения из этой таблицы не распараллеливаются.
system.numbers_mt
То же самое, что и system.numbers, но чтение распараллеливается. Числа могут возвращаться в произвольном порядке. Используется для тестов.
system.one
Таблица содержит одну строку с одним столбцом dummy типа UInt8, содержащим значение 0. Эта таблица используется, если в SELECT запросе не указана секция FROM. То есть, это - аналог таблицы DUAL, которую можно найти в других СУБД.
system.parts
Содержит информацию о кусках данных таблиц семейства MergeTree.
Каждая строка описывает один кусок данных.
Столбцы:
-
partition(String) – имя партиции. Что такое партиция можно узнать из описания запроса ALTER.Форматы:
YYYYMMдля автоматической схемы партиционирования по месяцам.any_stringпри партиционировании вручную.
-
name(String) – имя куска. -
part_type(String) — формат хранения данных.Возможные значения:
Wide— каждая колонка хранится в отдельном файле.Compact— все колонки хранятся в одном файле.
Формат хранения данных определяется настройками
min_bytes_for_wide_partиmin_rows_for_wide_partтаблицы MergeTree. -
active(UInt8) – признак активности. Если кусок активен, то он используется таблицей, в противном случает он будет удален. Неактивные куски остаются после слияний. -
marks(UInt64) – количество засечек. Чтобы получить примерное количество строк в куске, умножьтеmarksна гранулированность индекса (обычно 8192). -
rows(UInt64) – количество строк. -
bytes_on_disk(UInt64) – общий размер всех файлов кусков данных в байтах. -
data_compressed_bytes(UInt64) – общий размер сжатой информации в куске данных. Размер всех дополнительных файлов (например, файлов с засечками) не учитывается. -
data_uncompressed_bytes(UInt64) – общий размер распакованной информации куска данных. Размер всех дополнительных файлов (например, файлов с засечками) не учитывается. -
marks_bytes(UInt64) – размер файла с засечками. -
modification_time(DateTime) – время модификации директории с куском данных. Обычно соответствует времени создания куска. -
remove_time(DateTime) – время, когда кусок стал неактивным. -
refcount(UInt32) – количество мест, в котором кусок используется. Значение больше 2 говорит о том, что кусок участвует в запросах или в слияниях. -
min_date(Date) – минимальное значение ключа даты в куске данных. -
max_date(Date) – максимальное значение ключа даты в куске данных. -
min_time(DateTime) – минимальное значение даты и времени в куске данных. -
max_time(DateTime) – максимальное значение даты и времени в куске данных. -
partition_id(String) – ID партиции. -
min_block_number(UInt64) – минимальное число кусков, из которых состоит текущий после слияния. -
max_block_number(UInt64) – максимальное число кусков, из которых состоит текущий после слияния. -
level(UInt32) - глубина дерева слияний. Если слияний не было, тоlevel=0. -
data_version(UInt64) – число, которое используется для определения того, какие мутации необходимо применить к куску данных (мутации с версией большей, чемdata_version). -
primary_key_bytes_in_memory(UInt64) – объём памяти (в байтах), занимаемой значениями первичных ключей. -
primary_key_bytes_in_memory_allocated(UInt64) – объём памяти (в байтах) выделенный для размещения первичных ключей. -
is_frozen(UInt8) – Признак, показывающий существование бэкапа партиции. 1, бэкап есть. 0, бэкапа нет. Смотрите раздел FREEZE PARTITION. -
database(String) – имя базы данных. -
table(String) – имя таблицы. -
engine(String) – имя движка таблицы, без параметров. -
path(String) – абсолютный путь к папке с файлами кусков данных. -
disk(String) – имя диска, на котором находится кусок данных. -
hash_of_all_files(String) – значение sipHash128 для сжатых файлов. -
hash_of_uncompressed_files(String) – значение sipHash128 несжатых файлов (файлы с засечками, первичным ключом и пр.) -
uncompressed_hash_of_compressed_files(String) – значение sipHash128 данных в сжатых файлах как если бы они были разжатыми. -
delete_ttl_info_min(DateTime) — Минимальное значение ключа даты и времени для правила TTL DELETE. -
delete_ttl_info_max(DateTime) — Максимальное значение ключа даты и времени для правила TTL DELETE. -
move_ttl_info.expression(Array(String)) — Массив выражений. Каждое выражение задаёт правило TTL MOVE.!!! note "Предупреждение" Массив выражений
move_ttl_info.expressionиспользуется, в основном, для обратной совместимости. Для работы с правиламиTTL MOVEлучше использовать поляmove_ttl_info.minиmove_ttl_info.max. -
move_ttl_info.min(Array(DateTime)) — Массив значений. Каждый элемент массива задаёт минимальное значение ключа даты и времени для правила TTL MOVE. -
move_ttl_info.max(Array(DateTime)) — Массив значений. Каждый элемент массива задаёт максимальное значение ключа даты и времени для правила TTL MOVE. -
bytes(UInt64) – алиас дляbytes_on_disk. -
marks_size(UInt64) – алиас дляmarks_bytes.
Пример
SELECT * FROM system.parts LIMIT 1 FORMAT Vertical;
Row 1:
──────
partition: tuple()
name: all_1_4_1_6
part_type: Wide
active: 1
marks: 2
rows: 6
bytes_on_disk: 310
data_compressed_bytes: 157
data_uncompressed_bytes: 91
marks_bytes: 144
modification_time: 2020-06-18 13:01:49
remove_time: 0000-00-00 00:00:00
refcount: 1
min_date: 0000-00-00
max_date: 0000-00-00
min_time: 0000-00-00 00:00:00
max_time: 0000-00-00 00:00:00
partition_id: all
min_block_number: 1
max_block_number: 4
level: 1
data_version: 6
primary_key_bytes_in_memory: 8
primary_key_bytes_in_memory_allocated: 64
is_frozen: 0
database: default
table: months
engine: MergeTree
disk_name: default
path: /var/lib/clickhouse/data/default/months/all_1_4_1_6/
hash_of_all_files: 2d0657a16d9430824d35e327fcbd87bf
hash_of_uncompressed_files: 84950cc30ba867c77a408ae21332ba29
uncompressed_hash_of_compressed_files: 1ad78f1c6843bbfb99a2c931abe7df7d
delete_ttl_info_min: 0000-00-00 00:00:00
delete_ttl_info_max: 0000-00-00 00:00:00
move_ttl_info.expression: []
move_ttl_info.min: []
move_ttl_info.max: []
См. также
system.part_log
Системная таблица system.part_log создается только в том случае, если задана серверная настройка part_log.
Содержит информацию о всех событиях, произошедших с кусками данных таблиц семейства MergeTree (например, события добавления, удаления или слияния данных).
Столбцы:
event_type(Enum) — тип события. Столбец может содержать одно из следующих значений:NEW_PART— вставка нового куска.MERGE_PARTS— слияние кусков.DOWNLOAD_PART— загрузка с реплики.REMOVE_PART— удаление или отсоединение из таблицы с помощью DETACH PARTITION.MUTATE_PART— изменение куска.MOVE_PART— перемещение куска между дисками.
event_date(Date) — дата события.event_time(DateTime) — время события.duration_ms(UInt64) — длительность.database(String) — имя базы данных, в которой находится кусок.table(String) — имя таблицы, в которой находится кусок.part_name(String) — имя куска.partition_id(String) — идентификатор партиции, в которую был добавлен кусок. В столбце будет значение ‘all’, если таблица партициируется по выражениюtuple().rows(UInt64) — число строк в куске.size_in_bytes(UInt64) — размер куска данных в байтах.merged_from(Array(String)) — массив имён кусков, из которых образован текущий кусок в результате слияния (также столбец заполняется в случае скачивания уже смерженного куска).bytes_uncompressed(UInt64) — количество прочитанных разжатых байт.read_rows(UInt64) — сколько было прочитано строк при слиянии кусков.read_bytes(UInt64) — сколько было прочитано байт при слиянии кусков.error(UInt16) — код ошибки, возникшей при текущем событии.exception(String) — текст ошибки.
Системная таблица system.part_log будет создана после первой вставки данных в таблицу MergeTree.
system.processes
Используется для реализации запроса SHOW PROCESSLIST.
Столбцы:
user(String) – пользователь, инициировавший запрос. При распределённом выполнении запросы отправляются на удалённые серверы от имени пользователяdefault. Поле содержит имя пользователя для конкретного запроса, а не для запроса, который иницировал этот запрос.address(String) – IP-адрес, с которого пришёл запрос. При распределённой обработке запроса аналогично. Чтобы определить откуда запрос пришел изначально, необходимо смотреть таблицуsystem.processesна сервере-источнике запроса.elapsed(Float64) – время в секундах с начала обработки запроса.rows_read(UInt64) – количество прочитанных строк. При распределённой обработке запроса на сервере-инициаторе запроса представляет собой сумму по всем удалённым серверам.bytes_read(UInt64) – количество прочитанных из таблиц байт, в несжатом виде. При распределённой обработке запроса на сервере-инициаторе запроса представляет собой сумму по всем удалённым серверам.total_rows_approx(UInt64) – приблизительная оценка общего количества строк, которые должны быть прочитаны. При распределённой обработке запроса, на сервере-инициаторе запроса, представляет собой сумму по всем удалённым серверам. Может обновляться в процессе выполнения запроса, когда становятся известны новые источники для обработки.memory_usage(UInt64) – потребление памяти запросом. Может не учитывать некоторые виды выделенной памяти. Смотрите описание настройки max_memory_usage.query(String) – текст запроса. Для запросовINSERTне содержит встаявляемые данные.query_id(String) – идентификатор запроса, если был задан.
system.text_log
Содержит записи логов. Уровень логирования для таблицы может быть ограничен параметром сервера text_log.level.
Столбцы:
event_date(Date) — Дата создания записи.event_time(DateTime) — Время создания записи.microseconds(UInt32) — Время создания записи в микросекундах.thread_name(String) — Название потока, из которого была сделана запись.thread_id(UInt64) — Идентификатор потока ОС.level(Enum8) — Уровень логирования записи. Возможные значения:1или'Fatal'.2или'Critical'.3или'Error'.4или'Warning'.5или'Notice'.6или'Information'.7или'Debug'.8или'Trace'.
query_id(String) — Идентификатор запроса.logger_name(LowCardinality(String)) — Название логгера (DDLWorker).message(String) — Само тело записи.revision(UInt32) — Ревизия ClickHouse.source_file(LowCardinality(String)) — Исходный файл, из которого была сделана запись.source_line(UInt64) — Исходная строка, из которой была сделана запись.
system.query_log
Содержит информацию о выполняемых запросах, например, время начала обработки, продолжительность обработки, сообщения об ошибках.
!!! note "Внимание"
Таблица не содержит входных данных для запросов INSERT.
Настойки логгирования можно изменить в секции серверной конфигурации query_log.
Можно отключить логгирование настройкой log_queries = 0. По-возможности, не отключайте логгирование, поскольку информация из таблицы важна при решении проблем.
Период сброса данных в таблицу задаётся параметром flush_interval_milliseconds в конфигурационной секции query_log. Чтобы принудительно записать логи из буффера памяти в таблицу, используйте запрос SYSTEM FLUSH LOGS.
ClickHouse не удаляет данные из таблица автоматически. Смотрите Введение.
Таблица system.query_log содержит информацию о двух видах запросов:
- Первоначальные запросы, которые были выполнены непосредственно клиентом.
- Дочерние запросы, инициированные другими запросами (для выполнения распределенных запросов). Для дочерних запросов информация о первоначальном запросе содержится в столбцах
initial_*.
В зависимости от статуса (столбец type) каждый запрос создаёт одну или две строки в таблице query_log:
- Если запрос выполнен успешно, создаются два события типа
QueryStartиQueryFinish. - Если во время обработки запроса возникла ошибка, создаются два события с типами
QueryStartиExceptionWhileProcessing. - Если ошибка произошла ещё до запуска запроса, создается одно событие с типом
ExceptionBeforeStart.
Столбцы:
type(Enum8) — тип события, произошедшего при выполнении запроса. Значения:'QueryStart' = 1— успешное начало выполнения запроса.'QueryFinish' = 2— успешное завершение выполнения запроса.'ExceptionBeforeStart' = 3— исключение перед началом обработки запроса.'ExceptionWhileProcessing' = 4— исключение во время обработки запроса.
event_date(Date) — дата начала запроса.event_time(DateTime) — время начала запроса.query_start_time(DateTime) — время начала обработки запроса.query_duration_ms(UInt64) — длительность выполнения запроса в миллисекундах.read_rows(UInt64) — Общее количество строк, считанных из всех таблиц и табличных функций, участвующих в запросе. Включает в себя обычные подзапросы, подзапросы дляINиJOIN. Для распределенных запросовread_rowsвключает в себя общее количество строк, прочитанных на всех репликах. Каждая реплика передает собственное значениеread_rows, а сервер-инициатор запроса суммирует все полученные и локальные значения. Объемы кэша не учитываюся.read_bytes(UInt64) — Общее количество байтов, считанных из всех таблиц и табличных функций, участвующих в запросе. Включает в себя обычные подзапросы, подзапросы дляINиJOIN. Для распределенных запросовread_bytesвключает в себя общее количество байтов, прочитанных на всех репликах. Каждая реплика передает собственное значениеread_bytes, а сервер-инициатор запроса суммирует все полученные и локальные значения. Объемы кэша не учитываюся.written_rows(UInt64) — количество записанных строк для запросовINSERT. Для других запросов, значение столбца 0.written_bytes(UInt64) — объём записанных данных в байтах для запросовINSERT. Для других запросов, значение столбца 0.result_rows(UInt64) — количество строк в результате запросаSELECTили количество строк в запросеINSERT.result_bytes(UInt64) — объём RAM в байтах, использованный для хранения результата запроса.memory_usage(UInt64) — потребление RAM запросом.query(String) — текст запроса.exception(String) — сообщение исключения, если запрос завершился по исключению.exception_code(Int32) — код исключения.stack_trace(String) — stack trace. Пустая строка, если запрос успешно завершен.is_initial_query(UInt8) — вид запроса. Возможные значения:- 1 — запрос был инициирован клиентом.
- 0 — запрос был инициирован другим запросом при выполнении распределенного запроса.
user(String) — пользователь, запустивший текущий запрос.query_id(String) — ID запроса.address(IPv6) — IP адрес, с которого пришел запрос.port(UInt16) — порт, с которого клиент сделал запросinitial_user(String) — пользователь, запустивший первоначальный запрос (для распределенных запросов).initial_query_id(String) — ID родительского запроса.initial_address(IPv6) — IP адрес, с которого пришел родительский запрос.initial_port(UInt16) — порт, с которого клиент сделал родительский запрос.interface(UInt8) — интерфейс, с которого ушёл запрос. Возможные значения:- 1 — TCP.
- 2 — HTTP.
os_user(String) — имя пользователя операционной системы, который запустил clickhouse-client.client_hostname(String) — имя сервера, с которого присоединился clickhouse-client или другой TCP клиент.client_name(String) — clickhouse-client или другой TCP клиент.client_revision(UInt32) — ревизия clickhouse-client или другого TCP клиента.client_version_major(UInt32) — старшая версия clickhouse-client или другого TCP клиента.client_version_minor(UInt32) — младшая версия clickhouse-client или другого TCP клиента.client_version_patch(UInt32) — патч clickhouse-client или другого TCP клиента.http_method(UInt8) — HTTP метод, инициировавший запрос. Возможные значения:- 0 — запрос запущен с интерфейса TCP.
- 1 —
GET. - 2 —
POST.
http_user_agent(String) — HTTP заголовокUserAgent.quota_key(String) — «ключ квоты» из настроек квот (см.keyed).revision(UInt32) — ревизия ClickHouse.thread_numbers(Array(UInt32)) — количество потоков, участвующих в обработке запросов.ProfileEvents.Names(Array(String)) — Счетчики для изменения различных метрик. Описание метрик можно получить из таблицы system.events(#system_tables-eventsProfileEvents.Values(Array(UInt64)) — метрики, перечисленные в столбцеProfileEvents.Names.Settings.Names(Array(String)) — имена настроек, которые меняются, когда клиент выполняет запрос. Чтобы разрешить логирование изменений настроек, установите параметрlog_query_settingsравным 1.Settings.Values(Array(String)) — Значения настроек, которые перечислены в столбцеSettings.Names.
Пример
SELECT * FROM system.query_log LIMIT 1 FORMAT Vertical;
Row 1:
──────
type: QueryStart
event_date: 2020-05-13
event_time: 2020-05-13 14:02:28
query_start_time: 2020-05-13 14:02:28
query_duration_ms: 0
read_rows: 0
read_bytes: 0
written_rows: 0
written_bytes: 0
result_rows: 0
result_bytes: 0
memory_usage: 0
query: SELECT 1
exception_code: 0
exception:
stack_trace:
is_initial_query: 1
user: default
query_id: 5e834082-6f6d-4e34-b47b-cd1934f4002a
address: ::ffff:127.0.0.1
port: 57720
initial_user: default
initial_query_id: 5e834082-6f6d-4e34-b47b-cd1934f4002a
initial_address: ::ffff:127.0.0.1
initial_port: 57720
interface: 1
os_user: bayonet
client_hostname: clickhouse.ru-central1.internal
client_name: ClickHouse client
client_revision: 54434
client_version_major: 20
client_version_minor: 4
client_version_patch: 1
http_method: 0
http_user_agent:
quota_key:
revision: 54434
thread_ids: []
ProfileEvents.Names: []
ProfileEvents.Values: []
Settings.Names: ['use_uncompressed_cache','load_balancing','log_queries','max_memory_usage']
Settings.Values: ['0','random','1','10000000000']
Смотрите также
- system.query_thread_log — в этой таблице содержится информация о цепочке каждого выполненного запроса.
system.query_thread_log
Содержит информацию о потоках, которые выполняют запросы, например, имя потока, время его запуска, продолжительность обработки запроса.
Чтобы начать логирование:
- Настройте параметры query_thread_log в конфигурации сервера.
- Установите значение log_query_threads равным 1.
Интервал сброса данных в таблицу задаётся параметром flush_interval_milliseconds в разделе настроек сервера query_thread_log. Чтобы принудительно записать логи из буфера памяти в таблицу, используйте запрос SYSTEM FLUSH LOGS.
ClickHouse не удаляет данные из таблицы автоматически. Подробности в разделе Введение.
Столбцы:
event_date(Date) — дата завершения выполнения запроса потоком.event_time(DateTime) — дата и время завершения выполнения запроса потоком.query_start_time(DateTime) — время начала обработки запроса.query_duration_ms(UInt64) — длительность обработки запроса в миллисекундах.read_rows(UInt64) — количество прочитанных строк.read_bytes(UInt64) — количество прочитанных байтов.written_rows(UInt64) — количество записанных строк для запросовINSERT. Для других запросов, значение столбца 0.written_bytes(UInt64) — объём записанных данных в байтах для запросовINSERT. Для других запросов, значение столбца 0.memory_usage(Int64) — разница между выделенной и освобождённой памятью в контексте потока.peak_memory_usage(Int64) — максимальная разница между выделенной и освобождённой памятью в контексте потока.thread_name(String) — Имя потока.thread_id(UInt64) — tid (ID потока операционной системы).master_thread_id(UInt64) — tid (ID потока операционной системы) главного потока.query(String) — текст запроса.is_initial_query(UInt8) — вид запроса. Возможные значения:- 1 — запрос был инициирован клиентом.
- 0 — запрос был инициирован другим запросом при распределенном запросе.
user(String) — пользователь, запустивший текущий запрос.query_id(String) — ID запроса.address(IPv6) — IP адрес, с которого пришел запрос.port(UInt16) — порт, с которого пришел запрос.initial_user(String) — пользователь, запустивший первоначальный запрос (для распределенных запросов).initial_query_id(String) — ID родительского запроса.initial_address(IPv6) — IP адрес, с которого пришел родительский запрос.initial_port(UInt16) — порт, пришел родительский запрос.interface(UInt8) — интерфейс, с которого ушёл запрос. Возможные значения:- 1 — TCP.
- 2 — HTTP.
os_user(String) — имя пользователя в OS, который запустил clickhouse-client.client_hostname(String) — hostname клиентской машины, с которой присоединился clickhouse-client или другой TCP клиент.client_name(String) — clickhouse-client или другой TCP клиент.client_revision(UInt32) — ревизия clickhouse-client или другого TCP клиента.client_version_major(UInt32) — старшая версия clickhouse-client или другого TCP клиента.client_version_minor(UInt32) — младшая версия clickhouse-client или другого TCP клиента.client_version_patch(UInt32) — патч clickhouse-client или другого TCP клиента.http_method(UInt8) — HTTP метод, инициировавший запрос. Возможные значения:- 0 — запрос запущен с интерфейса TCP.
- 1 —
GET. - 2 —
POST.
http_user_agent(String) — HTTP заголовокUserAgent.quota_key(String) — «ключ квоты» из настроек квот (см.keyed).revision(UInt32) — ревизия ClickHouse.ProfileEvents.Names(Array(String)) — Счетчики для изменения различных метрик для данного потока. Описание метрик можно получить из таблицы system.events.ProfileEvents.Values(Array(UInt64)) — метрики для данного потока, перечисленные в столбцеProfileEvents.Names.
Пример
SELECT * FROM system.query_thread_log LIMIT 1 FORMAT Vertical
Row 1:
──────
event_date: 2020-05-13
event_time: 2020-05-13 14:02:28
query_start_time: 2020-05-13 14:02:28
query_duration_ms: 0
read_rows: 1
read_bytes: 1
written_rows: 0
written_bytes: 0
memory_usage: 0
peak_memory_usage: 0
thread_name: QueryPipelineEx
thread_id: 28952
master_thread_id: 28924
query: SELECT 1
is_initial_query: 1
user: default
query_id: 5e834082-6f6d-4e34-b47b-cd1934f4002a
address: ::ffff:127.0.0.1
port: 57720
initial_user: default
initial_query_id: 5e834082-6f6d-4e34-b47b-cd1934f4002a
initial_address: ::ffff:127.0.0.1
initial_port: 57720
interface: 1
os_user: bayonet
client_hostname: clickhouse.ru-central1.internal
client_name: ClickHouse client
client_revision: 54434
client_version_major: 20
client_version_minor: 4
client_version_patch: 1
http_method: 0
http_user_agent:
quota_key:
revision: 54434
ProfileEvents.Names: ['ContextLock','RealTimeMicroseconds','UserTimeMicroseconds','OSCPUWaitMicroseconds','OSCPUVirtualTimeMicroseconds']
ProfileEvents.Values: [1,97,81,5,81]
...
Смотрите также
- system.query_log — описание системной таблицы
query_log, которая содержит общую информацию о выполненных запросах.
system.trace_log
Contains stack traces collected by the sampling query profiler.
ClickHouse creates this table when the trace_log server configuration section is set. Also the query_profiler_real_time_period_ns and query_profiler_cpu_time_period_ns settings should be set.
To analyze logs, use the addressToLine, addressToSymbol and demangle introspection functions.
Columns:
-
event_date(Date) — Date of sampling moment. -
event_time(DateTime) — Timestamp of sampling moment. -
revision(UInt32) — ClickHouse server build revision.When connecting to server by `clickhouse-client`, you see the string similar to `Connected to ClickHouse server version 19.18.1 revision 54429.`. This field contains the `revision`, but not the `version` of a server. -
timer_type(Enum8) — Timer type:- `Real` represents wall-clock time. - `CPU` represents CPU time. -
thread_number(UInt32) — Thread identifier. -
query_id(String) — Query identifier that can be used to get details about a query that was running from the query_log system table. -
trace(Array(UInt64)) — Stack trace at the moment of sampling. Each element is a virtual memory address inside ClickHouse server process.
Example
SELECT * FROM system.trace_log LIMIT 1 \G
Row 1:
──────
event_date: 2019-11-15
event_time: 2019-11-15 15:09:38
revision: 54428
timer_type: Real
thread_number: 48
query_id: acc4d61f-5bd1-4a3e-bc91-2180be37c915
trace: [94222141367858,94222152240175,94222152325351,94222152329944,94222152330796,94222151449980,94222144088167,94222151682763,94222144088167,94222151682763,94222144088167,94222144058283,94222144059248,94222091840750,94222091842302,94222091831228,94222189631488,140509950166747,140509942945935]
system.replicas
Содержит информацию и статус для реплицируемых таблиц, расположенных на локальном сервере. Эту таблицу можно использовать для мониторинга. Таблица содержит по строчке для каждой Replicated*-таблицы.
Пример:
SELECT *
FROM system.replicas
WHERE table = 'visits'
FORMAT Vertical
Row 1:
──────
database: merge
table: visits
engine: ReplicatedCollapsingMergeTree
is_leader: 1
can_become_leader: 1
is_readonly: 0
is_session_expired: 0
future_parts: 1
parts_to_check: 0
zookeeper_path: /clickhouse/tables/01-06/visits
replica_name: example01-06-1.yandex.ru
replica_path: /clickhouse/tables/01-06/visits/replicas/example01-06-1.yandex.ru
columns_version: 9
queue_size: 1
inserts_in_queue: 0
merges_in_queue: 1
part_mutations_in_queue: 0
queue_oldest_time: 2020-02-20 08:34:30
inserts_oldest_time: 0000-00-00 00:00:00
merges_oldest_time: 2020-02-20 08:34:30
part_mutations_oldest_time: 0000-00-00 00:00:00
oldest_part_to_get:
oldest_part_to_merge_to: 20200220_20284_20840_7
oldest_part_to_mutate_to:
log_max_index: 596273
log_pointer: 596274
last_queue_update: 2020-02-20 08:34:32
absolute_delay: 0
total_replicas: 2
active_replicas: 2
Столбцы:
database(String) - имя БД.table(String) - имя таблицы.engine(String) - имя движка таблицы.is_leader(UInt8) - является ли реплика лидером. В один момент времени, не более одной из реплик является лидером. Лидер отвечает за выбор фоновых слияний, которые следует произвести. Замечу, что запись можно осуществлять на любую реплику (доступную и имеющую сессию в ZK), независимо от лидерства.can_become_leader(UInt8) - может ли реплика быть выбрана лидером.is_readonly(UInt8) - находится ли реплика в режиме «только для чтения» Этот режим включается, если в конфиге нет секции с ZK; если при переинициализации сессии в ZK произошла неизвестная ошибка; во время переинициализации сессии с ZK.is_session_expired(UInt8) - истекла ли сессия с ZK. В основном, то же самое, что иis_readonly.future_parts(UInt32) - количество кусков с данными, которые появятся в результате INSERT-ов или слияний, которых ещё предстоит сделатьparts_to_check(UInt32) - количество кусков с данными в очереди на проверку. Кусок помещается в очередь на проверку, если есть подозрение, что он может быть битым.zookeeper_path(String) - путь к данным таблицы в ZK.replica_name(String) - имя реплики в ZK; разные реплики одной таблицы имеют разное имя.replica_path(String) - путь к данным реплики в ZK. То же самое, что конкатенация zookeeper_path/replicas/replica_path.columns_version(Int32) - номер версии структуры таблицы. Обозначает, сколько раз был сделан ALTER. Если на репликах разные версии, значит некоторые реплики сделали ещё не все ALTER-ы.queue_size(UInt32) - размер очереди действий, которые предстоит сделать. К действиям относятся вставки блоков данных, слияния, и некоторые другие действия. Как правило, совпадает с future_parts.inserts_in_queue(UInt32) - количество вставок блоков данных, которые предстоит сделать. Обычно вставки должны быстро реплицироваться. Если величина большая - значит что-то не так.merges_in_queue(UInt32) - количество слияний, которые предстоит сделать. Бывают длинные слияния - то есть, это значение может быть больше нуля продолжительное время.part_mutations_in_queue(UInt32) - количество мутаций, которые предстоит сделать.queue_oldest_time(DateTime) - еслиqueue_sizeбольше 0, показывает, когда была добавлена в очередь самая старая операция.inserts_oldest_time(DateTime) - см.queue_oldest_time.merges_oldest_time(DateTime) - см.queue_oldest_time.part_mutations_oldest_time(DateTime) - см.queue_oldest_time.
Следующие 4 столбца имеют ненулевое значение только если активна сессия с ZK.
log_max_index(UInt64) - максимальный номер записи в общем логе действий.log_pointer(UInt64) - максимальный номер записи из общего лога действий, которую реплика скопировала в свою очередь для выполнения, плюс единица. Если log_pointer сильно меньше log_max_index, значит что-то не так.last_queue_update(DateTime) - When the queue was updated last time.absolute_delay(UInt64) - How big lag in seconds the current replica has.total_replicas(UInt8) - общее число известных реплик этой таблицы.active_replicas(UInt8) - число реплик этой таблицы, имеющих сессию в ZK; то есть, число работающих реплик.
Если запрашивать все столбцы, то таблица может работать слегка медленно, так как на каждую строчку делается несколько чтений из ZK. Если не запрашивать последние 4 столбца (log_max_index, log_pointer, total_replicas, active_replicas), то таблица работает быстро.
Например, так можно проверить, что всё хорошо:
SELECT
database,
table,
is_leader,
is_readonly,
is_session_expired,
future_parts,
parts_to_check,
columns_version,
queue_size,
inserts_in_queue,
merges_in_queue,
log_max_index,
log_pointer,
total_replicas,
active_replicas
FROM system.replicas
WHERE
is_readonly
OR is_session_expired
OR future_parts > 20
OR parts_to_check > 10
OR queue_size > 20
OR inserts_in_queue > 10
OR log_max_index - log_pointer > 10
OR total_replicas < 2
OR active_replicas < total_replicas
Если этот запрос ничего не возвращает - значит всё хорошо.
system.settings
Содержит информацию о сессионных настройках для текущего пользователя.
Столбцы:
name(String) — имя настройки.value(String) — значение настройки.changed(UInt8) — показывает, изменена ли настройка по отношению к значению по умолчанию.description(String) — краткое описание настройки.min(Nullable(String)) — минимальное значение настройки, если задано ограничение. Если нет, то поле содержит NULL.max(Nullable(String)) — максимальное значение настройки, если задано ограничение. Если нет, то поле содержит NULL.readonly(UInt8) — Показывает, может ли пользователь изменять настройку:0— Текущий пользователь может изменять настройку.1— Текущий пользователь не может изменять настройку.
Пример
Пример показывает как получить информацию о настройках, имена которых содержат min_i.
SELECT *
FROM system.settings
WHERE name LIKE '%min_i%'
┌─name────────────────────────────────────────┬─value─────┬─changed─┬─description───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┬─min──┬─max──┬─readonly─┐
│ min_insert_block_size_rows │ 1048576 │ 0 │ Squash blocks passed to INSERT query to specified size in rows, if blocks are not big enough. │ ᴺᵁᴸᴸ │ ᴺᵁᴸᴸ │ 0 │
│ min_insert_block_size_bytes │ 268435456 │ 0 │ Squash blocks passed to INSERT query to specified size in bytes, if blocks are not big enough. │ ᴺᵁᴸᴸ │ ᴺᵁᴸᴸ │ 0 │
│ read_backoff_min_interval_between_events_ms │ 1000 │ 0 │ Settings to reduce the number of threads in case of slow reads. Do not pay attention to the event, if the previous one has passed less than a certain amount of time. │ ᴺᵁᴸᴸ │ ᴺᵁᴸᴸ │ 0 │
└─────────────────────────────────────────────┴───────────┴─────────┴───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┴──────┴──────┴──────────┘
Использование WHERE changed может быть полезно, например, если необходимо проверить:
- Что настройки корректно загрузились из конфигурационного файла и используются.
- Настройки, изменённые в текущей сессии.
SELECT * FROM system.settings WHERE changed AND name='load_balancing'
Cм. также
system.table_engines
┌─name───────────────────┬─value───────┬─changed─┐
│ max_threads │ 8 │ 1 │
│ use_uncompressed_cache │ 0 │ 1 │
│ load_balancing │ random │ 1 │
│ max_memory_usage │ 10000000000 │ 1 │
└────────────────────────┴─────────────┴─────────┘
system.table_engines
Содержит информацию про движки таблиц, поддерживаемые сервером, а также об их возможностях.
Эта таблица содержит следующие столбцы (тип столбца показан в скобках):
name(String) — имя движка.supports_settings(UInt8) — флаг, показывающий поддержку секцииSETTINGS.supports_skipping_indices(UInt8) — флаг, показывающий поддержку индексов пропуска данных.supports_ttl(UInt8) — флаг, показывающий поддержку TTL.supports_sort_order(UInt8) — флаг, показывающий поддержку секцийPARTITION_BY,PRIMARY_KEY,ORDER_BYиSAMPLE_BY.supports_replication(UInt8) — флаг, показывающий поддержку репликации.supports_deduplication(UInt8) — флаг, показывающий наличие в движке дедупликации данных.
Пример:
SELECT *
FROM system.table_engines
WHERE name in ('Kafka', 'MergeTree', 'ReplicatedCollapsingMergeTree')
┌─name──────────────────────────┬─supports_settings─┬─supports_skipping_indices─┬─supports_sort_order─┬─supports_ttl─┬─supports_replication─┬─supports_deduplication─┐
│ Kafka │ 1 │ 0 │ 0 │ 0 │ 0 │ 0 │
│ MergeTree │ 1 │ 1 │ 1 │ 1 │ 0 │ 0 │
│ ReplicatedCollapsingMergeTree │ 1 │ 1 │ 1 │ 1 │ 1 │ 1 │
└───────────────────────────────┴───────────────────┴───────────────────────────┴─────────────────────┴──────────────┴──────────────────────┴────────────────────────┘
Смотрите также
- Секции движка семейства MergeTree
- Настройки Kafka
- Настройки Join
system.tables
Содержит метаданные каждой таблицы, о которой знает сервер. Отсоединённые таблицы не отображаются в system.tables.
Эта таблица содержит следующие столбцы (тип столбца показан в скобках):
-
database String— имя базы данных, в которой находится таблица. -
name(String) — имя таблицы. -
engine(String) — движок таблицы (без параметров). -
is_temporary(UInt8) — флаг, указывающий на то, временная это таблица или нет. -
data_path(String) — путь к данным таблицы в файловой системе. -
metadata_path(String) — путь к табличным метаданным в файловой системе. -
metadata_modification_time(DateTime) — время последней модификации табличных метаданных. -
dependencies_database(Array(String)) — зависимости базы данных. -
dependencies_table(Array(String)) — табличные зависимости (таблицы MaterializedView, созданные на базе текущей таблицы). -
create_table_query(String) — запрос, которым создавалась таблица. -
engine_full(String) — параметры табличного движка. -
partition_key(String) — ключ партиционирования таблицы. -
sorting_key(String) — ключ сортировки таблицы. -
primary_key(String) - первичный ключ таблицы. -
sampling_key(String) — ключ сэмплирования таблицы. -
storage_policy(String) - политика хранения данных: -
total_rows(Nullable(UInt64)) - Общее количество строк, если есть возможность быстро определить точное количество строк в таблице, в противном случаеNull(включая базовую таблицуBuffer). -
total_bytes(Nullable(UInt64)) - Общее количество байт, если можно быстро определить точное количество байт для таблицы на накопителе, в противном случаеNull(не включает в себя никакого базового хранилища).- Если таблица хранит данные на диске, возвращает используемое пространство на диске (т. е. сжатое).
- Если таблица хранит данные в памяти, возвращает приблизительное количество используемых байт в памяти.
Таблица system.tables используется при выполнении запроса SHOW TABLES.
system.zookeeper
Таблицы не существует, если ZooKeeper не сконфигурирован. Позволяет читать данные из ZooKeeper кластера, описанного в конфигурации. В запросе обязательно в секции WHERE должно присутствовать условие на равенство path - путь в ZooKeeper, для детей которого вы хотите получить данные.
Запрос SELECT * FROM system.zookeeper WHERE path = '/clickhouse' выведет данные по всем детям узла /clickhouse.
Чтобы вывести данные по всем узлам в корне, напишите path = ‘/’.
Если узла, указанного в path не существует, то будет брошено исключение.
Столбцы:
name String— Имя узла.path String— Путь к узлу.value String— Значение узла.dataLength Int32— Размер значения.numChildren Int32— Количество детей.czxid Int64— Идентификатор транзакции, в которой узел был создан.mzxid Int64— Идентификатор транзакции, в которой узел был последний раз изменён.pzxid Int64— Идентификатор транзакции, последний раз удаливший или добавивший детей.ctime DateTime— Время создания узла.mtime DateTime— Время последней модификации узла.version Int32— Версия узла - количество раз, когда узел был изменён.cversion Int32— Количество добавлений или удалений детей.aversion Int32— Количество изменений ACL.ephemeralOwner Int64— Для эфемерных узлов - идентификатор сессии, которая владеет этим узлом.
Пример:
SELECT *
FROM system.zookeeper
WHERE path = '/clickhouse/tables/01-08/visits/replicas'
FORMAT Vertical
Row 1:
──────
name: example01-08-1.yandex.ru
value:
czxid: 932998691229
mzxid: 932998691229
ctime: 2015-03-27 16:49:51
mtime: 2015-03-27 16:49:51
version: 0
cversion: 47
aversion: 0
ephemeralOwner: 0
dataLength: 0
numChildren: 7
pzxid: 987021031383
path: /clickhouse/tables/01-08/visits/replicas
Row 2:
──────
name: example01-08-2.yandex.ru
value:
czxid: 933002738135
mzxid: 933002738135
ctime: 2015-03-27 16:57:01
mtime: 2015-03-27 16:57:01
version: 0
cversion: 37
aversion: 0
ephemeralOwner: 0
dataLength: 0
numChildren: 7
pzxid: 987021252247
path: /clickhouse/tables/01-08/visits/replicas
system.mutations
Таблица содержит информацию о ходе выполнения мутаций таблиц семейства MergeTree. Каждой команде мутации соответствует одна строка таблицы.
Столбцы:
-
database(String) — имя БД, к которой была применена мутация. -
table(String) — имя таблицы, к которой была применена мутация. -
mutation_id(String) — ID запроса. Для реплицированных таблиц эти ID соответствуют именам записей в директории<table_path_in_zookeeper>/mutations/в ZooKeeper, для нереплицированных — именам файлов в директории с данными таблицы. -
command(String) — команда мутации (часть запроса послеALTER TABLE [db.]table). -
create_time(Datetime) — дата и время создания мутации. -
block_numbers.partition_id(Array(String)) — Для мутаций реплицированных таблиц массив содержит содержит номера партиций (по одной записи для каждой партиции). Для мутаций нереплицированных таблиц массив пустой. -
block_numbers.number(Array(Int64)) — Для мутаций реплицированных таблиц массив содержит по одной записи для каждой партиции, с номером блока, полученным этой мутацией. В каждой партиции будут изменены только куски, содержащие блоки с номерами меньше чем данный номер.Для нереплицированных таблиц нумерация блоков сквозная по партициям. Поэтому массив содержит единственную запись с номером блока, полученным мутацией.
-
parts_to_do_names(Array(String)) — массив с именами кусков данных, которые должны быть изменены для завершения мутации. -
parts_to_do(Int64) — количество кусков данных, которые должны быть изменены для завершения мутации. -
is_done(UInt8) — Признак, завершена ли мутация. Возможные значения:1— мутация завершена,0— мутация еще продолжается.
!!! info "Замечание"
Даже если parts_to_do = 0, для реплицированной таблицы возможна ситуация, когда мутация ещё не завершена из-за долго выполняющейся операции INSERT, которая добавляет данные, которые нужно будет мутировать.
Если во время мутации какого-либо куска возникли проблемы, заполняются следующие столбцы:
-
latest_failed_part(String) — имя последнего куска, мутация которого не удалась. -
latest_fail_time(Datetime) — дата и время последней ошибки мутации. -
latest_fail_reason(String) — причина последней ошибки мутации.
См. также
- Мутации
- Движок MergeTree
- Репликация данных (семейство ReplicatedMergeTree)
system.disks
Cодержит информацию о дисках, заданных в конфигурации сервера.
Столбцы:
name(String) — имя диска в конфигурации сервера.path(String) — путь к точке монтирования в файловой системе.free_space(UInt64) — свободное место на диске в байтах.total_space(UInt64) — объём диска в байтах.keep_free_space(UInt64) — место, которое должно остаться свободным на диске в байтах. Задаётся значением параметраkeep_free_space_bytesконфигурации дисков.
system.storage_policies
Содержит информацию о политиках хранения и томах, заданных в конфигурации сервера.
Столбцы:
policy_name(String) — имя политики хранения.volume_name(String) — имя тома, который содержится в политике хранения.volume_priority(UInt64) — порядковый номер тома согласно конфигурации.disks(Array(String)) — имена дисков, содержащихся в политике хранения.max_data_part_size(UInt64) — максимальный размер куска данных, который может храниться на дисках тома (0 — без ограничений).move_factor(Float64)` — доля свободного места, при превышении которой данные начинают перемещаться на следующий том.
Если политика хранения содержит несколько томов, то каждому тому соответствует отдельная запись в таблице.
system.roles
Содержит сведения о ролях.
Столбцы:
name(String) — Имя роли.id(UUID) — ID роли.storage(String) — Путь к хранилищу ролей. Настраивается в параметреaccess_control_path.
system.role_grants
Содержит гранты ролей для пользователей и ролей. Чтобы добавить записи в эту таблицу, используйте команду GRANT role TO user.
Столбцы:
user_name(Nullable(String)) — Имя пользователя.role_name(Nullable(String)) — Имя роли.granted_role_name(String) — Имя роли, назначенной для ролиrole_name. Чтобы назначить одну роль другой используйтеGRANT role1 TO role2.granted_role_is_default(UInt8) — Флаг, который показывает, является лиgranted_roleролью по умолчанию. Возможные значения:- 1 —
granted_roleявляется ролью по умолчанию. - 0 —
granted_roleне является ролью по умолчанию.
- 1 —
with_admin_option(UInt8) — Флаг, который показывает, обладает лиgranted_roleроль привилегиейADMIN OPTION. Возможные значения:- 1 — Роль обладает привилегией
ADMIN OPTION. - 0 — Роль не обладает привилегией
ADMIN OPTION.
- 1 — Роль обладает привилегией
system.current_roles
Содержит активные роли текущего пользователя. SET ROLE изменяет содержимое этой таблицы.
Столбцы:
role_name(String)) — Имя роли.with_admin_option(UInt8) — Флаг, который показывает, обладает лиcurrent_roleроль привилегиейADMIN OPTION.is_default(UInt8) — Флаг, который показывает, является лиcurrent_roleролью по умолчанию.
system.enabled_roles
Содержит все активные роли на данный момент, включая текущую роль текущего пользователя и роли, назначенные для текущей роли.
Столбцы:
role_name(String)) — Имя роли.with_admin_option(UInt8) — Флаг, который показывает, обладает лиenabled_roleроль привилегиейADMIN OPTION.is_current(UInt8) — Флаг, который показывает, является лиenabled_roleтекущей ролью текущего пользователя.is_default(UInt8) — Флаг, который показывает, является лиenabled_roleролью по умолчанию.
system.quotas
Содержит информацию о квотах.
Столбцы:
name(String) — Имя квоты.id(UUID) — ID квоты.storage(String) — Хранилище квот. Возможные значения: "users.xml", если квота задана в файле users.xml, "disk" — если квота задана в SQL-запросе.keys(Array(Enum8)) — Ключ определяет совместное использование квоты. Если два соединения используют одну и ту же квоту, они совместно используют один и тот же объем ресурсов. Значения:[]— Все пользователи используют одну и ту же квоту.['user_name']— Соединения с одинаковым именем пользователя используют одну и ту же квоту.['ip_address']— Соединения с одинаковым IP-адресом используют одну и ту же квоту.['client_key']— Соединения с одинаковым ключом используют одну и ту же квоту. Ключ может быть явно задан клиентом. При использовании clickhouse-client, передайте ключевое значение в параметре--quota-key, или используйте параметрquota_keyфайле настроек клиента. В случае использования HTTP интерфейса, используйте заголовокX-ClickHouse-Quota.['user_name', 'client_key']— Соединения с одинаковым ключом используют одну и ту же квоту. Если ключ не предоставлен клиентом, то квота отслеживается дляuser_name.['client_key', 'ip_address']— Соединения с одинаковым ключом используют одну и ту же квоту. Если ключ не предоставлен клиентом, то квота отслеживается дляip_address.
durations(Array(UInt64)) — Длины временных интервалов для расчета потребления ресурсов, в секундах.apply_to_all(UInt8) — Логическое значение. Он показывает, к каким пользователям применяется квота. Значения:0— Квота применяется к пользователям, перечисленным в спискеapply_to_list.1— Квота применяется к пользователям, за исключением тех, что перечислены в спискеapply_to_except.
apply_to_list(Array(String)) — Список имен пользователей/ролей к которым применяется квота.apply_to_except(Array(String)) — Список имен пользователей/ролей к которым квота применяться не должна.
system.quota_limits
Содержит информацию о максимумах для всех интервалов всех квот. Одной квоте могут соответствовать любое количество строк или ноль.
Столбцы:
quota_name(String) — Имя квоты.duration(UInt32) — Длина временного интервала для расчета потребления ресурсов, в секундах.is_randomized_interval(UInt8) — Логическое значение. Оно показывает, является ли интервал рандомизированным. Интервал всегда начинается в одно и то же время, если он не рандомизирован. Например, интервал в 1 минуту всегда начинается с целого числа минут (то есть он может начинаться в 11:20:00, но никогда не начинается в 11:20:01), интервал в один день всегда начинается в полночь UTC. Если интервал рандомизирован, то самый первый интервал начинается в произвольное время, а последующие интервалы начинаются один за другим. Значения:0— Интервал рандомизирован.1— Интервал не рандомизирован.
max_queries(Nullable(UInt64)) — Максимальное число запросов.max_errors(Nullable(UInt64)) — Максимальное количество ошибок.max_result_rows(Nullable(UInt64)) — Максимальное количество строк результата.max_result_bytes(Nullable(UInt64)) — Максимальный объем оперативной памяти в байтах, используемый для хранения результата запроса.max_read_rows(Nullable(UInt64)) — Максимальное количество строк, считываемых из всех таблиц и табличных функций, участвующих в запросе.max_read_bytes(Nullable(UInt64)) — Максимальное количество байтов, считываемых из всех таблиц и табличных функций, участвующих в запросе.max_execution_time(Nullable(Float64)) — Максимальное время выполнения запроса, в секундах.
system.quota_usage
Использование квоты текущим пользователем: сколько используется и сколько осталось.
Столбцы:
quota_name(String) — Имя квоты.quota_key(String) — Значение ключа. Например, если keys =ip_address,quota_keyможет иметь значение '192.168.1.1'.start_time(Nullable(DateTime)) — Время начала расчета потребления ресурсов.end_time(Nullable(DateTime)) — Время окончания расчета потребления ресурсduration(Nullable(UInt64)) — Длина временного интервала для расчета потребления ресурсов, в секундах.queries(Nullable(UInt64)) — Общее количество запросов на этом интервале.max_queries(Nullable(UInt64)) — Максимальное количество запросов.errors(Nullable(UInt64)) — Число запросов, вызвавших ошибки.max_errors(Nullable(UInt64)) — Максимальное число ошибок.result_rows(Nullable(UInt64)) — Общее количество строк результата.max_result_rows(Nullable(UInt64)) — Максимальное количество строк результата.result_bytes(Nullable(UInt64)) — Объем оперативной памяти в байтах, используемый для хранения результата запроса.max_result_bytes(Nullable(UInt64)) — Максимальный объем оперативной памяти, используемый для хранения результата запроса, в байтах.read_rows(Nullable(UInt64)) — Общее число исходных строк, считываемых из таблиц для выполнения запроса на всех удаленных серверах.max_read_rows(Nullable(UInt64)) — Максимальное количество строк, считываемых из всех таблиц и табличных функций, участвующих в запросах.read_bytes(Nullable(UInt64)) — Общее количество байт, считанных из всех таблиц и табличных функций, участвующих в запросах.max_read_bytes(Nullable(UInt64)) — Максимальное количество байт, считываемых из всех таблиц и табличных функций.execution_time(Nullable(Float64)) — Общее время выполнения запроса, в секундах.max_execution_time(Nullable(Float64)) — Максимальное время выполнения запроса.
system.quotas_usage
Использование квот всеми пользователями.
Столбцы:
quota_name(String) — Имя квоты.quota_key(String) — Ключ квоты.is_current(UInt8) — Квота используется для текущего пользователя.start_time(Nullable(DateTime))) — Время начала расчета потребления ресурсов.end_time(Nullable(DateTime))) — Время окончания расчета потребления ресурсов.duration(Nullable(UInt32)) — Длина временного интервала для расчета потребления ресурсов, в секундах.queries(Nullable(UInt64)) — Общее количество запросов на этом интервале.max_queries(Nullable(UInt64)) — Максимальное число запросов.errors(Nullable(UInt64)) — Число запросов, вызвавших ошибки.max_errors(Nullable(UInt64)) — Максимальное число ошибок.result_rows(Nullable(UInt64)) — The total number of rows given as a result.max_result_rows(Nullable(UInt64)) — Maximum of source rows read from tables.result_bytes(Nullable(UInt64)) — Объем оперативной памяти в байтах, используемый для хранения результата запроса.max_result_bytes(Nullable(UInt64)) — Максимальный объем оперативной памяти, используемый для хранения результата запроса, в байтах.read_rows(Nullable(UInt64)) — Общее число исходных строк, считываемых из таблиц для выполнения запроса на всех удаленных серверах.max_read_rows(Nullable(UInt64)) — Максимальное количество строк, считываемых из всех таблиц и табличных функций, участвующих в запросах.read_bytes(Nullable(UInt64)) — Общее количество байт, считанных из всех таблиц и табличных функций, участвующих в запросах.max_read_bytes(Nullable(UInt64)) — Максимальное количество байт, считываемых из всех таблиц и табличных функций.execution_time(Nullable(Float64)) — Общее время выполнения запроса, в секундах.max_execution_time(Nullable(Float64)) — Максимальное время выполнения запроса.