mirror of
https://github.com/ClickHouse/ClickHouse.git
synced 2024-11-22 15:42:02 +00:00
Added changelog for 18.12.13 (in progress) [#CLICKHOUSE-3939]
This commit is contained in:
Alexey Milovidov
parent
d3b9ba730e
commit
87275fe636
182
CHANGELOG_RU.md
182
CHANGELOG_RU.md
@ -2,91 +2,91 @@
|
||||
|
||||
### Новые возможности:
|
||||
|
||||
* Добавлен тип данных `DECIMAL(digits, scale)` (`Decimal32(scale)`, `Decimal64(scale)`, `Decimal128(scale)`). Возможность доступна под настройкой `allow_experimental_decimal_type`. #2846 #2970 #3008 #3047
|
||||
* Модификатор `WITH ROLLUP` для `GROUP BY` (также доступен синтаксис: `GROUP BY ROLLUP(...)`). #2948
|
||||
* В запросах с JOIN, звёздочка раскрывается в список столбцов всех таблиц, в соответствии со стандартом SQL. Вернуть старое поведение можно, выставив настройку (уровня пользователя) `asterisk_left_columns_only` в значение 1. Winter Zhang #2787
|
||||
* Добавлена поддержка JOIN с табличной функцией Winter Zhang #2907
|
||||
* Автодополнение по нажатию Tab в clickhouse-client. Sergey Shcherbin #2447
|
||||
* Нажатие Ctrl+C в clickhouse-client очищает запрос, если он был введён #2877
|
||||
* Добавлена настройка `join_default_strictness` (значения `''`, `'any'`, `'all'`). Её использование позволяет не указывать `ANY` или `ALL` для `JOIN` #2982
|
||||
* В каждой строчке лога сервера, относящейся к обработке запроса, выводится идентификатор запроса. #2482
|
||||
* Возможность получения логов выполнения запроса в clickhouse-client (настройка `send_logs_level`). При распределённой обработке запроса, логи отправляются каскадно со всех серверов. #2482
|
||||
* В таблицах `system.query_log` и `system.processes` (`SHOW PROCESSLIST`) появилась информация о всех изменённых настройках при выполнении запроса (вложенная структура данных `Settings`). Добавлена настройка `log_query_settings`. #2482
|
||||
* В таблицах `system.query_log` и `system.processes` появилась информация о номерах потоков, участвующих в исполнении запроса (столбец `thread_numbers`). #2482
|
||||
* Добавлены счётчики `ProfileEvents`, измеряющие время, потраченное на чтение и запись по сети; чтение и запись на диск; количество сетевых ошибок; время потраченное на ожидании при ограничении сетевой полосы. #2482
|
||||
* Добавлены счётчики `ProfileEvents`, содержащие системные метрики из rusage (позволяющие получить информацию об использовании CPU в userspace и ядре, page faults, context switches) а также метрики taskstats (позволяющие получить информацию о времени ожидания IO, CPU, а также количество прочитанных и записанных данных с учётом и без учёта page cache). #2482
|
||||
* Счётчики `ProfileEvents` учитываются не только глобально, но и на каждый запрос, а также на каждый поток выполнения запроса, что позволяет детально профилировать потребление ресурсов отдельными запросами. #2482
|
||||
* Добавлена таблица `system.query_thread_log`, содержащая информацию о каждом потоке выполнения запроса. Добавлена настройка `log_query_threads`. #2482
|
||||
* В таблицах `system.metrics` и `system.events` появилась встроенная документация. #3016
|
||||
* Добавлена функция `arrayEnumerateDense` Amos Bird #2975
|
||||
* Добавлены функции `arrayCumSumNonNegative` и `arrayDifference` Aleksey Studnev #2942
|
||||
* Добавлена агрегатная функция `retention` Sundy Li #2887
|
||||
* Возможность сложения (слияния) состояний агрегатных функций с помощью оператора плюс, а также умножения состояний агрегатных функций на целую неотрицательную константу. #3062 #3034
|
||||
* В таблицах семейства MergeTree добавлен виртуальный столбец `_partition_id` #3089
|
||||
* Добавлен тип данных `DECIMAL(digits, scale)` (`Decimal32(scale)`, `Decimal64(scale)`, `Decimal128(scale)`). Возможность доступна под настройкой `allow_experimental_decimal_type`. [#2846](https://github.com/yandex/ClickHouse/pull/2846) [#2970](https://github.com/yandex/ClickHouse/pull/2970) [#3008](https://github.com/yandex/ClickHouse/pull/3008) [#3047](https://github.com/yandex/ClickHouse/pull/3047)
|
||||
* Модификатор `WITH ROLLUP` для `GROUP BY` (также доступен синтаксис: `GROUP BY ROLLUP(...)`). [#2948](https://github.com/yandex/ClickHouse/pull/2948)
|
||||
* В запросах с JOIN, звёздочка раскрывается в список столбцов всех таблиц, в соответствии со стандартом SQL. Вернуть старое поведение можно, выставив настройку (уровня пользователя) `asterisk_left_columns_only` в значение 1. Winter Zhang [#2787](https://github.com/yandex/ClickHouse/pull/2787)
|
||||
* Добавлена поддержка JOIN с табличной функцией Winter Zhang [#2907](https://github.com/yandex/ClickHouse/pull/2907)
|
||||
* Автодополнение по нажатию Tab в clickhouse-client. Sergey Shcherbin [#2447](https://github.com/yandex/ClickHouse/pull/2447)
|
||||
* Нажатие Ctrl+C в clickhouse-client очищает запрос, если он был введён [#2877](https://github.com/yandex/ClickHouse/pull/2877)
|
||||
* Добавлена настройка `join_default_strictness` (значения `''`, `'any'`, `'all'`). Её использование позволяет не указывать `ANY` или `ALL` для `JOIN` [#2982](https://github.com/yandex/ClickHouse/pull/2982)
|
||||
* В каждой строчке лога сервера, относящейся к обработке запроса, выводится идентификатор запроса. [#2482](https://github.com/yandex/ClickHouse/pull/2482)
|
||||
* Возможность получения логов выполнения запроса в clickhouse-client (настройка `send_logs_level`). При распределённой обработке запроса, логи отправляются каскадно со всех серверов. [#2482](https://github.com/yandex/ClickHouse/pull/2482)
|
||||
* В таблицах `system.query_log` и `system.processes` (`SHOW PROCESSLIST`) появилась информация о всех изменённых настройках при выполнении запроса (вложенная структура данных `Settings`). Добавлена настройка `log_query_settings`. [#2482](https://github.com/yandex/ClickHouse/pull/2482)
|
||||
* В таблицах `system.query_log` и `system.processes` появилась информация о номерах потоков, участвующих в исполнении запроса (столбец `thread_numbers`). [#2482](https://github.com/yandex/ClickHouse/pull/2482)
|
||||
* Добавлены счётчики `ProfileEvents`, измеряющие время, потраченное на чтение и запись по сети; чтение и запись на диск; количество сетевых ошибок; время потраченное на ожидании при ограничении сетевой полосы. [#2482](https://github.com/yandex/ClickHouse/pull/2482)
|
||||
* Добавлены счётчики `ProfileEvents`, содержащие системные метрики из rusage (позволяющие получить информацию об использовании CPU в userspace и ядре, page faults, context switches) а также метрики taskstats (позволяющие получить информацию о времени ожидания IO, CPU, а также количество прочитанных и записанных данных с учётом и без учёта page cache). [#2482](https://github.com/yandex/ClickHouse/pull/2482)
|
||||
* Счётчики `ProfileEvents` учитываются не только глобально, но и на каждый запрос, а также на каждый поток выполнения запроса, что позволяет детально профилировать потребление ресурсов отдельными запросами. [#2482](https://github.com/yandex/ClickHouse/pull/2482)
|
||||
* Добавлена таблица `system.query_thread_log`, содержащая информацию о каждом потоке выполнения запроса. Добавлена настройка `log_query_threads`. [#2482](https://github.com/yandex/ClickHouse/pull/2482)
|
||||
* В таблицах `system.metrics` и `system.events` появилась встроенная документация. [#3016](https://github.com/yandex/ClickHouse/pull/3016)
|
||||
* Добавлена функция `arrayEnumerateDense` Amos Bird [#2975](https://github.com/yandex/ClickHouse/pull/2975)
|
||||
* Добавлены функции `arrayCumSumNonNegative` и `arrayDifference` Aleksey Studnev [#2942](https://github.com/yandex/ClickHouse/pull/2942)
|
||||
* Добавлена агрегатная функция `retention` Sundy Li [#2887](https://github.com/yandex/ClickHouse/pull/2887)
|
||||
* Возможность сложения (слияния) состояний агрегатных функций с помощью оператора плюс, а также умножения состояний агрегатных функций на целую неотрицательную константу. [#3062](https://github.com/yandex/ClickHouse/pull/3062) [#3034](https://github.com/yandex/ClickHouse/pull/3034)
|
||||
* В таблицах семейства MergeTree добавлен виртуальный столбец `_partition_id` [#3089](https://github.com/yandex/ClickHouse/pull/3089)
|
||||
|
||||
### Экспериментальные возможности:
|
||||
|
||||
* Добавлен тип данных `LowCardinality(T)`. Тип данных автоматически создаёт локальный словарь значений и позволяет обрабатывать данные без распаковки словаря. #2830
|
||||
* Добавлен кэш JIT-скомпилированных функций, а также счётчик числа использований перед компиляцией. Возможность JIT-компиляции выражений включается настройкой `compile_expressions` #2990 #3077
|
||||
* Добавлен тип данных `LowCardinality(T)`. Тип данных автоматически создаёт локальный словарь значений и позволяет обрабатывать данные без распаковки словаря. [#2830](https://github.com/yandex/ClickHouse/pull/2830)
|
||||
* Добавлен кэш JIT-скомпилированных функций, а также счётчик числа использований перед компиляцией. Возможность JIT-компиляции выражений включается настройкой `compile_expressions` [#2990](https://github.com/yandex/ClickHouse/pull/2990) [#3077](https://github.com/yandex/ClickHouse/pull/3077)
|
||||
|
||||
### Улучшения:
|
||||
|
||||
* Исправлена проблема неограниченного накопления лога репликации в случае наличия заброшенных реплик. Добавлен режим эффективного восстановления реплик после длительного отставания.
|
||||
* Увеличена производительность при выполнении `GROUP BY` в случае, если есть несколько полей агрегации, одно из которых строковое, а другие - фиксированной длины.
|
||||
* Увеличена производительность при использовании `PREWHERE` и при неявном переносе выражений в `PREWHERE`.
|
||||
* Увеличена производительность парсинга текстовых форматов (`CSV`, `TSV`) Amos Bird #2977 #2980
|
||||
* Увеличена производительность чтения строк и массивов в бинарных форматах Amos Bird #2955
|
||||
* Увеличена производительность и уменьшено потребление памяти в запросах к таблицам `system.tables` и `system.columns` в случае наличия очень большого количества таблиц на одном сервере. #2953
|
||||
* Исправлена проблема низкой производительности в случае наличия большого потока запросов, для которых возвращается ошибка (в `perf top` видна функция `_dl_addr`, при этом сервер использует мало CPU). #2938
|
||||
* Прокидывание условий внутрь View (при включенной настройке `enable_optimize_predicate_expression`) Winter Zhang #2907
|
||||
* Доработки недостающей функциональности для типа данных `UUID` #3074 #2985
|
||||
* Тип данных `UUID` поддержан в словарях The-Alchemist #2822
|
||||
* Функция `visitParamExtractRaw` корректно работает с вложенными структурами Winter Zhang #2974
|
||||
* При использовании настройки `input_format_skip_unknown_fields` корректно работает пропуск значений-объектов в формате `JSONEachRow` BlahGeek #2958
|
||||
* Для выражения `CASE` с условиями, появилась возможность не указывать `ELSE`, что эквивалентно `ELSE NULL` #2920
|
||||
* Возможность конфигурирования operation timeout при работе с ZooKeeper. urykhy #2971
|
||||
* Возможность указания смещения для `LIMIT n, m` в виде `LIMIT n OFFSET m` #2840
|
||||
* Возможность использования синтаксиса `SELECT TOP n` в качестве альтернативы для `LIMIT` #2840
|
||||
* Увеличена производительность парсинга текстовых форматов (`CSV`, `TSV`) Amos Bird [#2977](https://github.com/yandex/ClickHouse/pull/2977) [#2980](https://github.com/yandex/ClickHouse/pull/2980)
|
||||
* Увеличена производительность чтения строк и массивов в бинарных форматах Amos Bird [#2955](https://github.com/yandex/ClickHouse/pull/2955)
|
||||
* Увеличена производительность и уменьшено потребление памяти в запросах к таблицам `system.tables` и `system.columns` в случае наличия очень большого количества таблиц на одном сервере. [#2953](https://github.com/yandex/ClickHouse/pull/2953)
|
||||
* Исправлена проблема низкой производительности в случае наличия большого потока запросов, для которых возвращается ошибка (в `perf top` видна функция `_dl_addr`, при этом сервер использует мало CPU). [#2938](https://github.com/yandex/ClickHouse/pull/2938)
|
||||
* Прокидывание условий внутрь View (при включенной настройке `enable_optimize_predicate_expression`) Winter Zhang [#2907](https://github.com/yandex/ClickHouse/pull/2907)
|
||||
* Доработки недостающей функциональности для типа данных `UUID` [#3074](https://github.com/yandex/ClickHouse/pull/3074) [#2985](https://github.com/yandex/ClickHouse/pull/2985)
|
||||
* Тип данных `UUID` поддержан в словарях The-Alchemist [#2822](https://github.com/yandex/ClickHouse/pull/2822)
|
||||
* Функция `visitParamExtractRaw` корректно работает с вложенными структурами Winter Zhang [#2974](https://github.com/yandex/ClickHouse/pull/2974)
|
||||
* При использовании настройки `input_format_skip_unknown_fields` корректно работает пропуск значений-объектов в формате `JSONEachRow` BlahGeek [#2958](https://github.com/yandex/ClickHouse/pull/2958)
|
||||
* Для выражения `CASE` с условиями, появилась возможность не указывать `ELSE`, что эквивалентно `ELSE NULL` [#2920](https://github.com/yandex/ClickHouse/pull/2920)
|
||||
* Возможность конфигурирования operation timeout при работе с ZooKeeper. urykhy [#2971](https://github.com/yandex/ClickHouse/pull/2971)
|
||||
* Возможность указания смещения для `LIMIT n, m` в виде `LIMIT n OFFSET m` [#2840](https://github.com/yandex/ClickHouse/pull/2840)
|
||||
* Возможность использования синтаксиса `SELECT TOP n` в качестве альтернативы для `LIMIT` [#2840](https://github.com/yandex/ClickHouse/pull/2840)
|
||||
* Увеличен размер очереди записи в системные таблицы, что позволяет уменьшить количество ситуаций `SystemLog queue is full`.
|
||||
* В агрегатной функции `windowFunnel` добавлена поддержка событий, подходящих под несколько условий Amos Bird #2801
|
||||
* Возможность использования дублирующихся столбцов в секции `USING` для `JOIN` #3006
|
||||
* Для форматов `Pretty` введено ограничение выравнивания столбцов по ширине. Настройка `output_format_pretty_max_column_pad_width`. В случае более широкого значения, оно всё ещё будет выведено целиком, но остальные ячейки таблицы не будут излишне широкими #3003
|
||||
* В табличной функции `odbc` добавлена возможность указания имени базы данных/схемы Amos Bird #2885
|
||||
* Добавлена возможность использования имени пользователя, заданного в конфигурационном файле `clickhouse-client` Vladimir Kozbin #2909
|
||||
* В агрегатной функции `windowFunnel` добавлена поддержка событий, подходящих под несколько условий Amos Bird [#2801](https://github.com/yandex/ClickHouse/pull/2801)
|
||||
* Возможность использования дублирующихся столбцов в секции `USING` для `JOIN` [#3006](https://github.com/yandex/ClickHouse/pull/3006)
|
||||
* Для форматов `Pretty` введено ограничение выравнивания столбцов по ширине. Настройка `output_format_pretty_max_column_pad_width`. В случае более широкого значения, оно всё ещё будет выведено целиком, но остальные ячейки таблицы не будут излишне широкими [#3003](https://github.com/yandex/ClickHouse/pull/3003)
|
||||
* В табличной функции `odbc` добавлена возможность указания имени базы данных/схемы Amos Bird [#2885](https://github.com/yandex/ClickHouse/pull/2885)
|
||||
* Добавлена возможность использования имени пользователя, заданного в конфигурационном файле `clickhouse-client` Vladimir Kozbin [#2909](https://github.com/yandex/ClickHouse/pull/2909)
|
||||
* Счётчик `ZooKeeperExceptions` разделён на три счётчика `ZooKeeperUserExceptions`, `ZooKeeperHardwareExceptions`, `ZooKeeperOtherExceptions`.
|
||||
* Запросы `ALTER DELETE` работают для материализованных представлений.
|
||||
* Добавлена рандомизация во времени периодического запуска cleanup thread для таблиц типа `ReplicatedMergeTree`, чтобы избежать периодических всплесков нагрузки в случае очень большого количества таблиц типа `ReplicatedMergeTree`.
|
||||
* Поддержка запроса `ATTACH TABLE ... ON CLUSTER` #3025
|
||||
* Поддержка запроса `ATTACH TABLE ... ON CLUSTER` [#3025](https://github.com/yandex/ClickHouse/pull/3025)
|
||||
|
||||
### Исправление ошибок:
|
||||
|
||||
* Исправлена ошибка в работе таблиц типа `Dictionary` (кидается исключение `Size of offsets doesn't match size of column` или `Unknown compression method`). Ошибка появилась в версии 18.10.3. #issue2913
|
||||
* Исправлена ошибка при мерже данных таблиц типа `CollapsingMergeTree`, если один из кусков данных пустой (такие куски, в свою очередь, образуются при слиянии или при `ALTER DELETE` в случае удаления всех данных), и для слияния был выбран алгоритм `vertical` #3049
|
||||
* Исправлен race condition при `DROP` или `TRUNCATE` таблиц типа `Memory` при одновременном `SELECT`, который мог приводить к падениям сервера. Ошибка появилась в версии 1.1.54388. #3038
|
||||
* Исправлена возможность потери данных при вставке в `Replicated` таблицы в случае получения ошибки `Session expired` (потеря данных может быть обнаружена по метрике `ReplicatedDataLoss`). Ошибка возникла в версии 1.1.54378. #2939 #2949 #2964
|
||||
* Исправлен segfault при `JOIN ... ON` #3000
|
||||
* Исправлена ошибка поиска имён столбцов в случае, если выражение `WHERE` состоит целиком из квалифицированного имени столбца, как например `WHERE table.column` #2994
|
||||
* Исправлена ошибка вида "Not found column" при выполнении распределённых запросов в случае, если с удалённого сервера запрашивается единственный столбец, представляющий собой выражение IN с подзапросом #3087
|
||||
* Исправлена ошибка `Block structure mismatch in UNION stream: different number of columns`, возникающая при распределённых запросах, если один из шардов локальный, а другой - нет, и если при этом срабатывает оптимизация переноса в `PREWHERE` #2226 #3037 #3055 #3065 #3073 #3090 #3093
|
||||
* Исправлена работа функции `pointInPolygon` для некоторого случая невыпуклых полигонов #2910
|
||||
* Исправлен некорректный результат при сравнении `nan` с целыми числами #3024
|
||||
* Исправлена ошибка в библиотеке `zlib-ng`, которая могла приводить к segfault в редких случаях #2854
|
||||
* Исправлена утечка памяти при вставке в таблицу со столбцами типа `AggregateFunction`, если состояние агрегатной функции нетривиальное (выделяет память отдельно), и если в одном запросе на вставку получается несколько маленьких блоков #3084
|
||||
* Исправлена ошибка в работе таблиц типа `Dictionary` (кидается исключение `Size of offsets doesn't match size of column` или `Unknown compression method`). Ошибка появилась в версии 18.10.3. [#2913](https://github.com/yandex/ClickHouse/issues/2913)
|
||||
* Исправлена ошибка при мерже данных таблиц типа `CollapsingMergeTree`, если один из кусков данных пустой (такие куски, в свою очередь, образуются при слиянии или при `ALTER DELETE` в случае удаления всех данных), и для слияния был выбран алгоритм `vertical` [#3049](https://github.com/yandex/ClickHouse/pull/3049)
|
||||
* Исправлен race condition при `DROP` или `TRUNCATE` таблиц типа `Memory` при одновременном `SELECT`, который мог приводить к падениям сервера. Ошибка появилась в версии 1.1.54388. [#3038](https://github.com/yandex/ClickHouse/pull/3038)
|
||||
* Исправлена возможность потери данных при вставке в `Replicated` таблицы в случае получения ошибки `Session expired` (потеря данных может быть обнаружена по метрике `ReplicatedDataLoss`). Ошибка возникла в версии 1.1.54378. [#2939](https://github.com/yandex/ClickHouse/pull/2939) [#2949](https://github.com/yandex/ClickHouse/pull/2949) [#2964](https://github.com/yandex/ClickHouse/pull/2964)
|
||||
* Исправлен segfault при `JOIN ... ON` [#3000](https://github.com/yandex/ClickHouse/pull/3000)
|
||||
* Исправлена ошибка поиска имён столбцов в случае, если выражение `WHERE` состоит целиком из квалифицированного имени столбца, как например `WHERE table.column` [#2994](https://github.com/yandex/ClickHouse/pull/2994)
|
||||
* Исправлена ошибка вида "Not found column" при выполнении распределённых запросов в случае, если с удалённого сервера запрашивается единственный столбец, представляющий собой выражение IN с подзапросом [#3087](https://github.com/yandex/ClickHouse/pull/3087)
|
||||
* Исправлена ошибка `Block structure mismatch in UNION stream: different number of columns`, возникающая при распределённых запросах, если один из шардов локальный, а другой - нет, и если при этом срабатывает оптимизация переноса в `PREWHERE` [#2226](https://github.com/yandex/ClickHouse/pull/2226) [#3037](https://github.com/yandex/ClickHouse/pull/3037) [#3055](https://github.com/yandex/ClickHouse/pull/3055) [#3065](https://github.com/yandex/ClickHouse/pull/3065) [#3073](https://github.com/yandex/ClickHouse/pull/3073) [#3090](https://github.com/yandex/ClickHouse/pull/3090) [#3093](https://github.com/yandex/ClickHouse/pull/3093)
|
||||
* Исправлена работа функции `pointInPolygon` для некоторого случая невыпуклых полигонов [#2910](https://github.com/yandex/ClickHouse/pull/2910)
|
||||
* Исправлен некорректный результат при сравнении `nan` с целыми числами [#3024](https://github.com/yandex/ClickHouse/pull/3024)
|
||||
* Исправлена ошибка в библиотеке `zlib-ng`, которая могла приводить к segfault в редких случаях [#2854](https://github.com/yandex/ClickHouse/pull/2854)
|
||||
* Исправлена утечка памяти при вставке в таблицу со столбцами типа `AggregateFunction`, если состояние агрегатной функции нетривиальное (выделяет память отдельно), и если в одном запросе на вставку получается несколько маленьких блоков [#3084](https://github.com/yandex/ClickHouse/pull/3084)
|
||||
* Исправлен race condition при одновременном создании и удалении одной и той же таблицы типа `Buffer` или `MergeTree`.
|
||||
* Исправлена возможность segfault при сравнении кортежей из некоторых нетривиальных типов, таких как, например, кортежей #2989
|
||||
* Исправлена возможность segfault при выполнении некоторых запросов `ON CLUSTER` Winter Zhang #2960
|
||||
* Исправлена ошибка в функции `arrayDistinct` в случае `Nullable` элементов массивов #2845 #2937
|
||||
* Возможность `enable_optimize_predicate_expression` корректно поддерживает случаи с `SELECT *` Winter Zhang #2929
|
||||
* Исправлена возможность segfault при переинициализации сессии с ZooKeeper #2917
|
||||
* Исправлена возможность segfault при сравнении кортежей из некоторых нетривиальных типов, таких как, например, кортежей [#2989](https://github.com/yandex/ClickHouse/pull/2989)
|
||||
* Исправлена возможность segfault при выполнении некоторых запросов `ON CLUSTER` Winter Zhang [#2960](https://github.com/yandex/ClickHouse/pull/2960)
|
||||
* Исправлена ошибка в функции `arrayDistinct` в случае `Nullable` элементов массивов [#2845](https://github.com/yandex/ClickHouse/pull/2845) [#2937](https://github.com/yandex/ClickHouse/pull/2937)
|
||||
* Возможность `enable_optimize_predicate_expression` корректно поддерживает случаи с `SELECT *` Winter Zhang [#2929](https://github.com/yandex/ClickHouse/pull/2929)
|
||||
* Исправлена возможность segfault при переинициализации сессии с ZooKeeper [#2917](https://github.com/yandex/ClickHouse/pull/2917)
|
||||
* Исправлена возможность блокировки при взаимодействии с ZooKeeper.
|
||||
* Исправлен некорректный код суммирования вложенных структур данных в `SummingMergeTree`.
|
||||
* При выделении памяти для состояний агрегатных функций, корректно учитывается выравнивание, что позволяет использовать при реализации состояний агрегатных функций операции, для которых выравнивание является необходимым chenxing-xc #2808
|
||||
* При выделении памяти для состояний агрегатных функций, корректно учитывается выравнивание, что позволяет использовать при реализации состояний агрегатных функций операции, для которых выравнивание является необходимым chenxing-xc [#2808](https://github.com/yandex/ClickHouse/pull/2808)
|
||||
|
||||
### Исправления безопасности:
|
||||
|
||||
* Безопасная работа с ODBC источниками данных. Взаимодействие с ODBC драйверами выполняется через отдельный процесс `clickhouse-odbc-bridge`. Ошибки в сторонних ODBC драйверах теперь не приводят к проблемам со стабильностью сервера или уязвимостям #2828 #2879 #2886 #2893 #2921
|
||||
* Исправлена некорректная валидация пути к файлу в табличной функции `catBoostPool` #2894
|
||||
* Содержимое системных таблиц (`tables`, `databases`, `parts`, `columns`, `parts_columns`, `merges`, `mutations`, `replicas`, `replication_queue`) фильтруется согласно конфигурации доступа к базам данных для пользователя (`allow_databases`) Winter Zhang #2856
|
||||
* Безопасная работа с ODBC источниками данных. Взаимодействие с ODBC драйверами выполняется через отдельный процесс `clickhouse-odbc-bridge`. Ошибки в сторонних ODBC драйверах теперь не приводят к проблемам со стабильностью сервера или уязвимостям [#2828](https://github.com/yandex/ClickHouse/pull/2828) [#2879](https://github.com/yandex/ClickHouse/pull/2879) [#2886](https://github.com/yandex/ClickHouse/pull/2886) [#2893](https://github.com/yandex/ClickHouse/pull/2893) [#2921](https://github.com/yandex/ClickHouse/pull/2921)
|
||||
* Исправлена некорректная валидация пути к файлу в табличной функции `catBoostPool` [#2894](https://github.com/yandex/ClickHouse/pull/2894)
|
||||
* Содержимое системных таблиц (`tables`, `databases`, `parts`, `columns`, `parts_columns`, `merges`, `mutations`, `replicas`, `replication_queue`) фильтруется согласно конфигурации доступа к базам данных для пользователя (`allow_databases`) Winter Zhang [#2856](https://github.com/yandex/ClickHouse/pull/2856)
|
||||
|
||||
### Обратно несовместимые изменения:
|
||||
|
||||
@ -96,53 +96,53 @@
|
||||
|
||||
* Добавлен покоммитный запуск большинства интеграционных тестов.
|
||||
* Добавлен покоммитный запуск проверки стиля кода.
|
||||
* Корректный выбор реализации `memcpy` при сборке на CentOS7 / Fedora Etienne Champetier #2912
|
||||
* При сборке с помощью clang добавлены некоторые warnings из `-Weverything` в дополнение к обычным `-Wall -Wextra -Werror` #2957
|
||||
* Корректный выбор реализации `memcpy` при сборке на CentOS7 / Fedora Etienne Champetier [#2912](https://github.com/yandex/ClickHouse/pull/2912)
|
||||
* При сборке с помощью clang добавлены некоторые warnings из `-Weverything` в дополнение к обычным `-Wall -Wextra -Werror` [#2957](https://github.com/yandex/ClickHouse/pull/2957)
|
||||
* При debug сборке используется debug вариант `jemalloc`.
|
||||
* Абстрагирован интерфейс библиотеки для взаимодействия с ZooKeeper #2950
|
||||
* Абстрагирован интерфейс библиотеки для взаимодействия с ZooKeeper [#2950](https://github.com/yandex/ClickHouse/pull/2950)
|
||||
|
||||
|
||||
## ClickHouse release 18.10.3, 2018-08-13
|
||||
|
||||
### Новые возможности:
|
||||
* Возможность использования HTTPS для репликации #2760
|
||||
* Добавлены функции `murmurHash2_64`, `murmurHash3_32`, `murmurHash3_64`, `murmurHash3_128` в дополнение к имеющемуся `murmurHash2_32` #2791
|
||||
* Поддержка Nullable типов в ODBC драйвере ClickHouse (формат вывода `ODBCDriver2`) #2834
|
||||
* Возможность использования HTTPS для репликации [#2760](https://github.com/yandex/ClickHouse/pull/2760)
|
||||
* Добавлены функции `murmurHash2_64`, `murmurHash3_32`, `murmurHash3_64`, `murmurHash3_128` в дополнение к имеющемуся `murmurHash2_32` [#2791](https://github.com/yandex/ClickHouse/pull/2791)
|
||||
* Поддержка Nullable типов в ODBC драйвере ClickHouse (формат вывода `ODBCDriver2`) [#2834](https://github.com/yandex/ClickHouse/pull/2834)
|
||||
* Поддержка `UUID` в ключевых столбцах.
|
||||
|
||||
### Улучшения:
|
||||
* Удаление кластеров без перезагрузки сервера при их удалении из конфигурационных файлов. #2777
|
||||
* Удаление внешних словарей без перезагрузки сервера при их удалении из конфигурационных файлов. #2779
|
||||
* Добавлена поддержка `SETTINGS` для движка таблиц `Kafka` Alexander Marshalov #2781
|
||||
* Доработки для типа данных `UUID` (не полностью) Šimon Podlipský #2618
|
||||
* Поддежка пустых кусков после мержей в движках `SummingMergeTree`, `CollapsingMergeTree` and `VersionedCollapsingMergeTree` #2815
|
||||
* Удаление старых записей о полностью выполнившихся мутациях (`ALTER DELETE`) #2784
|
||||
* Добавлена таблица `system.merge_tree_settings` Kirill Shvakov #2841
|
||||
* В таблицу `system.tables` добавлены столбцы зависимостей: `dependencies_database` и `dependencies_table` Winter Zhang #2851
|
||||
* Добавлена опция конфига `max_partition_size_to_drop` #2782
|
||||
* Добавлена настройка `output_format_json_escape_forward_slashes` Alexander Bocharov #2812
|
||||
* Добавлена настройка `max_fetch_partition_retries_count` #2831
|
||||
* Добавлена настройка `prefer_localhost_replica`, позволяющая отключить предпочтение локальной реплики и хождение на локальную реплику без межпроцессного взаимодействия #2832
|
||||
* Агрегатная функция `quantileExact` возвращает `nan` в случае агрегации по пустому множеству `Float32`/`Float64` типов Sundy Li #2855
|
||||
* Удаление кластеров без перезагрузки сервера при их удалении из конфигурационных файлов. [#2777](https://github.com/yandex/ClickHouse/pull/2777)
|
||||
* Удаление внешних словарей без перезагрузки сервера при их удалении из конфигурационных файлов. [#2779](https://github.com/yandex/ClickHouse/pull/2779)
|
||||
* Добавлена поддержка `SETTINGS` для движка таблиц `Kafka` Alexander Marshalov [#2781](https://github.com/yandex/ClickHouse/pull/2781)
|
||||
* Доработки для типа данных `UUID` (не полностью) Šimon Podlipský [#2618](https://github.com/yandex/ClickHouse/pull/2618)
|
||||
* Поддежка пустых кусков после мержей в движках `SummingMergeTree`, `CollapsingMergeTree` and `VersionedCollapsingMergeTree` [#2815](https://github.com/yandex/ClickHouse/pull/2815)
|
||||
* Удаление старых записей о полностью выполнившихся мутациях (`ALTER DELETE`) [#2784](https://github.com/yandex/ClickHouse/pull/2784)
|
||||
* Добавлена таблица `system.merge_tree_settings` Kirill Shvakov [#2841](https://github.com/yandex/ClickHouse/pull/2841)
|
||||
* В таблицу `system.tables` добавлены столбцы зависимостей: `dependencies_database` и `dependencies_table` Winter Zhang [#2851](https://github.com/yandex/ClickHouse/pull/2851)
|
||||
* Добавлена опция конфига `max_partition_size_to_drop` [#2782](https://github.com/yandex/ClickHouse/pull/2782)
|
||||
* Добавлена настройка `output_format_json_escape_forward_slashes` Alexander Bocharov [#2812](https://github.com/yandex/ClickHouse/pull/2812)
|
||||
* Добавлена настройка `max_fetch_partition_retries_count` [#2831](https://github.com/yandex/ClickHouse/pull/2831)
|
||||
* Добавлена настройка `prefer_localhost_replica`, позволяющая отключить предпочтение локальной реплики и хождение на локальную реплику без межпроцессного взаимодействия [#2832](https://github.com/yandex/ClickHouse/pull/2832)
|
||||
* Агрегатная функция `quantileExact` возвращает `nan` в случае агрегации по пустому множеству `Float32`/`Float64` типов Sundy Li [#2855](https://github.com/yandex/ClickHouse/pull/2855)
|
||||
|
||||
### Исправление ошибок:
|
||||
* Убрано излишнее экранирование параметров connection string для ODBC, котрое приводило к невозможности соединения. Ошибка возникла в версии 18.6.0.
|
||||
* Исправлена логика обработки команд на `REPLACE PARTITION` в очереди репликации. Неправильная логика могла приводить к тому, что при наличии двух `REPLACE` одной и той же партиции, один из них оставался в очереди репликации и не мог выполниться. #2814
|
||||
* Исправлена ошибка при мерже, если все куски были пустыми (такие куски, в свою очередь, образуются при слиянии или при `ALTER DELETE` в случае удаления всех данных). Ошибка появилась в версии 18.1.0. #2930
|
||||
* Исправлена ошибка при параллельной записи в таблицы типа `Set` или `Join` Amos Bird #2823
|
||||
* Исправлена ошибка `Block structure mismatch in UNION stream: different number of columns`, возникающая при запросах с `UNION ALL` внутри подзапроса, в случае, если один из `SELECT` запросов содержит дублирующиеся имена столбцов Winter Zhang #2094
|
||||
* Исправлена логика обработки команд на `REPLACE PARTITION` в очереди репликации. Неправильная логика могла приводить к тому, что при наличии двух `REPLACE` одной и той же партиции, один из них оставался в очереди репликации и не мог выполниться. [#2814](https://github.com/yandex/ClickHouse/pull/2814)
|
||||
* Исправлена ошибка при мерже, если все куски были пустыми (такие куски, в свою очередь, образуются при слиянии или при `ALTER DELETE` в случае удаления всех данных). Ошибка появилась в версии 18.1.0. [#2930](https://github.com/yandex/ClickHouse/pull/2930)
|
||||
* Исправлена ошибка при параллельной записи в таблицы типа `Set` или `Join` Amos Bird [#2823](https://github.com/yandex/ClickHouse/pull/2823)
|
||||
* Исправлена ошибка `Block structure mismatch in UNION stream: different number of columns`, возникающая при запросах с `UNION ALL` внутри подзапроса, в случае, если один из `SELECT` запросов содержит дублирующиеся имена столбцов Winter Zhang [#2094](https://github.com/yandex/ClickHouse/pull/2094)
|
||||
* Исправлена утечка памяти в случае исключения при соединении с MySQL сервером.
|
||||
* Исправлен некорректный код возврата clickhouse-client в случае ошибочного запроса
|
||||
* Исправлен некорректная работа materialized views, содержащих DISTINCT #issue2795
|
||||
* Исправлен некорректная работа materialized views, содержащих DISTINCT [#2795](https://github.com/yandex/ClickHouse/issues/2795)
|
||||
|
||||
### Обратно несовместимые изменения
|
||||
* Убрана поддержка запросов CHECK TABLE для Distributed таблиц.
|
||||
|
||||
### Изменения сборки:
|
||||
* Заменен аллокатор, теперь используется `jemalloc` вместо `tcmalloc`. На некоторых сценариях ускорение достигает 20%. В то же время, существуют запросы, замедлившиеся до 20%. Потребление памяти на некоторых сценариях примерно на 10% меньше и более стабильно. При высококонкурентной нагрузке, потребление CPU в userspace и в system незначительно вырастает. #2773
|
||||
* Использование libressl из submodule #1983 #2807
|
||||
* Использование unixodbc из submodule #2789
|
||||
* Использование mariadb-connector-c из submodule #2785
|
||||
* Заменен аллокатор, теперь используется `jemalloc` вместо `tcmalloc`. На некоторых сценариях ускорение достигает 20%. В то же время, существуют запросы, замедлившиеся до 20%. Потребление памяти на некоторых сценариях примерно на 10% меньше и более стабильно. При высококонкурентной нагрузке, потребление CPU в userspace и в system незначительно вырастает. [#2773](https://github.com/yandex/ClickHouse/pull/2773)
|
||||
* Использование libressl из submodule [#1983](https://github.com/yandex/ClickHouse/pull/1983) [#2807](https://github.com/yandex/ClickHouse/pull/2807)
|
||||
* Использование unixodbc из submodule [#2789](https://github.com/yandex/ClickHouse/pull/2789)
|
||||
* Использование mariadb-connector-c из submodule [#2785](https://github.com/yandex/ClickHouse/pull/2785)
|
||||
* В репозиторий добавлены файлы функциональных тестов, рассчитывающих на наличие тестовых данных (пока без самих тестовых данных).
|
||||
|
||||
|
||||
|
||||
Loading…
Reference in New Issue
Block a user