mirror of
https://github.com/ClickHouse/ClickHouse.git
synced 2024-11-21 15:12:02 +00:00
50 KiB
50 KiB
Релиз ClickHouse 1.1.54342, 2018-01-22
Релиз содержит исправление к предыдущему релизу 1.1.54318:
- Исправлена регрессия в версии 1.1.54337: если пользователь по-умолчанию имеет readonly доступ, то сервер отказывался стартовать с сообщением
Cannot create database in readonly mode
. - Исправлена регрессия в версии 1.1.54337: на системах под управлением systemd, логи по ошибке всегда записываются в syslog; watchdog скрипт по ошибке использует init.d.
- Исправлена регрессия в версии 1.1.54337: неправильная конфигурация по-умоланию в Docker образе.
- Исправлена недетерминированная работа GraphiteMergeTree (в логах видно по сообщениям
Data after merge is not byte-identical to data on another replicas
). - Исправлена ошибка, в связи с которой запрос OPTIMIZE к Replicated таблицам мог приводить к неконсистентным мержам (в логах видно по сообщениям
Part ... intersects previous part
). - Таблицы типа Buffer теперь работают при наличии MATERIALIZED столбцов в таблице назначения (by zhang2014).
- Исправлена одна из ошибок в реализации NULL.
Релиз ClickHouse 1.1.54337, 2018-01-18
Новые возможности:
- Добавлена поддержка хранения многомерных массивов и кортежей (тип данных
Tuple
) в таблицах. - Поддержка табличных функций для запросов
DESCRIBE
иINSERT
. Поддержка подзапроса в запросеDESCRIBE
. Примеры:DESC TABLE remote('host', default.hits)
;DESC TABLE (SELECT 1)
;INSERT INTO TABLE FUNCTION remote('host', default.hits)
. Возможность писатьINSERT INTO TABLE
вместоINSERT INTO
. - Улучшена поддержка часовых поясов. В типе
DateTime
может быть указана таймзона, которая используется для парсинга и отображения данных в текстовом виде. Пример:DateTime('Europe/Moscow')
. При указании таймзоны в функциях работы сDateTime
, тип возвращаемого значения будет запоминать таймзону, для того, чтобы значение отображалось ожидаемым образом. - Добавлены функции
toTimeZone
,timeDiff
,toQuarter
,toRelativeQuarterNum
. В функциюtoRelativeHour
/Minute
/Second
можно передать аргумент типаDate
. Имя функцииnow
воспринимается без учёта регистра. - Добавлена функция
toStartOfFifteenMinutes
(Kirill Shvakov). - Добавлена программа
clickhouse format
для переформатирования запросов. - Добавлен конфигурационный параметр
format_schema_path
(Marek Vavruša). Он используется для задания схемы для форматаCap'n'Proto
. Файлы со схемой могут использоваться только из указанной директории. - Добавлена поддержка
incl
иconf.d
подстановок для конфигурации словарей и моделей (Pavel Yakunin). - В таблице
system.settings
появилось описание большинства настроек (Kirill Shvakov). - Добавлена таблица
system.parts_columns
, содержащая информацию о размерах столбцов в каждом куске данныхMergeTree
таблиц. - Добавлена таблица
system.models
, содержащая информацию о загруженных моделяхCatBoost
. - Добавлены табличные функции
mysql
иodbc
и соответствующие движки таблицMySQL
,ODBC
для обращения к удалённым базам данных. Функциональность в состоянии "бета". - Для функции
groupArray
разрешено использование аргументов типаAggregateFunction
(можно создать массив из состояний агрегатных функций). - Удалены ограничения на использование разных комбинаций комбинаторов агрегатных функций. Для примера, вы можете использовать как функцию
avgForEachIf
, так иavgIfForEach
, которые имеют разный смысл. - Комбинатор агрегатных функций
-ForEach
расширен для случая агрегатных функций с более чем одним аргументом. - Добавлена поддержка агрегатных функций от
Nullable
аргументов, для случаев, когда функция всегда возвращает неNullable
результат (реализовано с участием Silviu Caragea). Пример:groupArray
,groupUniqArray
,topK
. - Добавлен параметр командной строки
max_client_network_bandwidth
дляclickhouse-client
(Kirill Shvakov). - Пользователям с доступом
readonly = 2
разрешено работать с временными таблицами (CREATE, DROP, INSERT...) (Kirill Shvakov). - Добавлена возможность указания количества consumers для
Kafka
. Расширена возможность конфигурации движкаKafka
(Marek Vavruša). - Добавлены функции
intExp2
,intExp10
. - Добавлена агрегатная функция
sumKahan
. - Добавлены функции toNumberOrNull, где Number - числовой тип.
- Добавлена поддержка секции
WITH
для запросаINSERT SELECT
(автор: zhang2014). - Добавлены настройки
http_connection_timeout
,http_send_timeout
,http_receive_timeout
. Настройки используются, в том числе, при скачивании кусков для репликации. Изменение этих настроек позволяет сделать более быстрый failover в случае перегруженной сети. - Добавлена поддержка
ALTER
для таблиц типаNull
(Anastasiya Tsarkova). - Функция
reinterpretAsString
расширена на все типы данных, значения которых хранятся в памяти непрерывно. - Для программы
clickhouse-local
добавлена опция--silent
для подавления вывода информации о выполнении запроса в stderr. - Добавлена поддержка чтения
Date
в текстовом виде в формате, где месяц и день месяца могут быть указаны одной цифрой вместо двух (Amos Bird).
Увеличение производительности:
- Увеличена производительность агрегатных функций
min
,max
,any
,anyLast
,anyHeavy
,argMin
,argMax
от строковых аргументов. - Увеличена производительность функций
isInfinite
,isFinite
,isNaN
,roundToExp2
. - Увеличена производительность форматирования в текстовом виде и парсинга из текста значений типа
Date
иDateTime
. - Увеличена производительность и точность парсинга чисел с плавающей запятой.
- Уменьшено потребление памяти при
JOIN
, если левая и правая часть содержали столбцы с одинаковым именем, не входящие вUSING
. - Увеличена производительность агрегатных функций
varSamp
,varPop
,stddevSamp
,stddevPop
,covarSamp
,covarPop
,corr
за счёт уменьшения стойкости к вычислительной погрешности. Старые версии функций добавлены под именамиvarSampStable
,varPopStable
,stddevSampStable
,stddevPopStable
,covarSampStable
,covarPopStable
,corrStable
.
Исправления ошибок:
- Исправлена работа дедупликации блоков после
DROP
илиDETATH PARTITION
. Раньше удаление партиции и вставка тех же самых данных заново не работала, так как вставленные заново блоки считались дубликатами. - Исправлена ошибка, в связи с которой может неправильно обрабатываться
WHERE
для запросов на созданиеMATERIALIZED VIEW
с указаниемPOPULATE
. - Исправлена ошибка в работе параметра
root_path
в конфигурацииzookeeper_servers
. - Исправлен неожиданный результат при передаче аргумента типа
Date
в функциюtoStartOfDay
. - Исправлена работа функции
addMonths
,subtractMonths
, арифметика сINTERVAL n MONTH
, если в результате получается предыдущий год. - Добавлена недостающая поддержка типа данных
UUID
дляDISTINCT
,JOIN
, в агрегатных функцияхuniq
и во внешних словарях (Иванов Евгений). ПоддержкаUUID
всё ещё остаётся не полной. - Исправлено поведение
SummingMergeTree
для строк, в которых все значения после суммирования равны нулю. - Многочисленные доработки для движка таблиц
Kafka
(Marek Vavruša). - Исправлена некорректная работа движка таблиц
Join
(Amos Bird). - Исправлена работа аллокатора под FreeBSD и OS X.
- Функция
extractAll
теперь может доставать пустые вхождения. - Исправлена ошибка, не позволяющая подключить при сборке
libressl
вместоopenssl
. - Исправлена работа
CREATE TABLE AS SELECT
из временной таблицы. - Исправлена неатомарность обновления очереди репликации. Эта проблема могла приводить к рассинхронизации реплик и чинилась при перезапуске.
- Исправлено переполнение в функциях
gcd
,lcm
,modulo
(оператор%
) (Maks Skorokhod). - Файлы
-preprocessed
теперь создаются после измененияumask
(umask
может быть задан в конфигурационном файле). - Исправлена ошибка фоновой проверки кусков (
MergeTreePartChecker
) при использовании партиционирования по произвольному ключу. - Исправлен парсинг кортежей (значений типа
Tuple
) в текстовых форматах. - Исправлены сообщения о неподходящих типах аргументов для функций
multiIf
,array
и некоторых других. - Переработана поддержка
Nullable
типов. Исправлены ошибки, которые могут приводить к падению сервера. Исправлено подавляющее большинство других ошибок, связанных с поддержкойNULL
: неправильное приведение типов при INSERT SELECT, недостаточная поддержка Nullable в HAVING и в PREWHERE, режимjoin_use_nulls
, Nullable типы в оператореOR
и т. п. - Исправлена работа с внутренними свойствами типов данных, что позволило исправить проблемы следующего вида: ошибочное суммирование полей типа
Enum
вSummingMergeTree
; значения типаEnum
ошибочно выводятся с выравниванием по правому краю в таблицах вPretty
форматах, и т. п. - Более строгие проверки для допустимых комбинаций составных столбцов - это позволило исправить ошибок, которые могли приводить к падениям.
- Исправлено переполнение при задании очень большого значения параметра для типа
FixedString
. - Исправлена работа агрегатной функции
topK
для generic случая. - Добавлена отсутствующая проверка на совпадение размеров массивов для n-арных вариантов агрегатных функций с комбинатором
-Array
. - Исправлена работа
--pager
дляclickhouse-client
(автор: ks1322). - Исправлена точность работы функции
exp10
. - Исправлено поведение функции
visitParamExtract
согласно документации. - Исправлено падение при объявлении некорректных типов данных.
- Исправлена работа
DISTINCT
при условии, что все столбцы константные. - Исправлено форматирование запроса в случае наличия функции
tupleElement
со сложным константным выражением в качестве номера элемента. - Исправлена работа
Dictionary
таблиц для словарей типаrange_hashed
. - Исправлена ошибка, приводящая к появлению лишних строк при
FULL
иRIGHT JOIN
(Amos Bird). - Исправлено падение сервера в случае создания и удаления временных файлов в
config.d
директориях в момент перечитывания конфигурации. - Исправлена работа запроса
SYSTEM DROP DNS CACHE
: ранее сброс DNS кэша не приводил к повторному резолвингу имён хостов кластера. - Исправлено поведение
MATERIALIZED VIEW
послеDETACH TABLE
таблицы, на которую он смотрит (Marek Vavruša).
Улучшения сборки:
- Для сборки используется
pbuilder
. Сборка максимально независима от окружения на сборочной машине. - Для разных версий систем выкладывается один и тот же пакет, который совместим с широким диапазоном Linux систем.
- Добавлен пакет
clickhouse-test
, который может быть использован для запуска функциональных тестов. - Добавлена выкладка в репозиторий архива с исходниками. Этот архив может быть использован для воспроизведения сборки без использования GitHub.
- Добавлена частичная интеграция с Travis CI. В связи с ограничениями на время сборки в Travis, запускается только ограниченный набор тестов на Debug сборке.
- Добавлена поддержка
Cap'n'Proto
в сборку по-умолчанию. - Документация переведена с
Restructured Text
наMarkdown
. - Добавлена поддержка
systemd
(Vladimir Smirnov). В связи с несовместимостью с некоторыми образами, она выключена по-умолчанию и может быть включена вручную. - Для динамической компиляции запросов,
clang
иlld
встроены внутрьclickhouse
. Они также могут быть вызваны с помощьюclickhouse clang
иclickhouse lld
. - Удалено использование расширений GNU из кода и включена опция
-Wextra
. При сборке с помощьюclang
по-умолчанию используетсяlibc++
вместоlibstdc++
. - Выделены библиотеки
clickhouse_parsers
иclickhouse_common_io
для более быстрой сборки утилит.
Обратно несовместимые изменения:
- Формат засечек (marks) для таблиц типа
Log
, содержащихNullable
столбцы, изменён обратно-несовместимым образом. В случае наличия таких таблиц, вы можете преобразовать их вTinyLog
до запуска новой версии сервера. Для этого в соответствующем таблице файле.sql
в директорииmetadata
, заменитеENGINE = Log
наENGINE = TinyLog
. Если в таблице нетNullable
столбцов или тип таблицы неLog
, то ничего делать не нужно. - Удалена настройка
experimental_allow_extended_storage_definition_syntax
. Соответствующая функциональность включена по-умолчанию. - Функция
runningIncome
переименована вrunningDifferenceStartingWithFirstValue
во избежание путаницы. - Удалена возможность написания
FROM ARRAY JOIN arr
без указания таблицы после FROM (Amos Bird). - Удалён формат
BlockTabSeparated
, использовавшийся лишь для демонстрационных целей. - Изменён формат состояния агрегатных функций
varSamp
,varPop
,stddevSamp
,stddevPop
,covarSamp
,covarPop
,corr
. Если вы использовали эти состояния для хранения в таблицах (тип данныхAggregateFunction
от этих функций или материализованные представления, хранящие эти состояния), напишите на clickhouse-feedback@yandex-team.com. - В предыдущих версиях существовала недокументированная возможность: в типе данных AggregateFunction можно было не указывать параметры для агрегатной функции, которая зависит от параметров. Пример:
AggregateFunction(quantiles, UInt64)
вместоAggregateFunction(quantiles(0.5, 0.9), UInt64)
. Эта возможность потеряна. Не смотря на то, что возможность не документирована, мы собираемся вернуть её в ближайших релизах.
На что обратить внимание при обновлении:
- При обновлении кластера, на время, когда на одних репликах работает новая версия сервера, а на других - старая, репликация будет приостановлена и в логе появятся сообщения вида
unknown parameter 'shard'
. Репликация продолжится после обновления всех реплик кластера. - Если на серверах кластера работают разные версии ClickHouse, то возможен неправильный результат распределённых запросов, использующих функции
varSamp
,varPop
,stddevSamp
,stddevPop
,covarSamp
,covarPop
,corr
. Необходимо обновить все серверы кластера.
Релиз ClickHouse 1.1.54327, 2017-12-21
Релиз содержит исправление к предыдущему релизу 1.1.54318:
- Исправлена проблема с возможным race condition при репликации, которая может приводить к потере данных. Проблеме подвержены версии 1.1.54310 и 1.1.54318. Если вы их используете и у вас есть Replicated таблицы, то обновление обязательно. Понять, что эта проблема существует, можно по сообщениям в логе Warning вида
Part ... from own log doesn't exist.
Даже если таких сообщений нет, проблема всё-равно актуальна.
Релиз ClickHouse 1.1.54318, 2017-11-30
Релиз содержит изменения к предыдущему релизу 1.1.54310 с исправлением следующих багов:
- Исправлено некорректное удаление строк при слияниях в движке SummingMergeTree
- Исправлена утечка памяти в нереплицированных MergeTree-движках
- Исправлена деградация производительности при частых вставках в MergeTree-движках
- Исправлена проблема, приводящая к остановке выполнения очереди репликации
- Исправлено ротирование и архивация логов сервера
Релиз ClickHouse 1.1.54310, 2017-11-01
Новые возможности:
- Произвольный ключ партиционирования для таблиц семейства MergeTree.
- Движок таблиц Kafka.
- Возможность загружать модели CatBoost и применять их к данным, хранящимся в ClickHouse.
- Поддержка часовых поясов с нецелым смещением от UTC.
- Поддержка операций с временными интервалами.
- Диапазон значений типов Date и DateTime расширен до 2105 года.
- Запрос
CREATE MATERIALIZED VIEW x TO y
(позволяет указать существующую таблицу для хранения данных материализованного представления). - Запрос
ATTACH TABLE
без аргументов. - Логика обработки Nested-столбцов в SummingMergeTree, заканчивающихся на -Map, вынесена в агрегатную функцию sumMap. Такие столбцы теперь можно задавать явно.
- Максимальный размер IP trie-словаря увеличен до 128М записей.
- Функция getSizeOfEnumType.
- Агрегатная функция sumWithOverflow.
- Поддержка входного формата Cap’n Proto.
- Возможность задавать уровень сжатия при использовании алгоритма zstd.
Обратно несовместимые изменения:
- Запрещено создание временных таблиц с движком, отличным от Memory.
- Запрещено явное создание таблиц с движком View и MaterializedView.
- При создании таблицы теперь проверяется, что ключ сэмплирования входит в первичный ключ.
Исправления ошибок:
- Исправлено зависание при синхронной вставке в Distributed таблицу.
- Исправлена неатомарность при добавлении/удалении кусков в реплицированных таблицах.
- Данные, вставляемые в материализованное представление, теперь не подвергаются излишней дедупликации.
- Запрос в Distributed таблицу, для которого локальная реплика отстаёт, а удалённые недоступны, теперь не падает.
- Для создания временных таблиц теперь не требуется прав доступа к БД
default
. - Исправлено падение при указании типа Array без аргументов.
- Исправлено зависание при недостатке места на диске в разделе с логами.
- Исправлено переполнение в функции toRelativeWeekNum для первой недели Unix-эпохи.
Улучшения сборки:
- Несколько сторонних библиотек (в частности, Poco) обновлены и переведены на git submodules.
Релиз ClickHouse 1.1.54304, 2017-10-19
Новые возможности:
- Добавлена поддержка TLS в нативном протоколе (включается заданием
tcp_ssl_port
вconfig.xml
)
Исправления ошибок:
ALTER
для реплицированных таблиц теперь пытается начать выполнение как можно быстрее- Исправлены падения при чтении данных с настройкой
preferred_block_size_bytes=0
- Исправлено падение
clickhouse-client
при нажатииPage Down
- Корректная интепретация некоторых сложных запросов с
GLOBAL IN
иUNION ALL
- Операция
FREEZE PARTITION
теперь работает всегда атомарно - Исправлено зависание пустых POST-запросов (теперь возвращается код 411)
- Исправлены ошибки при интепретации выражений типа
CAST(1 AS Nullable(UInt8))
- Исправлена ошибка при чтении колонок типа
Array(Nullable(String))
изMergeTree
таблиц - Исправлено падение при парсинге запросов типа
SELECT dummy AS dummy, dummy AS b
- Корректное обновление пользователей при невалидном
users.xml
- Корректная обработка случаев, когда executable-словарь возвращает ненулевой код ответа
Релиз ClickHouse 1.1.54292, 2017-09-20
Новые возможности:
- Добавлена функция
pointInPolygon
для работы с координатами на плоскости. - Добавлена агрегатная функция
sumMap
, обеспечивающая суммирование массивов аналогичноSummingMergeTree
. - Добавлена функция
trunc
. Увеличена производительность функций округленияround
,floor
,ceil
,roundToExp2
. Исправлена логика работы функций округления. Изменена логика работы функцииroundToExp2
для дробных и отрицательных чисел. - Ослаблена зависимость исполняемого файла ClickHouse от версии libc. Один и тот же исполняемый файл ClickHouse может запускаться и работать на широком множестве Linux систем. Замечание: зависимость всё ещё присутствует при использовании скомпилированных запросов (настройка
compile = 1
, по-умолчанию не используется). - Уменьшено время динамической компиляции запросов.
Исправления ошибок:
- Исправлена ошибка, которая могла приводить к сообщениям
part ... intersects previous part
и нарушению консистентности реплик. - Исправлена ошибка, приводящая к блокировке при завершении работы сервера, если в это время ZooKeeper недоступен.
- Удалено избыточное логгирование при восстановлении реплик.
- Исправлена ошибка в реализации UNION ALL.
- Исправлена ошибка в функции concat, возникающая в случае, если первый столбец блока имеет тип Array.
- Исправлено отображение прогресса в таблице system.merges.
Релиз ClickHouse 1.1.54289, 2017-09-13
Новые возможности:
- Запросы
SYSTEM
для административных действий с сервером:SYSTEM RELOAD DICTIONARY
,SYSTEM RELOAD DICTIONARIES
,SYSTEM DROP DNS CACHE
,SYSTEM SHUTDOWN
,SYSTEM KILL
. - Добавлены функции для работы с массивами:
concat
,arraySlice
,arrayPushBack
,arrayPushFront
,arrayPopBack
,arrayPopFront
. - Добавлены параметры
root
иidentity
для конфигурации ZooKeeper. Это позволяет изолировать разных пользователей одного ZooKeeper кластера. - Добавлены агрегатные функции
groupBitAnd
,groupBitOr
,groupBitXor
(для совместимости доступны также под именамиBIT_AND
,BIT_OR
,BIT_XOR
). - Возможность загрузки внешних словарей из MySQL с указанием сокета на файловой системе.
- Возможность загрузки внешних словарей из MySQL через SSL соединение (параметры
ssl_cert
,ssl_key
,ssl_ca
). - Добавлена настройка
max_network_bandwidth_for_user
для ограничения общего потребления сети для всех запросов одного пользователя. - Поддержка
DROP TABLE
для временных таблиц. - Поддержка чтения значений типа
DateTime
в формате unix timestamp из форматовCSV
иJSONEachRow
. - Включено по-умолчанию отключение отстающих реплик при распределённых запросах (по-умолчанию порог равен 5 минутам).
- Используются FIFO блокировки при ALTER: выполнение ALTER не будет неограниченно блокироваться при непрерывно выполняющихся запросах.
- Возможность задать
umask
в конфигурационном файле. - Увеличена производительность запросов с
DISTINCT
.
Исправления ошибок:
- Более оптимальная процедура удаления старых нод в ZooKeeper. Ранее в случае очень частых вставок, старые ноды могли не успевать удаляться, что приводило, в том числе, к очень долгому завершению сервера.
- Исправлена рандомизация при выборе хостов для соединения с ZooKeeper.
- Исправлено отключение отстающей реплики при распределённых запросах, если реплика является localhost.
- Исправлена ошибка, в связи с которой кусок данных таблицы типа
ReplicatedMergeTree
мог становиться битым после выполненияALTER MODIFY
элементаNested
структуры. - Исправлена ошибка приводящая к возможному зависанию SELECT запросов.
- Доработки распределённых DDL запросов.
- Исправлен запрос
CREATE TABLE ... AS <materialized view>
. - Исправлен дедлок при запросе
ALTER ... CLEAR COLUMN IN PARTITION
дляBuffer
таблиц. - Исправлено использование неправильного значения по-умолчанию для
Enum
-ов (0 вместо минимального) при использовании форматовJSONEachRow
иTSKV
. - Исправлено появление zombie процессов при работе со словарём с источником
executable
. - Исправлен segfault при запросе HEAD.
Улучшения процесса разработки и сборки ClickHouse:
- Возможность сборки с помощью
pbuilder
. - Возможность сборки с использованием
libc++
вместоlibstdc++
под Linux. - Добавлены инструкции для использования статических анализаторов кода
Coverity
,clang-tidy
,cppcheck
.
На что обратить внимание при обновлении:
- Увеличено значение по-умолчанию для настройки MergeTree
max_bytes_to_merge_at_max_space_in_pool
(максимальный суммарный размер кусков в байтах для мержа) со 100 GiB до 150 GiB. Это может привести к запуску больших мержей после обновления сервера, что может вызвать повышенную нагрузку на дисковую подсистему. Если же на серверах, где это происходит, количество свободного места менее чем в два раза больше суммарного объёма выполняющихся мержей, то в связи с этим перестанут выполняться какие-либо другие мержи, включая мержи мелких кусков. Это приведёт к тому, что INSERT-ы будут отклоняться с сообщением "Merges are processing significantly slower than inserts". Для наблюдения, используйте запросSELECT * FROM system.merges
. Вы также можете смотреть на метрикуDiskSpaceReservedForMerge
в таблицеsystem.metrics
или в Graphite. Для исправления этой ситуации можно ничего не делать, так как она нормализуется сама после завершения больших мержей. Если же вас это не устраивает, вы можете вернуть настройкуmax_bytes_to_merge_at_max_space_in_pool
в старое значение, прописав в config.xml в секции<merge_tree>
<max_bytes_to_merge_at_max_space_in_pool>107374182400</max_bytes_to_merge_at_max_space_in_pool>
и перезапустить сервер.
Релиз ClickHouse 1.1.54284, 2017-08-29
- Релиз содержит изменения к предыдущему релизу 1.1.54282, которые исправляют утечку записей о кусках в ZooKeeper
Релиз ClickHouse 1.1.54282, 2017-08-23
Релиз содержит исправления к предыдущему релизу 1.1.54276:
- Исправлена ошибка
DB::Exception: Assertion violation: !_path.empty()
при вставке в Distributed таблицу. - Исправлен парсинг при вставке в формате RowBinary, если входные данные начинаются с ';'.
- Исправлена ошибка при рантайм-компиляции некоторых агрегатных функций (например,
groupArray()
).
Релиз ClickHouse 1.1.54276, 2017-08-16
Новые возможности:
- Добавлена опциональная секция WITH запроса SELECT. Пример запроса:
WITH 1+1 AS a SELECT a, a*a
- Добавлена возможность синхронной вставки в Distributed таблицу: выдается Ok только после того как все данные записались на все шарды. Активируется настройкой insert_distributed_sync=1
- Добавлен тип данных UUID для работы с 16-байтовыми идентификаторами
- Добавлены алиасы типов CHAR, FLOAT и т.д. для совместимости с Tableau
- Добавлены функции toYYYYMM, toYYYYMMDD, toYYYYMMDDhhmmss для перевода времени в числа
- Добавлена возможность использовать IP адреса (совместно с hostname) для идентификации сервера при работе с кластерными DDL запросами
- Добавлена поддержка неконстантных аргументов и отрицательных смещений в функции
substring(str, pos, len)
- Добавлен параметр max_size для агрегатной функции
groupArray(max_size)(column)
, и оптимизирована её производительность
Основные изменения:
- Улучшение безопасности: все файлы сервера создаются с правами 0640 (можно поменять, через параметр в конфиге).
- Улучшены сообщения об ошибках в случае синтаксически неверных запросов
- Значительно уменьшен расход оперативной памяти и улучшена производительность слияний больших MergeTree-кусков данных
- Значительно увеличена производительность слияний данных для движка ReplacingMergeTree
- Улучшена производительность асинхронных вставок из Distributed таблицы за счет объединения нескольких исходных вставок. Функциональность включается настройкой distributed_directory_monitor_batch_inserts=1.
Обратно несовместимые изменения:
- Изменился бинарный формат агрегатных состояний функции
groupArray(array_column)
для массивов
Полный список изменений:
- Добавлена настройка
output_format_json_quote_denormals
, включающая вывод nan и inf значений в формате JSON - Более оптимальное выделение потоков при чтении из Distributed таблиц
- Разрешено задавать настройки в режиме readonly, если их значение не изменяется
- Добавлена возможность считывать нецелые гранулы движка MergeTree для выполнения ограничений на размер блока, задаваемый настройкой preferred_block_size_bytes - для уменьшения потребления оперативной памяти и увеличения кэш-локальности при обработке запросов из таблиц со столбцами большого размера
- Эффективное использование индекса, содержащего выражения типа
toStartOfHour(x)
, для условий видаtoStartOfHour(x) op сonstexpr
- Добавлены новые настройки для MergeTree движков (секция merge_tree в config.xml):
- replicated_deduplication_window_seconds позволяет задать интервал дедупликации вставок в Replicated-таблицы в секундах
- cleanup_delay_period - периодичность запуска очистки неактуальных данных
- replicated_can_become_leader - запретить реплике становиться лидером (и назначать мержи)
- Ускорена очистка неактуальных данных из ZooKeeper
- Множественные улучшения и исправления работы кластерных DDL запросов. В частности, добавлена настройка distributed_ddl_task_timeout, ограничивающая время ожидания ответов серверов кластера.
- Улучшено отображение стэктрейсов в логах сервера
- Добавлен метод сжатия none
- Возможность использования нескольких секций dictionaries_config в config.xml
- Возможность подключения к MySQL через сокет на файловой системе
- В таблицу system.parts добавлен столбец с информацией о размере marks в байтах
Исправления багов:
- Исправлена некорректная работа Distributed таблиц, использующих Merge таблицы, при SELECT с условием на поле _table
- Исправлен редкий race condition в ReplicatedMergeTree при проверке кусков данных
- Исправлено возможное зависание процедуры leader election при старте сервера
- Исправлено игнорирование настройки max_replica_delay_for_distributed_queries при использовании локальной реплики в качестве источника данных
- Исправлено некорректное поведение
ALTER TABLE CLEAR COLUMN IN PARTITION
при попытке очистить несуществующую колонку - Исправлено исключение в функции multiIf при использовании пустых массивов или строк
- Исправлено чрезмерное выделение памяти при десериализации формата Native
- Исправлено некорректное автообновление Trie словарей
- Исправлено исключение при выполнении запросов с GROUP BY из Merge-таблицы при использовании SAMPLE
- Исправлено падение GROUP BY при использовании настройки distributed_aggregation_memory_efficient=1
- Добавлена возможность указывать database.table в правой части IN и JOIN
- Исправлено использование слишком большого количества потоков при параллельной агрегации
- Исправлена работа функции if с аргументами FixedString
- Исправлена некорректная работа SELECT из Distributed-таблицы для шардов с весом 0
- Исправлено падение запроса
CREATE VIEW IF EXISTS
- Исправлено некорректное поведение при input_format_skip_unknown_fields=1 в случае отрицательных чисел
- Исправлен бесконечный цикл в функции
dictGetHierarchy()
в случае некоторых некорректных данных словаря - Исправлены ошибки типа
Syntax error: unexpected (...)
при выполнении распределенных запросов с подзапросами в секции IN или JOIN, в случае использования совместно с Merge таблицами - Исправлена неправильная интерпретация SELECT запроса из таблиц типа Dictionary
- Исправлена ошибка "Cannot mremap" при использовании множеств в секциях IN, JOIN, содержащих более 2 млрд. элементов
- Исправлен failover для словарей с источником MySQL
Улучшения процесса разработки и сборки ClickHouse:
- Добавлена возмозможность сборки в Arcadia
- Добавлена возможность сборки с помощью gcc 7
- Ускорена параллельная сборка с помощью ccache+distcc
Релиз ClickHouse 1.1.54245, 2017-07-04
Новые возможности:
- Распределённые DDL (например,
CREATE TABLE ON CLUSTER
) - Реплицируемый запрос
ALTER TABLE CLEAR COLUMN IN PARTITION
- Движок таблиц Dictionary (доступ к данным словаря в виде таблицы)
- Движок баз данных Dictionary (в такой базе автоматически доступны Dictionary-таблицы для всех подключённых внешних словарей)
- Возможность проверки необходимости обновления словаря путём отправки запроса в источник
- Qualified имена столбцов
- Квотирование идентификаторов двойными кавычками
- Сессии в HTTP интерфейсе
- Запрос OPTIMIZE для Replicated таблицы теперь можно выполнять не только на лидере
Обратно несовместимые изменения:
- Убрана команда SET GLOBAL
Мелкие изменения:
- Теперь после получения сигнала в лог печатается полный стектрейс
- Ослаблена проверка на количество повреждённых/лишних кусков при старте (было слишком много ложных срабатываний)
Исправления багов:
- Исправлено залипание плохого соединения при вставке в Distributed таблицу
- GLOBAL IN теперь работает при запросе из таблицы Merge, смотрящей в Distributed
- Теперь правильно определяется количество ядер на виртуалках Google Compute Engine
- Исправления в работе executable источника кэшируемых внешних словарей
- Исправлены сравнения строк, содержащих нулевые символы
- Исправлено сравнение полей первичного ключа типа Float32 с константами
- Раньше неправильная оценка размера поля могла приводить к слишком большим аллокациям
- Исправлено падение при запросе Nullable столбца, добавленного в таблицу ALTER-ом
- Исправлено падение при сортировке по Nullable столбцу, если количество строк меньше LIMIT
- Исправлен ORDER BY подзапроса, состоящего только из константных значений
- Раньше Replicated таблица могла остаться в невалидном состоянии после неудавшегося DROP TABLE
- Алиасы для скалярных подзапросов с пустым результатом теперь не теряются
- Теперь запрос, в котором использовалась компиляция, не завершается ошибкой, если .so файл повреждается