mirror of
https://github.com/ClickHouse/ClickHouse.git
synced 2024-10-07 00:50:56 +00:00
Merge branch 'master' of github.com:yandex/ClickHouse
This commit is contained in:
Ivan Blinkov
commit
94bc36dc02
@ -14,7 +14,7 @@ If `replace` is specified, it replaces the entire element with the specified one
|
||||
|
||||
If `remove` is specified, it deletes the element.
|
||||
|
||||
The config can also define "substitutions". If an element has the `incl` attribute, the corresponding substitution from the file will be used as the value. By default, the path to the file with substitutions is `/etc/metrika.xml`. This can be changed in the [include_from](server_settings/settings.md#server_settings-include_from) element in the server config. The substitution values are specified in `/yandex/substitution_name` elements in this file. If a substitution specified in `incl` does not exist, it is recorded in the log. To prevent ClickHouse from logging missing substitutions, specify the `optional="true"` attribute (for example, settings for [macros]() server_settings/settings.md#server_settings-macros)).
|
||||
The config can also define "substitutions". If an element has the `incl` attribute, the corresponding substitution from the file will be used as the value. By default, the path to the file with substitutions is `/etc/metrika.xml`. This can be changed in the [include_from](server_settings/settings.md#server_settings-include_from) element in the server config. The substitution values are specified in `/yandex/substitution_name` elements in this file. If a substitution specified in `incl` does not exist, it is recorded in the log. To prevent ClickHouse from logging missing substitutions, specify the `optional="true"` attribute (for example, settings for [macros](server_settings/settings.md#server_settings-macros)).
|
||||
|
||||
Substitutions can also be performed from ZooKeeper. To do this, specify the attribute `from_zk = "/path/to/node"`. The element value is replaced with the contents of the node at `/path/to/node` in ZooKeeper. You can also put an entire XML subtree on the ZooKeeper node and it will be fully inserted into the source element.
|
||||
|
||||
|
||||
@ -532,6 +532,7 @@ Columns in the log:
|
||||
- database_name – The name of the database.
|
||||
- table_name – Name of the table.
|
||||
- part_name – Name of the data part.
|
||||
- partition_id – The identifier of the partition.
|
||||
- size_in_bytes – Size of the data part in bytes.
|
||||
- merged_from – An array of names of data parts that make up the merge (also used when downloading a merged part).
|
||||
- merge_time_ms – Time spent on the merge.
|
||||
|
||||
@ -2,7 +2,9 @@
|
||||
|
||||
Restrictions on query complexity are part of the settings.
|
||||
They are used in order to provide safer execution from the user interface.
|
||||
Almost all the restrictions only apply to SELECTs.For distributed query processing, restrictions are applied on each server separately.
|
||||
Almost all the restrictions only apply to `SELECT`. For distributed query processing, restrictions are applied on each server separately.
|
||||
|
||||
ClickHouse checks the restrictions for data parts, not for each row. It means that you can exceed the value of restriction with a size of the data part.
|
||||
|
||||
Restrictions on the "maximum amount of something" can take the value 0, which means "unrestricted".
|
||||
Most restrictions also have an 'overflow_mode' setting, meaning what to do when the limit is exceeded.
|
||||
|
||||
@ -2,7 +2,7 @@
|
||||
|
||||
# Dictionary
|
||||
|
||||
The `Dictionary` engine displays the dictionary data as a ClickHouse table.
|
||||
The `Dictionary` engine displays the [dictionary](../../query_language/dicts/external_dicts.md#dicts-external_dicts) data as a ClickHouse table.
|
||||
|
||||
As an example, consider a dictionary of `products` with the following configuration:
|
||||
|
||||
|
||||
@ -135,7 +135,7 @@ If the data query specifies:
|
||||
|
||||
- `CounterID in ('a', 'h')`, the server reads the data in the ranges of marks `[0, 3)` and `[6, 8)`.
|
||||
- `CounterID IN ('a', 'h') AND Date = 3`, the server reads the data in the ranges of marks `[1, 3)` and `[7, 8)`.
|
||||
- `Date = 3`, the server reads the data in the range of marks `[1, 10)`.
|
||||
- `Date = 3`, the server reads the data in the range of marks `[1, 10]`.
|
||||
|
||||
The examples above show that it is always more effective to use an index than a full scan.
|
||||
|
||||
|
||||
@ -81,7 +81,7 @@ binary decimal
|
||||
01010101 = 85
|
||||
```
|
||||
|
||||
The query:
|
||||
Query:
|
||||
|
||||
```
|
||||
SELECT groupBitAnd(num) FROM t
|
||||
@ -339,14 +339,14 @@ Creates an array from different argument values. Memory consumption is the same
|
||||
|
||||
## quantile(level)(x)
|
||||
|
||||
Approximates the 'level' quantile. 'level' is a constant, a floating-point number from 0 to 1.
|
||||
We recommend using a 'level' value in the range of 0.01..0.99
|
||||
Don't use a 'level' value equal to 0 or 1 – use the 'min' and 'max' functions for these cases.
|
||||
Approximates the `level` quantile. `level` is a constant, a floating-point number from 0 to 1.
|
||||
We recommend using a `level` value in the range of `[0.01, 0.99]`
|
||||
Don't use a `level` value equal to 0 or 1 – use the `min` and `max` functions for these cases.
|
||||
|
||||
In this function, as well as in all functions for calculating quantiles, the 'level' parameter can be omitted. In this case, it is assumed to be equal to 0.5 (in other words, the function will calculate the median).
|
||||
In this function, as well as in all functions for calculating quantiles, the `level` parameter can be omitted. In this case, it is assumed to be equal to 0.5 (in other words, the function will calculate the median).
|
||||
|
||||
Works for numbers, dates, and dates with times.
|
||||
Returns: for numbers – Float64; for dates – a date; for dates with times – a date with time.
|
||||
Returns: for numbers – `Float64`; for dates – a date; for dates with times – a date with time.
|
||||
|
||||
Uses [reservoir sampling](https://en.wikipedia.org/wiki/Reservoir_sampling) with a reservoir size up to 8192.
|
||||
If necessary, the result is output with linear approximation from the two neighboring values.
|
||||
|
||||
@ -35,13 +35,13 @@ Example of settings:
|
||||
|
||||
When upgrading the dictionaries, the ClickHouse server applies different logic depending on the type of [ source](external_dicts_dict_sources.md#dicts-external_dicts_dict_sources):
|
||||
|
||||
> - For a text file, it checks the time of modification. If the time differs from the previously recorded time, the dictionary is updated.
|
||||
- For a text file, it checks the time of modification. If the time differs from the previously recorded time, the dictionary is updated.
|
||||
- For MyISAM tables, the time of modification is checked using a `SHOW TABLE STATUS` query.
|
||||
- Dictionaries from other sources are updated every time by default.
|
||||
|
||||
For MySQL (InnoDB) and ODBC sources, you can set up a query that will update the dictionaries only if they really changed, rather than each time. To do this, follow these steps:
|
||||
For MySQL (InnoDB), ODBC and ClickHouse sources, you can set up a query that will update the dictionaries only if they really changed, rather than each time. To do this, follow these steps:
|
||||
|
||||
> - The dictionary table must have a field that always changes when the source data is updated.
|
||||
- The dictionary table must have a field that always changes when the source data is updated.
|
||||
- The settings of the source must specify a query that retrieves the changing field. The ClickHouse server interprets the query result as a row, and if this row has changed relative to its previous state, the dictionary is updated. Specify the query in the `<invalidate_query>` field in the settings for the [source](external_dicts_dict_sources.md#dicts-external_dicts_dict_sources).
|
||||
|
||||
Example of settings:
|
||||
|
||||
@ -10,10 +10,10 @@ greatCircleDistance(lon1Deg, lat1Deg, lon2Deg, lat2Deg)
|
||||
|
||||
**Input parameters**
|
||||
|
||||
- `lon1Deg` — Latitude of the first point in degrees. Range: `[-90°, 90°]`.
|
||||
- `lat1Deg` — Longitude of the first point in degrees. Range: `[-180°, 180°]`.
|
||||
- `lon2Deg` — Latitude of the second point in degrees. Range: `[-90°, 90°]`.
|
||||
- `lat2Deg` — Longitude of the second point in degrees. Range: `[-180°, 180°]`.
|
||||
- `lon1Deg` — Longitude of the first point in degrees. Range: `[-180°, 180°]`.
|
||||
- `lat1Deg` — Latitude of the first point in degrees. Range: `[-90°, 90°]`.
|
||||
- `lon2Deg` — Longitude of the second point in degrees. Range: `[-180°, 180°]`.
|
||||
- `lat2Deg` — Latitude of the second point in degrees. Range: `[-90°, 90°]`.
|
||||
|
||||
Positive values correspond to North latitude and East longitude, and negative values correspond to South latitude and West longitude.
|
||||
|
||||
@ -45,8 +45,7 @@ pointInEllipses(x, y, x₀, y₀, a₀, b₀,...,xₙ, yₙ, aₙ, bₙ)
|
||||
|
||||
**Input parameters**
|
||||
|
||||
- `x` — Latitude of the point.
|
||||
- `y` — Longitude of the point.
|
||||
- `x, y` — Coordinates of a point on the plane.
|
||||
- `xᵢ, yᵢ` — Coordinates of the center of the `i`-th ellipsis.
|
||||
- `aᵢ, bᵢ` — Axes of the `i`-th ellipsis in meters.
|
||||
|
||||
|
||||
@ -18,7 +18,8 @@ For a case-insensitive search, use the function `positionCaseInsensitiveUTF8`.
|
||||
|
||||
## match(haystack, pattern)
|
||||
|
||||
Checks whether the string matches the 'pattern' regular expression. A re2 regular expression.
|
||||
Checks whether the string matches the `pattern` regular expression. A `re2` regular expression. The [syntax](https://github.com/google/re2/wiki/Syntax) of the `re2` regular expressions is more limited than the syntax of the Perl regular expressions.
|
||||
|
||||
Returns 0 if it doesn't match, or 1 if it matches.
|
||||
|
||||
Note that the backslash symbol (`\`) is used for escaping in the regular expression. The same symbol is used for escaping in string literals. So in order to escape the symbol in a regular expression, you must write two backslashes (\\) in a string literal.
|
||||
|
||||
@ -12,6 +12,10 @@
|
||||
|
||||
## toDate, toDateTime
|
||||
|
||||
## toDecimal32(value, S), toDecimal64(value, S), toDecimal128(value, S)
|
||||
|
||||
Converts `value` to [Decimal](../../data_types/decimal.md#data_type-decimal) of precision `S`. The `value` can be a number or a string. The `S` (scale) parameter specifies the number of decimal places.
|
||||
|
||||
## toString
|
||||
|
||||
Functions for converting between numbers, strings (but not fixed strings), dates, and dates with times.
|
||||
|
||||
@ -91,11 +91,15 @@ The conditional operator calculates the values of b and c, then checks whether c
|
||||
CASE [x]
|
||||
WHEN a THEN b
|
||||
[WHEN ... THEN ...]
|
||||
ELSE c
|
||||
[ELSE c]
|
||||
END
|
||||
```
|
||||
|
||||
If "x" is specified, then transform(x, \[a, ...\], \[b, ...\], c). Otherwise – multiIf(a, b, ..., c).
|
||||
If `x` is specified, then `transform(x, [a, ...], [b, ...], c)` function is used. Otherwise – `multiIf(a, b, ..., c)`.
|
||||
|
||||
If there is no `ELSE c` clause in the expression, the default value is `NULL`.
|
||||
|
||||
The `transform` function does not work with `NULL`.
|
||||
|
||||
## Concatenation Operator
|
||||
|
||||
|
||||
@ -24,6 +24,33 @@ Merge(hits, '^WatchLog')
|
||||
|
||||
Типичный способ использования движка `Merge` — работа с большим количеством таблиц типа `TinyLog`, как с одной.
|
||||
|
||||
Пример 2:
|
||||
|
||||
Пусть есть старая таблица `WatchLog_old`. Необходимо изменить партиционирование без перемещения данных в новую таблицу `WatchLog_new`. При этом в выборке должны участвовать данные обеих таблиц.
|
||||
|
||||
```
|
||||
CREATE TABLE WatchLog_old(date Date, UserId Int64, EventType String, Cnt UInt64)
|
||||
ENGINE=MergeTree(date, (UserId, EventType), 8192);
|
||||
INSERT INTO WatchLog_old VALUES ('2018-01-01', 1, 'hit', 3);
|
||||
|
||||
CREATE TABLE WatchLog_new(date Date, UserId Int64, EventType String, Cnt UInt64)
|
||||
ENGINE=MergeTree PARTITION BY date ORDER BY (UserId, EventType) SETTINGS index_granularity=8192;
|
||||
INSERT INTO WatchLog_new VALUES ('2018-01-02', 2, 'hit', 3);
|
||||
|
||||
CREATE TABLE WatchLog as WatchLog_old ENGINE=Merge(currentDatabase(), '^WatchLog');
|
||||
|
||||
SELECT *
|
||||
FROM WatchLog
|
||||
|
||||
┌───────date─┬─UserId─┬─EventType─┬─Cnt─┐
|
||||
│ 2018-01-01 │ 1 │ hit │ 3 │
|
||||
└────────────┴────────┴───────────┴─────┘
|
||||
┌───────date─┬─UserId─┬─EventType─┬─Cnt─┐
|
||||
│ 2018-01-02 │ 2 │ hit │ 3 │
|
||||
└────────────┴────────┴───────────┴─────┘
|
||||
|
||||
```
|
||||
|
||||
## Виртуальные столбцы
|
||||
|
||||
Виртуальные столбцы — столбцы, предоставляемые движком таблиц независимо от определения таблицы. То есть, такие столбцы не указываются в `CREATE TABLE`, но доступны для `SELECT`.
|
||||
|
||||
@ -21,7 +21,7 @@ Turbo-Boost крайне не рекомендуется отключать. П
|
||||
Нужно всегда использовать `performance` scaling governor. `ondemand` scaling governor работает намного хуже при постоянно высоком спросе.
|
||||
|
||||
```bash
|
||||
sudo echo 'performance' | tee /sys/devices/system/cpu/cpu\*/cpufreq/scaling_governor
|
||||
sudo echo 'performance' | tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor
|
||||
```
|
||||
|
||||
## Ограничение CPU
|
||||
|
||||
@ -2,14 +2,12 @@
|
||||
|
||||
# Справочник функций
|
||||
|
||||
|
||||
## count()
|
||||
|
||||
Считает количество строк. Принимает ноль аргументов, возвращает UInt64.
|
||||
Не поддерживается синтаксис `COUNT(DISTINCT x)` - для этого есть отдельная агрегатная функция `uniq`.
|
||||
|
||||
Запрос вида `SELECT count() FROM table` не оптимизируется, так как количество записей в таблице нигде не хранится отдельно - из таблицы будет выбран какой-нибудь достаточно маленький столбец, и будет посчитано количество значений в нём.
|
||||
Не поддерживается синтаксис `COUNT (DISTINCT x)`. Для этого существует агрегатная функция`uniq`.
|
||||
|
||||
Запрос вида `SELECT count() FROM table` не оптимизируется, так как количество записей в таблице нигде не хранится отдельно. Из таблицы будет выбран какой-нибудь достаточно маленький столбец, и будет посчитано количество значений в нём.
|
||||
|
||||
<a name="agg_function-any"></a>
|
||||
|
||||
@ -23,7 +21,6 @@
|
||||
|
||||
При наличии в запросе `SELECT` секции `GROUP BY` или хотя бы одной агрегатной функции, ClickHouse (в отличие от, например, MySQL) требует, чтобы все выражения в секциях `SELECT`, `HAVING`, `ORDER BY` вычислялись из ключей или из агрегатных функций. То есть, каждый выбираемый из таблицы столбец, должен использоваться либо в ключах, либо внутри агрегатных функций. Чтобы получить поведение, как в MySQL, вы можете поместить остальные столбцы в агрегатную функцию `any`.
|
||||
|
||||
|
||||
## anyHeavy(x)
|
||||
|
||||
Выбирает часто встречающееся значение с помощью алгоритма "[heavy hitters](http://www.cs.umd.edu/~samir/498/karp.pdf)". Если существует значение, которое встречается чаще, чем в половине случаев, в каждом потоке выполнения запроса, то возвращается данное значение. В общем случае, результат недетерминирован.
|
||||
@ -33,43 +30,172 @@ anyHeavy(column)
|
||||
```
|
||||
|
||||
**Аргументы**
|
||||
- `column` - Имя столбца.
|
||||
|
||||
- `column` – Имя столбца.
|
||||
|
||||
**Пример**
|
||||
|
||||
Возьмем набор данных [OnTime](../../getting_started/example_datasets/ontime.md#example_datasets-ontime) и выберем произвольное часто встречающееся значение в столбце `AirlineID`.
|
||||
Возьмём набор данных [OnTime](../../getting_started/example_datasets/ontime.md#example_datasets-ontime) и выберем произвольное часто встречающееся значение в столбце `AirlineID`.
|
||||
|
||||
``` sql
|
||||
```sql
|
||||
SELECT anyHeavy(AirlineID) AS res
|
||||
FROM ontime
|
||||
```
|
||||
|
||||
```
|
||||
┌───res─┐
|
||||
│ 19690 │
|
||||
└───────┘
|
||||
```
|
||||
|
||||
|
||||
## anyLast(x)
|
||||
|
||||
Выбирает последнее попавшееся значение.
|
||||
Результат так же недетерминирован, как и для функции `any`.
|
||||
|
||||
##groupBitAnd
|
||||
|
||||
Применяет побитовое `И` для последовательности чисел.
|
||||
|
||||
```
|
||||
groupBitAnd(expr)
|
||||
```
|
||||
|
||||
**Параметры**
|
||||
|
||||
`expr` – Выражение, результат которого имеет тип `UInt*`.
|
||||
|
||||
**Возвращаемое значение**
|
||||
|
||||
Значение типа `UInt*`.
|
||||
|
||||
**Пример**
|
||||
|
||||
Тестовые данные:
|
||||
|
||||
```
|
||||
binary decimal
|
||||
00101100 = 44
|
||||
00011100 = 28
|
||||
00001101 = 13
|
||||
01010101 = 85
|
||||
```
|
||||
|
||||
Запрос:
|
||||
|
||||
```
|
||||
SELECT groupBitAnd(num) FROM t
|
||||
```
|
||||
|
||||
Где `num` – столбец с тестовыми данными.
|
||||
|
||||
Результат:
|
||||
|
||||
```
|
||||
binary decimal
|
||||
00000100 = 4
|
||||
```
|
||||
|
||||
##groupBitOr
|
||||
|
||||
Применяет побитовое `ИЛИ` для последовательности чисел.
|
||||
|
||||
```
|
||||
groupBitOr (expr)
|
||||
```
|
||||
|
||||
**Параметры**
|
||||
|
||||
`expr` – Выражение, результат которого имеет тип `UInt*`.
|
||||
|
||||
**Возвращаемое значение**
|
||||
|
||||
Значение типа `UInt*`.
|
||||
|
||||
**Пример**
|
||||
|
||||
Тестовые данные:
|
||||
|
||||
```
|
||||
binary decimal
|
||||
00101100 = 44
|
||||
00011100 = 28
|
||||
00001101 = 13
|
||||
01010101 = 85
|
||||
```
|
||||
|
||||
Запрос:
|
||||
|
||||
```
|
||||
SELECT groupBitOr(num) FROM t
|
||||
```
|
||||
|
||||
Где `num` – столбец с тестовыми данными.
|
||||
|
||||
Результат:
|
||||
|
||||
```
|
||||
binary decimal
|
||||
01111101 = 125
|
||||
```
|
||||
|
||||
##groupBitXor
|
||||
|
||||
Применяет побитовое `ИСКЛЮЧАЮЩЕЕ ИЛИ` для последовательности чисел.
|
||||
|
||||
```
|
||||
groupBitXor(expr)
|
||||
```
|
||||
|
||||
**Параметры**
|
||||
|
||||
`expr` – Выражение, результат которого имеет тип `UInt*`.
|
||||
|
||||
**Возвращаемое значение**
|
||||
|
||||
Значение типа `UInt*`.
|
||||
|
||||
**Пример**
|
||||
|
||||
Тестовые данные:
|
||||
|
||||
```
|
||||
binary decimal
|
||||
00101100 = 44
|
||||
00011100 = 28
|
||||
00001101 = 13
|
||||
01010101 = 85
|
||||
```
|
||||
|
||||
Запрос:
|
||||
|
||||
```
|
||||
SELECT groupBitXor(num) FROM t
|
||||
```
|
||||
|
||||
Где `num` – столбец с тестовыми данными.
|
||||
|
||||
Результат:
|
||||
|
||||
```
|
||||
binary decimal
|
||||
01101000 = 104
|
||||
```
|
||||
|
||||
## min(x)
|
||||
|
||||
Вычисляет минимум.
|
||||
|
||||
|
||||
## max(x)
|
||||
|
||||
Вычисляет максимум.
|
||||
|
||||
|
||||
## argMin(arg, val)
|
||||
|
||||
Вычисляет значение arg при минимальном значении val. Если есть несколько разных значений arg для минимальных значений val, то выдаётся первое попавшееся из таких значений.
|
||||
|
||||
**Пример:**
|
||||
|
||||
```
|
||||
┌─user─────┬─salary─┐
|
||||
│ director │ 5000 │
|
||||
@ -95,7 +221,6 @@ SELECT argMin(user, salary) FROM salary
|
||||
Вычисляет сумму.
|
||||
Работает только для чисел.
|
||||
|
||||
|
||||
## sumWithOverflow(x)
|
||||
|
||||
Вычисляет сумму чисел, используя для результата тот же тип данных, что и для входных параметров. Если сумма выйдет за максимальное значение для заданного типа данных, то функция вернёт ошибку.
|
||||
@ -106,13 +231,13 @@ SELECT argMin(user, salary) FROM salary
|
||||
|
||||
## sumMap(key, value)
|
||||
|
||||
Производит суммирование массива 'value' по соотвествующим ключам заданным в массиве 'key'.
|
||||
Производит суммирование массива 'value' по соответствующим ключам заданным в массиве 'key'.
|
||||
Количество элементов в 'key' и 'value' должно быть одинаковым для каждой строки, для которой происходит суммирование.
|
||||
Возвращает кортеж из двух массивов - ключи в отсортированном порядке и значения, просуммированные по соотвествующим ключам.
|
||||
Возвращает кортеж из двух массивов - ключи в отсортированном порядке и значения, просуммированные по соответствующим ключам.
|
||||
|
||||
Пример:
|
||||
|
||||
``` sql
|
||||
```sql
|
||||
CREATE TABLE sum_map(
|
||||
date Date,
|
||||
timeslot DateTime,
|
||||
@ -140,13 +265,11 @@ GROUP BY timeslot
|
||||
└─────────────────────┴──────────────────────────────────────────────┘
|
||||
```
|
||||
|
||||
|
||||
## avg(x)
|
||||
|
||||
Вычисляет среднее.
|
||||
Работает только для чисел.
|
||||
Результат всегда - Float64.
|
||||
|
||||
Результат всегда Float64.
|
||||
|
||||
<a name="agg_function-uniq"></a>
|
||||
|
||||
@ -159,29 +282,26 @@ GROUP BY timeslot
|
||||
|
||||
Результат детерминирован (не зависит от порядка выполнения запроса).
|
||||
|
||||
Данная функция обеспечивает отличную точность даже для множеств огромной кардинальности (10B+ элементов) и рекомендуется к использованию по умолчанию.
|
||||
|
||||
Функция обеспечивает высокую точность даже для множеств с высокой кардинальностью (более 10 миллиардов элементов). Рекомендуется для использования по умолчанию.
|
||||
|
||||
## uniqCombined(x)
|
||||
|
||||
Приближённо вычисляет количество различных значений аргумента. Работает для чисел, строк, дат, дат-с-временем, для нескольких аргументов и аргументов-кортежей.
|
||||
|
||||
Используется комбинация трёх алгоритмов: массив, хэш-таблица и [HyperLogLog](https://en.wikipedia.org/wiki/HyperLogLog) с таблицей коррекции погрешности. Расход памяти в несколько раз меньше, чем у функции `uniq`, а точность в несколько раз выше. Скорость работы чуть ниже, чем у функции `uniq`, но иногда может быть даже выше - в случае распределённых запросов, в которых по сети передаётся большое количество состояний агрегации. Максимальный размер состояния составляет 96 KiB (HyperLogLog из 217 6-битовых ячеек).
|
||||
Используется комбинация трех алгоритмов: массив, хэш-таблица и [HyperLogLog](https://en.wikipedia.org/wiki/HyperLogLog) с таблицей коррекции погрешности. Расход памяти в несколько раз меньше, чем у функции `uniq`, а точность в несколько раз выше. Скорость работы чуть ниже, чем у функции `uniq`, но иногда может быть даже выше - в случае распределённых запросов, в которых по сети передаётся большое количество состояний агрегации. Максимальный размер состояния составляет 96 KiB (HyperLogLog из 217 6-битовых ячеек).
|
||||
|
||||
Результат детерминирован (не зависит от порядка выполнения запроса).
|
||||
|
||||
Функция `uniqCombined` является хорошим выбором по умолчанию для подсчёта количества различных значений, но стоит иметь ввиду что для множеств большой кардинальности (200M+) ошибка оценки будет только расти и для множеств огромной кардинальности (1B+ элементов) функция возвращает результат с очень большой неточностью.
|
||||
|
||||
|
||||
## uniqHLL12(x)
|
||||
|
||||
Приближённо вычисляет количество различных значений аргумента, используя алгоритм [HyperLogLog](https://en.wikipedia.org/wiki/HyperLogLog).
|
||||
Используется 212 5-битовых ячеек. Размер состояния чуть больше 2.5 КБ. Результат является не точным(ошибка до ~10%) для небольших множеств (<10K элементов), но для множеств большой кардинальности (10K - 100M) результат довольно точен (ошибка до ~1.6%) и начиная с 100M ошибка оценки будет только расти и для множеств огромной кардинальности (1B+ элементов) функция возвращает результат с очень большой неточностью.
|
||||
Используется 212 5-битовых ячеек. Размер состояния чуть больше 2.5 КБ. Результат не очень точный (ошибка до ~10%) для небольших множеств (<10К элементов). Однако, для множеств с большой кардинальностью (10К - 100М) результат имеет ошибку до ~1.6%. Начиная со 100M, ошибка оценки увеличивается и для множеств огромной кардинальности (1B+ элементов) результат будет очень неточным.
|
||||
|
||||
Результат детерминирован (не зависит от порядка выполнения запроса).
|
||||
|
||||
Данная функция не рекомендуется к использованию, и в большинстве случаев, используйте функцию `uniq` или `uniqCombined`.
|
||||
|
||||
Мы не рекомендуем использовать эту функцию. В большинстве случаев, используйте функцию `uniq` или `uniqCombined`.
|
||||
|
||||
## uniqExact(x)
|
||||
|
||||
@ -191,7 +311,6 @@ GROUP BY timeslot
|
||||
|
||||
Функция `uniqExact` расходует больше оперативки, чем функция `uniq`, так как размер состояния неограниченно растёт по мере роста количества различных значений.
|
||||
|
||||
|
||||
## groupArray(x), groupArray(max_size)(x)
|
||||
|
||||
Составляет массив из значений аргумента.
|
||||
@ -204,7 +323,6 @@ GROUP BY timeslot
|
||||
|
||||
<a name="agg_functions_groupArrayInsertAt"></a>
|
||||
|
||||
|
||||
## groupArrayInsertAt(x)
|
||||
|
||||
Вставляет в массив значение в заданную позицию.
|
||||
@ -214,19 +332,17 @@ GROUP BY timeslot
|
||||
Опциональные параметры:
|
||||
|
||||
- Значение по умолчанию для подстановки на пустые позиции.
|
||||
- Длина результирующего массива. Например, если вы хотите получать массисы одинакового размера для всех агрегатных ключей. При использовании этого параметра значение по умолчанию задавать обязательно.
|
||||
|
||||
- Длина результирующего массива. Например, если вы хотите получать массивы одинакового размера для всех агрегатных ключей. При использовании этого параметра значение по умолчанию задавать обязательно.
|
||||
|
||||
## groupUniqArray(x)
|
||||
|
||||
Составляет массив из различных значений аргумента. Расход оперативки такой же, как у функции `uniqExact`.
|
||||
|
||||
|
||||
## quantile(level)(x)
|
||||
|
||||
Приближённо вычисляет квантиль уровня level. level - константа, число с плавающей запятой от 0 до 1.
|
||||
Рекомендуется использовать значения level в диапазоне 0.01..0.99.
|
||||
Не используйте значения level, равные 0 или 1 - для таких случаев есть функции min и max.
|
||||
Рекомендуется использовать значения level в диапазоне `[0.01, 0.99]`.
|
||||
Не используйте значение 'level' равное 0 или 1 – используйте функции 'min' и 'max' для этих случаев.
|
||||
|
||||
В этой функции, равно как и во всех функциях для расчёта квантилей, параметр level может быть не указан. В таком случае, он принимается равным 0.5 - то есть, функция будет вычислять медиану.
|
||||
|
||||
@ -241,15 +357,13 @@ GROUP BY timeslot
|
||||
|
||||
При использовании нескольких функций `quantile` (и аналогичных) с разными уровнями в запросе, внутренние состояния не объединяются (то есть, запрос работает менее эффективно, чем мог бы). В этом случае, используйте функцию `quantiles` (и аналогичные).
|
||||
|
||||
|
||||
## quantileDeterministic(level)(x, determinator)
|
||||
|
||||
Работает аналогично функции `quantile`, но, в отличие от неё, результат является детерминированным и не зависит от порядка выполнения запроса.
|
||||
|
||||
Для этого, функция принимает второй аргумент - «детерминатор». Это некоторое число, хэш от которого используется вместо генератора случайных чисел в алгоритме reservoir sampling. Для правильной работы функции, одно и то же значение детерминатора не должно встречаться слишком часто. В качестве детерминатора вы можете использовать идентификатор события, идентификатор посетителя и т. п.
|
||||
|
||||
Не используйте эту функцию для рассчёта таймингов. Для этого есть более подходящая функции - `quantileTiming`.
|
||||
|
||||
Не используйте эту функцию для расчёта таймингов. Для этого есть более подходящая функция - `quantileTiming`.
|
||||
|
||||
## quantileTiming(level)(x)
|
||||
|
||||
@ -273,44 +387,37 @@ GROUP BY timeslot
|
||||
|
||||
Для своей задачи (расчёт квантилей времени загрузки страниц), использование этой функции эффективнее и результат точнее, чем для функции `quantile`.
|
||||
|
||||
|
||||
## quantileTimingWeighted(level)(x, weight)
|
||||
|
||||
Отличается от функции `quantileTiming` наличием второго аргумента - «веса». Вес - неотрицательное целое число.
|
||||
Результат считается так же, как если бы в функцию `quantileTiming` значение `x` было передано `weight` количество раз.
|
||||
|
||||
|
||||
## quantileExact(level)(x)
|
||||
|
||||
Вычисляет квантиль уровня level точно. Для этого, все переданные значения складываются в массив, который затем частично сортируется. Поэтому, функция потребляет O(n) памяти, где n - количество переданных значений. Впрочем, для случая маленького количества значений, функция весьма эффективна.
|
||||
|
||||
|
||||
## quantileExactWeighted(level)(x, weight)
|
||||
|
||||
Вычисляет квантиль уровня level точно. При этом, каждое значение учитывается с весом weight - как будто оно присутствует weight раз. Аргументы функции можно рассматривать как гистограммы, где значению x соответствует «столбик» гистограммы высоты weight, а саму функцию можно рассматривать как суммирование гистограмм.
|
||||
|
||||
В качестве алгоритма используется хэш-таблица. Из-за этого, в случае, если передаваемые значения часто повторяются, функция потребляет меньше оперативки, чем `quantileExact`. Вы можете использовать эту функцию вместо `quantileExact`, указав в качестве веса число 1.
|
||||
|
||||
|
||||
## quantileTDigest(level)(x)
|
||||
|
||||
Вычисляет квантиль уровня level приближённо, с использованием алгоритма [t-digest](https://github.com/tdunning/t-digest/blob/master/docs/t-digest-paper/histo.pdf). Максимальная погрешность составляет 1%. Расход памяти на состояние пропорционален логарифму от количества переданных значений.
|
||||
Вычисляет квантиль уровня level приближенно, с использованием алгоритма [t-digest](https://github.com/tdunning/t-digest/blob/master/docs/t-digest-paper/histo.pdf). Максимальная погрешность составляет 1%. Расход памяти на состояние пропорционален логарифму от количества переданных значений.
|
||||
|
||||
Производительность функции ниже `quantile`, `quantileTiming`. По соотношению размера состояния и точности, функция существенно лучше, чем `quantile`.
|
||||
|
||||
Результат зависит от порядка выполнения запроса, и является недетерминированным.
|
||||
|
||||
|
||||
## median(x)
|
||||
|
||||
Для всех quantile-функций, также присутствуют соответствующие median-функции: `median`, `medianDeterministic`, `medianTiming`, `medianTimingWeighted`, `medianExact`, `medianExactWeighted`, `medianTDigest`. Они являются синонимами и их поведение ничем не отличается.
|
||||
|
||||
|
||||
## quantiles(level1, level2, ...)(x)
|
||||
|
||||
Для всех quantile-функций, также присутствуют соответствующие quantiles-функции: `quantiles`, `quantilesDeterministic`, `quantilesTiming`, `quantilesTimingWeighted`, `quantilesExact`, `quantilesExactWeighted`, `quantilesTDigest`. Эти функции за один проход вычисляют все квантили перечисленных уровней и возвращают массив вычисленных значений.
|
||||
|
||||
|
||||
## varSamp(x)
|
||||
|
||||
Вычисляет величину `Σ((x - x̅)^2) / (n - 1)`, где `n` - размер выборки, `x̅`- среднее значение `x`.
|
||||
@ -329,39 +436,38 @@ GROUP BY timeslot
|
||||
|
||||
Результат равен квадратному корню от `varSamp(x)`.
|
||||
|
||||
|
||||
## stddevPop(x)
|
||||
|
||||
Результат равен квадратному корню от `varPop(x)`.
|
||||
|
||||
|
||||
## topK(N)(column)
|
||||
|
||||
Возвращает массив наиболее часто встречающихся значений в указанном столбце. Результирующий массив упорядочен по убыванию частоты значения (не по самим значениям).
|
||||
|
||||
Реализует [Filtered Space-Saving](http://www.l2f.inesc-id.pt/~fmmb/wiki/uploads/Work/misnis.ref0a.pdf) алгоритм для анализа TopK, на основе reduce-and-combine
|
||||
алгоритма из методики [Parallel Space Saving](https://arxiv.org/pdf/1401.0702.pdf).
|
||||
Реализует [Filtered Space-Saving](http://www.l2f.inesc-id.pt/~fmmb/wiki/uploads/Work/misnis.ref0a.pdf) алгоритм для анализа TopK, на основе reduce-and-combine алгоритма из методики [Parallel Space Saving](https://arxiv.org/pdf/1401.0702.pdf).
|
||||
|
||||
```
|
||||
topK(N)(column)
|
||||
```
|
||||
|
||||
Функция не дает гарантированного результата, при определенных условиях возможны ошибки и вернутся частые, но не наиболее частые значения.
|
||||
Функция не дает гарантированного результата. В некоторых ситуациях могут возникать ошибки, и функция возвращает частые, но не наиболее частые значения.
|
||||
|
||||
Рекомендуем использовать значения `N < 10`, при больших `N` снижается производительность. Максимально возможное значение `N = 65536`.
|
||||
|
||||
**Аргументы**
|
||||
|
||||
- 'N' - Количество значений.
|
||||
- 'x' - Столбец.
|
||||
- 'x' – Столбец.
|
||||
|
||||
**Пример**
|
||||
|
||||
Возьмем набор данных [OnTime](../../getting_started/example_datasets/ontime.md#example_datasets-ontime) и выберем 3 наиболее часто встречающихся значения в столбце `AirlineID`.
|
||||
Возьмём набор данных [OnTime](../../getting_started/example_datasets/ontime.md#example_datasets-ontime) и выберем 3 наиболее часто встречающихся значения в столбце `AirlineID`.
|
||||
|
||||
``` sql
|
||||
```sql
|
||||
SELECT topK(3)(AirlineID) AS res
|
||||
FROM ontime
|
||||
```
|
||||
|
||||
```
|
||||
┌─res─────────────────┐
|
||||
│ [19393,19790,19805] │
|
||||
@ -374,12 +480,10 @@ FROM ontime
|
||||
|
||||
Возвращает Float64. В случае, когда `n <= 1`, возвращается +∞.
|
||||
|
||||
|
||||
## covarPop(x, y)
|
||||
|
||||
Вычисляет величину `Σ((x - x̅)(y - y̅)) / n`.
|
||||
|
||||
|
||||
## corr(x, y)
|
||||
|
||||
Вычисляет коэффициент корреляции Пирсона: `Σ((x - x̅)(y - y̅)) / sqrt(Σ((x - x̅)^2) * Σ((y - y̅)^2))`.
|
||||
|
||||
@ -10,10 +10,10 @@ greatCircleDistance(lon1Deg, lat1Deg, lon2Deg, lat2Deg)
|
||||
|
||||
**Входные параметры**
|
||||
|
||||
- `lon1Deg` — широта первой точки в градусах. Диапазон — `[-90°, 90°]`.
|
||||
- `lat1Deg` — долгота первой точки в градусах. Диапазон — `[-180°, 180°]`.
|
||||
- `lon2Deg` — широта второй точки в градусах. Диапазон — `[-90°, 90°]`.
|
||||
- `lat2Deg` — долгота второй точки в градусах. Диапазон — `[-180°, 180°]`.
|
||||
- `lon1Deg` — долгота первой точки в градусах. Диапазон — `[-180°, 180°]`.
|
||||
- `lat1Deg` — широта первой точки в градусах. Диапазон — `[-90°, 90°]`.
|
||||
- `lon2Deg` — долгота второй точки в градусах. Диапазон — `[-180°, 180°]`.
|
||||
- `lat2Deg` — широта второй точки в градусах. Диапазон — `[-90°, 90°]`.
|
||||
|
||||
Положительные значения соответствуют северной широте и восточной долготе, отрицательные — южной широте и западной долготе.
|
||||
|
||||
@ -45,8 +45,7 @@ pointInEllipses(x, y, x₀, y₀, a₀, b₀,...,xₙ, yₙ, aₙ, bₙ)
|
||||
|
||||
**Входные параметры**
|
||||
|
||||
- `x` — широта точки.
|
||||
- `y` — долгота точки.
|
||||
- `x, y` — координаты точки на плоскости.
|
||||
- `xᵢ, yᵢ` — координаты центра `i`-го эллипса.
|
||||
- `aᵢ, bᵢ` — полуоси `i`-го эллипса в метрах.
|
||||
|
||||
|
||||
@ -95,9 +95,9 @@ CASE [x]
|
||||
END
|
||||
```
|
||||
|
||||
В случае указания x - функция transform(x, \[a, ...\], \[b, ...\], c). Иначе - multiIf(a, b, ..., c).
|
||||
При отсутствии секции `ELSE c`, значением по умолчанию будет NULL.
|
||||
P.S. Функция transform не умеет работать с NULL.
|
||||
В случае указания `x` - функция `transform(x, [a, ...], [b, ...], c)`. Иначе — `multiIf(a, b, ..., c)`.
|
||||
При отсутствии секции `ELSE c`, значением по умолчанию будет `NULL`.
|
||||
P.S. Функция `transform` не умеет работать с `NULL`.
|
||||
|
||||
## Оператор склеивания строк
|
||||
|
||||
|
||||
Loading…
Reference in New Issue
Block a user