thevar1able/ClickHouse
1
0
Fork 0
mirror of https://github.com/ClickHouse/ClickHouse.git synced 2024-11-06 15:42:39 +00:00
Code Issues Packages Projects Releases Wiki Activity
b2dc82128c
ClickHouse/docs/ru/sql-reference/functions/hash-functions.md
Alexey 0b39a64a6e hex() added to murmurHash3_128 example
2021-04-13 19:35:44 +00:00

75 KiB
Raw Blame History

toc_priority toc_title
50 Функции хэширования

Функции хэширования

Функции хэширования могут использоваться для детерминированного псевдослучайного разбрасывания элементов.

Simhash – это хеш-функция, которая для близких значений возвращает близкий хеш.

halfMD5

Интерпретирует все входные параметры как строки и вычисляет хэш MD5 для каждой из них. Затем объединяет хэши, берет первые 8 байт хэша результирующей строки и интерпретирует их как значение типа UInt64 с big-endian порядком байтов.

halfMD5(par1, ...)

Функция относительно медленная (5 миллионов коротких строк в секунду на ядро процессора). По возможности, используйте функцию sipHash64 вместо неё.

Аргументы

Функция принимает переменное число входных параметров. Аргументы могут быть любого поддерживаемого типа данных.

Возвращаемое значение

Значение хэша с типом данных UInt64.

Пример

SELECT halfMD5(array('e','x','a'), 'mple', 10, toDateTime('2019-06-15 23:00:00')) AS halfMD5hash, toTypeName(halfMD5hash) AS type;

┌────────halfMD5hash─┬─type───┐
│ 186182704141653334 │ UInt64 │
└────────────────────┴────────┘

MD5

Вычисляет MD5 от строки и возвращает полученный набор байт в виде FixedString(16). Если вам не нужен конкретно MD5, а нужен неплохой криптографический 128-битный хэш, то используйте вместо этого функцию sipHash128. Если вы хотите получить такой же результат, как выдаёт утилита md5sum, напишите lower(hex(MD5(s))).

sipHash64

Генерирует 64-х битное значение SipHash.

sipHash64(par1,...)

Это криптографическая хэш-функция. Она работает по крайней мере в три раза быстрее, чем функция MD5.

Функция интерпретирует все входные параметры как строки и вычисляет хэш MD5 для каждой из них. Затем комбинирует хэши по следующему алгоритму.

  1. После хэширования всех входных параметров функция получает массив хэшей.
  2. Функция принимает первый и второй элементы и вычисляет хэш для массива из них.
  3. Затем функция принимает хэш-значение, вычисленное на предыдущем шаге, и третий элемент исходного хэш-массива, и вычисляет хэш для массива из них.
  4. Предыдущий шаг повторяется для всех остальных элементов исходного хэш-массива.

Аргументы

Функция принимает переменное число входных параметров. Аргументы могут быть любого поддерживаемого типа данных.

Возвращаемое значение

Значение хэша с типом данных UInt64.

Пример

SELECT sipHash64(array('e','x','a'), 'mple', 10, toDateTime('2019-06-15 23:00:00')) AS SipHash, toTypeName(SipHash) AS type;

┌──────────────SipHash─┬─type───┐
│ 13726873534472839665 │ UInt64 │
└──────────────────────┴────────┘

sipHash128

Вычисляет SipHash от строки. Принимает аргумент типа String. Возвращает FixedString(16). Отличается от sipHash64 тем, что финальный xor-folding состояния делается только до 128 бит.

cityHash64

Генерирует 64-х битное значение CityHash.

cityHash64(par1,...)

Это не криптографическая хэш-функция. Она использует CityHash алгоритм для строковых параметров и зависящую от реализации быструю некриптографическую хэш-функцию для параметров с другими типами данных. Функция использует комбинатор CityHash для получения конечных результатов.

Аргументы

Функция принимает переменное число входных параметров. Аргументы могут быть любого поддерживаемого типа данных.

Возвращаемое значение

Значение хэша с типом данных UInt64.

Примеры

Пример вызова:

SELECT cityHash64(array('e','x','a'), 'mple', 10, toDateTime('2019-06-15 23:00:00')) AS CityHash, toTypeName(CityHash) AS type;

┌─────────────CityHash─┬─type───┐
│ 12072650598913549138 │ UInt64 │
└──────────────────────┴────────┘

А вот так вы можете вычислить чексумму всей таблицы с точностью до порядка строк:

SELECT groupBitXor(cityHash64(*)) FROM table

intHash32

Вычисляет 32-битный хэш-код от целого числа любого типа. Это сравнительно быстрая не криптографическая хэш-функция среднего качества для чисел.

intHash64

Вычисляет 64-битный хэш-код от целого числа любого типа. Работает быстрее, чем intHash32. Качество среднее.

SHA1

SHA224

SHA256

Вычисляет SHA-1, SHA-224, SHA-256 от строки и возвращает полученный набор байт в виде FixedString(20), FixedString(28), FixedString(32). Функция работает достаточно медленно (SHA-1 - примерно 5 миллионов коротких строк в секунду на одном процессорном ядре, SHA-224 и SHA-256 - примерно 2.2 миллионов). Рекомендуется использовать эти функции лишь в тех случаях, когда вам нужна конкретная хэш-функция и вы не можете её выбрать. Даже в этих случаях, рекомендуется применять функцию оффлайн - заранее вычисляя значения при вставке в таблицу, вместо того, чтобы применять её при SELECT-ах.

URLHash(url[, N])

Быстрая не криптографическая хэш-функция неплохого качества для строки, полученной из URL путём некоторой нормализации. URLHash(s) - вычислить хэш от строки без одного завершающего символа /, ? или # на конце, если там такой есть. URLHash(s, N) - вычислить хэш от строки до N-го уровня в иерархии URL, без одного завершающего символа /, ? или # на конце, если там такой есть. Уровни аналогичные URLHierarchy. Функция специфична для Яндекс.Метрики.

farmFingerprint64

farmHash64

Создает 64-битное значение FarmHash, независимое от платформы (архитектуры сервера), что важно, если значения сохраняются или используются для разбиения данных на группы.

farmFingerprint64(par1, ...)
farmHash64(par1, ...)

Эти функции используют методы Fingerprint64 и Hash64 из всех доступных методов.

Аргументы

Функция принимает переменное число входных параметров. Аргументы могут быть любого поддерживаемого типа данных.

Возвращаемое значение

Значение хэша с типом данных UInt64.

Пример

SELECT farmHash64(array('e','x','a'), 'mple', 10, toDateTime('2019-06-15 23:00:00')) AS FarmHash, toTypeName(FarmHash) AS type;

┌─────────────FarmHash─┬─type───┐
│ 17790458267262532859 │ UInt64 │
└──────────────────────┴────────┘

javaHash

Вычисляет JavaHash от строки. JavaHash не отличается ни скоростью, ни качеством, поэтому эту функцию следует считать устаревшей. Используйте эту функцию, если вам необходимо получить значение хэша по такому же алгоритму.

SELECT javaHash('')

Возвращаемое значение

Хэш-значение типа Int32.

Тип: javaHash.

Пример

Запрос:

SELECT javaHash('Hello, world!');

Результат:

┌─javaHash('Hello, world!')─┐
│               -1880044555 │
└───────────────────────────┘

javaHashUTF16LE

Вычисляет JavaHash от строки, при допущении, что строка представлена в кодировке UTF-16LE.

Синтаксис

javaHashUTF16LE(stringUtf16le)

Аргументы

  • stringUtf16le — строка в UTF-16LE.

Возвращаемое значение

Хэш-значение типа Int32.

Тип: javaHash.

Пример

Верный запрос для строки кодированной в UTF-16LE.

Запрос:

SELECT javaHashUTF16LE(convertCharset('test', 'utf-8', 'utf-16le'));

Результат:

┌─javaHashUTF16LE(convertCharset('test', 'utf-8', 'utf-16le'))─┐
│                                                      3556498 │
└──────────────────────────────────────────────────────────────┘

hiveHash

Вычисляет HiveHash от строки.

SELECT hiveHash('')

HiveHash — это результат JavaHash с обнулённым битом знака числа. Функция используется в Apache Hive вплоть до версии 3.0.

Возвращаемое значение

Хэш-значение типа Int32.

Тип: hiveHash.

Пример

Запрос:

SELECT hiveHash('Hello, world!');

Результат:

┌─hiveHash('Hello, world!')─┐
│                 267439093 │
└───────────────────────────┘

metroHash64

Генерирует 64-х битное значение MetroHash.

metroHash64(par1, ...)

Аргументы

Функция принимает переменное число входных параметров. Аргументы могут быть любого поддерживаемого типа данных.

Возвращаемое значение

Значение хэша с типом данных UInt64.

Пример

SELECT metroHash64(array('e','x','a'), 'mple', 10, toDateTime('2019-06-15 23:00:00')) AS MetroHash, toTypeName(MetroHash) AS type;

┌────────────MetroHash─┬─type───┐
│ 14235658766382344533 │ UInt64 │
└──────────────────────┴────────┘

jumpConsistentHash

Вычисляет JumpConsistentHash от значения типа UInt64. Имеет два параметра: ключ типа UInt64 и количество бакетов. Возвращает значение типа Int32. Дополнительные сведения смотрите по ссылке: JumpConsistentHash

murmurHash2_32, murmurHash2_64

Генерирует значение MurmurHash2.

murmurHash2_32(par1, ...)
murmurHash2_64(par1, ...)

Аргументы

Обе функции принимают переменное число входных параметров. Аргументы могут быть любого поддерживаемого типа данных.

Возвращаемое значение

  • Функция murmurHash2_32 возвращает значение типа UInt32.
  • Функция murmurHash2_64 возвращает значение типа UInt64.

Пример

SELECT murmurHash2_64(array('e','x','a'), 'mple', 10, toDateTime('2019-06-15 23:00:00')) AS MurmurHash2, toTypeName(MurmurHash2) AS type;

┌──────────MurmurHash2─┬─type───┐
│ 11832096901709403633 │ UInt64 │
└──────────────────────┴────────┘

gccMurmurHash

Вычисляет 64-битное значение MurmurHash2, используя те же hash seed, что и gcc.

Синтаксис

gccMurmurHash(par1, ...);

Аргументы

Возвращаемое значение

  • Вычисленный хэш-код.

Тип: UInt64.

Примеры

Запрос:

SELECT
    gccMurmurHash(1, 2, 3) AS res1,
    gccMurmurHash(('a', [1, 2, 3], 4, (4, ['foo', 'bar'], 1, (1, 2)))) AS res2

Результат:

┌─────────────────res1─┬────────────────res2─┐
│ 12384823029245979431 │ 1188926775431157506 │
└──────────────────────┴─────────────────────┘

murmurHash3_32, murmurHash3_64

Генерирует значение MurmurHash3.

murmurHash3_32(par1, ...)
murmurHash3_64(par1, ...)

Аргументы

Обе функции принимают переменное число входных параметров. Аргументы могут быть любого поддерживаемого типа данных.

Возвращаемое значение

  • Функция murmurHash3_32 возвращает значение типа UInt32.
  • Функция murmurHash3_64 возвращает значение типа UInt64.

Пример

SELECT murmurHash3_32(array('e','x','a'), 'mple', 10, toDateTime('2019-06-15 23:00:00')) AS MurmurHash3, toTypeName(MurmurHash3) AS type;

┌─MurmurHash3─┬─type───┐
│     2152717 │ UInt32 │
└─────────────┴────────┘

murmurHash3_128

Генерирует значение MurmurHash3.

murmurHash3_128( expr )

Аргументы

Возвращаемое значение

Хэш-значение типа FixedString(16).

Пример

SELECT hex(murmurHash3_128('example_string')) AS MurmurHash3, toTypeName(MurmurHash3) AS type;

┌─MurmurHash3──────────────────────┬─type───┐
│ 368A1A311CB7342253354B548E7E7E71 │ String │
└──────────────────────────────────┴────────┘

xxHash32, xxHash64

Вычисляет xxHash от строки. Предлагается в двух вариантах: 32 и 64 бита.

SELECT xxHash32('')

OR

SELECT xxHash64('')

Возвращаемое значение

Хэш-значение типа Uint32 или Uint64.

Тип: xxHash.

Пример

Запрос:

SELECT xxHash32('Hello, world!');

Результат:

┌─xxHash32('Hello, world!')─┐
│                 834093149 │
└───────────────────────────┘

Смотрите также

ngramSimHash

Выделяет из ASCII строки отрезки (n-граммы) размером ngramsize символов и возвращает n-граммовый simhash. Функция регистрозависимая.

Может быть использована для проверки двух строк на схожесть вместе с функцией bitHammingDistance. Чем меньше расстояние Хэмминга между результатом вычисления simhash двух строк, тем больше вероятность, что строки совпадают.

Синтаксис

ngramSimHash(string[, ngramsize])

Аргументы

  • string — строка. String.
  • ngramsize — размер n-грамм. Необязательный. Возможные значения: любое число от 1 до 25. Значение по умолчанию: 3. UInt8.

Возвращаемое значение

  • Значение хеш-функции от строки.

Тип: UInt64.

Пример

Запрос:

SELECT ngramSimHash('ClickHouse') AS Hash;

Результат:

┌───────Hash─┐
│ 1627567969 │
└────────────┘

ngramSimHashCaseInsensitive

Выделяет из ASCII строки отрезки (n-граммы) размером ngramsize символов и возвращает n-граммовый simhash. Функция регистронезависимая.

Может быть использована для проверки двух строк на схожесть вместе с функцией bitHammingDistance. Чем меньше расстояние Хэмминга между результатом вычисления simhash двух строк, тем больше вероятность, что строки совпадают.

Синтаксис

ngramSimHashCaseInsensitive(string[, ngramsize])

Аргументы

  • string — строка. String.
  • ngramsize — размер n-грамм. Необязательный. Возможные значения: любое число от 1 до 25. Значение по умолчанию: 3. UInt8.

Возвращаемое значение

  • Значение хеш-функции от строки.

Тип: UInt64.

Пример

Запрос:

SELECT ngramSimHashCaseInsensitive('ClickHouse') AS Hash;

Результат:

┌──────Hash─┐
│ 562180645 │
└───────────┘

ngramSimHashUTF8

Выделяет из UTF-8 строки отрезки (n-граммы) размером ngramsize символов и возвращает n-граммовый simhash. Функция регистрозависимая.

Может быть использована для проверки двух строк на схожесть вместе с функцией bitHammingDistance. Чем меньше расстояние Хэмминга между результатом вычисления simhash двух строк, тем больше вероятность, что строки совпадают.

Синтаксис

ngramSimHashUTF8(string[, ngramsize])

Аргументы

  • string — строка. String.
  • ngramsize — размер n-грамм. Необязательный. Возможные значения: любое число от 1 до 25. Значение по умолчанию: 3. UInt8.

Возвращаемое значение

  • Значение хеш-функции от строки.

Тип: UInt64.

Пример

Запрос:

SELECT ngramSimHashUTF8('ClickHouse') AS Hash;

Результат:

┌───────Hash─┐
│ 1628157797 │
└────────────┘

ngramSimHashCaseInsensitiveUTF8

Выделяет из UTF-8 строки отрезки (n-граммы) размером ngramsize символов и возвращает n-граммовый simhash. Функция регистронезависимая.

Может быть использована для проверки двух строк на схожесть вместе с функцией bitHammingDistance. Чем меньше расстояние Хэмминга между результатом вычисления simhash двух строк, тем больше вероятность, что строки совпадают.

Синтаксис

ngramSimHashCaseInsensitiveUTF8(string[, ngramsize])

Аргументы

  • string — строка. String.
  • ngramsize — размер n-грамм. Необязательный. Возможные значения: любое число от 1 до 25. Значение по умолчанию: 3. UInt8.

Возвращаемое значение

  • Значение хеш-функции от строки.

Тип: UInt64.

Пример

Запрос:

SELECT ngramSimHashCaseInsensitiveUTF8('ClickHouse') AS Hash;

Результат:

┌───────Hash─┐
│ 1636742693 │
└────────────┘

wordShingleSimHash

Выделяет из ASCII строки отрезки (шинглы) из shinglesize слов и возвращает шингловый simhash. Функция регистрозависимая.

Может быть использована для проверки двух строк на схожесть вместе с функцией bitHammingDistance. Чем меньше расстояние Хэмминга между результатом вычисления simhash двух строк, тем больше вероятность, что строки совпадают.

Синтаксис

wordShingleSimHash(string[, shinglesize])

Аргументы

  • string — строка. String.
  • shinglesize — размер словесных шинглов. Необязательный. Возможные значения: любое число от 1 до 25. Значение по умолчанию: 3. UInt8.

Возвращаемое значение

  • Значение хеш-функции от строки.

Тип: UInt64.

Пример

Запрос:

SELECT wordShingleSimHash('ClickHouse® is a column-oriented database management system (DBMS) for online analytical processing of queries (OLAP).') AS Hash;

Результат:

┌───────Hash─┐
│ 2328277067 │
└────────────┘

wordShingleSimHashCaseInsensitive

Выделяет из ASCII строки отрезки (шинглы) из shinglesize слов и возвращает шингловый simhash. Функция регистронезависимая.

Может быть использована для проверки двух строк на схожесть вместе с функцией bitHammingDistance. Чем меньше расстояние Хэмминга между результатом вычисления simhash двух строк, тем больше вероятность, что строки совпадают.

Синтаксис

wordShingleSimHashCaseInsensitive(string[, shinglesize])

Аргументы

  • string — строка. String.
  • shinglesize — размер словесных шинглов. Необязательный. Возможные значения: любое число от 1 до 25. Значение по умолчанию: 3. UInt8.

Возвращаемое значение

  • Значение хеш-функции от строки.

Тип: UInt64.

Пример

Запрос:

SELECT wordShingleSimHashCaseInsensitive('ClickHouse® is a column-oriented database management system (DBMS) for online analytical processing of queries (OLAP).') AS Hash;

Результат:

┌───────Hash─┐
│ 2194812424 │
└────────────┘

wordShingleSimHashUTF8

Выделяет из UTF-8 строки отрезки (шинглы) из shinglesize слов и возвращает шингловый simhash. Функция регистрозависимая.

Может быть использована для проверки двух строк на схожесть вместе с функцией bitHammingDistance. Чем меньше расстояние Хэмминга между результатом вычисления simhash двух строк, тем больше вероятность, что строки совпадают.

Синтаксис

wordShingleSimHashUTF8(string[, shinglesize])

Аргументы

  • string — строка. String.
  • shinglesize — размер словесных шинглов. Необязательный. Возможные значения: любое число от 1 до 25. Значение по умолчанию: 3. UInt8.

Возвращаемое значение

  • Значение хеш-функции от строки.

Тип: UInt64.

Пример

Запрос:

SELECT wordShingleSimHashUTF8('ClickHouse® is a column-oriented database management system (DBMS) for online analytical processing of queries (OLAP).') AS Hash;

Результат:

┌───────Hash─┐
│ 2328277067 │
└────────────┘

wordShingleSimHashCaseInsensitiveUTF8

Выделяет из UTF-8 строки отрезки (шинглы) из shinglesize слов и возвращает шингловый simhash. Функция регистронезависимая.

Может быть использована для проверки двух строк на схожесть вместе с функцией bitHammingDistance. Чем меньше расстояние Хэмминга между результатом вычисления simhash двух строк, тем больше вероятность, что строки совпадают.

Синтаксис

wordShingleSimHashCaseInsensitiveUTF8(string[, shinglesize])

Аргументы

  • string — строка. String.
  • shinglesize — размер словесных шинглов. Необязательный. Возможные значения: любое число от 1 до 25. Значение по умолчанию: 3. UInt8.

Возвращаемое значение

  • Значение хеш-функции от строки.

Тип: UInt64.

Пример

Запрос:

SELECT wordShingleSimHashCaseInsensitiveUTF8('ClickHouse® is a column-oriented database management system (DBMS) for online analytical processing of queries (OLAP).') AS Hash;

Результат:

┌───────Hash─┐
│ 2194812424 │
└────────────┘

ngramMinHash

Выделяет из ASCII строки отрезки (n-граммы) размером ngramsize символов и вычисляет хеш для каждой n-граммы. Использует hashnum минимальных хешей, чтобы вычислить минимальный хеш, и hashnum максимальных хешей, чтобы вычислить максимальный хеш. Возвращает кортеж из этих хешей. Функция регистрозависимая.

Может быть использована для проверки двух строк на схожесть вместе с функцией tupleHammingDistance. Если для двух строк минимальные или максимальные хеши одинаковы, мы считаем, что эти строки совпадают.

Синтаксис

ngramMinHash(string[, ngramsize, hashnum])

Аргументы

  • string — строка. String.
  • ngramsize — размер n-грамм. Необязательный. Возможные значения: любое число от 1 до 25. Значение по умолчанию: 3. UInt8.
  • hashnum — количество минимальных и максимальных хешей, которое используется при вычислении результата. Необязательный. Возможные значения: любое число от 1 до 25. Значение по умолчанию: 6. UInt8.

Возвращаемое значение

  • Кортеж с двумя хешами — минимальным и максимальным.

Тип: Tuple(UInt64, UInt64).

Пример

Запрос:

SELECT ngramMinHash('ClickHouse') AS Tuple;

Результат:

┌─Tuple──────────────────────────────────────┐
│ (18333312859352735453,9054248444481805918) │
└────────────────────────────────────────────┘

ngramMinHashCaseInsensitive

Выделяет из ASCII строки отрезки (n-граммы) размером ngramsize символов и вычисляет хеш для каждой n-граммы. Использует hashnum минимальных хешей, чтобы вычислить минимальный хеш, и hashnum максимальных хешей, чтобы вычислить максимальный хеш. Возвращает кортеж из этих хешей. Функция регистронезависимая.

Может быть использована для проверки двух строк на схожесть вместе с функцией tupleHammingDistance. Если для двух строк минимальные или максимальные хеши одинаковы, мы считаем, что эти строки совпадают.

Синтаксис

ngramMinHashCaseInsensitive(string[, ngramsize, hashnum])

Аргументы

  • string — строка. String.
  • ngramsize — размер n-грамм. Необязательный. Возможные значения: любое число от 1 до 25. Значение по умолчанию: 3. UInt8.
  • hashnum — количество минимальных и максимальных хешей, которое используется при вычислении результата. Необязательный. Возможные значения: любое число от 1 до 25. Значение по умолчанию: 6. UInt8.

Возвращаемое значение

  • Кортеж с двумя хешами — минимальным и максимальным.

Тип: Tuple(UInt64, UInt64).

Пример

Запрос:

SELECT ngramMinHashCaseInsensitive('ClickHouse') AS Tuple;

Результат:

┌─Tuple──────────────────────────────────────┐
│ (2106263556442004574,13203602793651726206) │
└────────────────────────────────────────────┘

ngramMinHashUTF8

Выделяет из UTF-8 строки отрезки (n-граммы) размером ngramsize символов и вычисляет хеш для каждой n-граммы. Использует hashnum минимальных хешей, чтобы вычислить минимальный хеш, и hashnum максимальных хешей, чтобы вычислить максимальный хеш. Возвращает кортеж из этих хешей. Функция регистрозависимая.

Может быть использована для проверки двух строк на схожесть вместе с функцией tupleHammingDistance. Если для двух строк минимальные или максимальные хеши одинаковы, мы считаем, что эти строки совпадают.

Синтаксис

ngramMinHashUTF8(string[, ngramsize, hashnum])

Аргументы

  • string — строка. String.
  • ngramsize — размер n-грамм. Необязательный. Возможные значения: любое число от 1 до 25. Значение по умолчанию: 3. UInt8.
  • hashnum — количество минимальных и максимальных хешей, которое используется при вычислении результата. Необязательный. Возможные значения: любое число от 1 до 25. Значение по умолчанию: 6. UInt8.

Возвращаемое значение

  • Кортеж с двумя хешами — минимальным и максимальным.

Тип: Tuple(UInt64, UInt64).

Пример

Запрос:

SELECT ngramMinHashUTF8('ClickHouse') AS Tuple;

Результат:

┌─Tuple──────────────────────────────────────┐
│ (18333312859352735453,6742163577938632877) │
└────────────────────────────────────────────┘

ngramMinHashCaseInsensitiveUTF8

Выделяет из UTF-8 строки отрезки (n-граммы) размером ngramsize символов и вычисляет хеш для каждой n-граммы. Использует hashnum минимальных хешей, чтобы вычислить минимальный хеш, и hashnum максимальных хешей, чтобы вычислить максимальный хеш. Возвращает кортеж из этих хешей. Функция регистронезависимая.

Может быть использована для проверки двух строк на схожесть вместе с функцией tupleHammingDistance. Если для двух строк минимальные или максимальные хеши одинаковы, мы считаем, что эти строки совпадают.

Синтаксис

ngramMinHashCaseInsensitiveUTF8(string [, ngramsize, hashnum])

Аргументы

  • string — строка. String.
  • ngramsize — размер n-грамм. Необязательный. Возможные значения: любое число от 1 до 25. Значение по умолчанию: 3. UInt8.
  • hashnum — количество минимальных и максимальных хешей, которое используется при вычислении результата. Необязательный. Возможные значения: любое число от 1 до 25. Значение по умолчанию: 6. UInt8.

Возвращаемое значение

  • Кортеж с двумя хешами — минимальным и максимальным.

Тип: Tuple(UInt64, UInt64).

Пример

Запрос:

SELECT ngramMinHashCaseInsensitiveUTF8('ClickHouse') AS Tuple;

Результат:

┌─Tuple───────────────────────────────────────┐
│ (12493625717655877135,13203602793651726206) │
└─────────────────────────────────────────────┘

ngramMinHashArg

Выделяет из ASCII строки отрезки (n-граммы) размером ngramsize символов и возвращает n-граммы с минимальным и максимальным хешами, вычисленными функцией ngramMinHash с теми же входными данными. Функция регистрозависимая.

Синтаксис

ngramMinHashArg(string[, ngramsize, hashnum])

Аргументы

  • string — строка. String.
  • ngramsize — размер n-грамм. Необязательный. Возможные значения: любое число от 1 до 25. Значение по умолчанию: 3. UInt8.
  • hashnum — количество минимальных и максимальных хешей, которое используется при вычислении результата. Необязательный. Возможные значения: любое число от 1 до 25. Значение по умолчанию: 6. UInt8.

Возвращаемое значение

  • Кортеж из двух кортежей, каждый из которых состоит из hashnum n-грамм.

Тип: Tuple(Tuple(String), Tuple(String)).

Пример

Запрос:

SELECT ngramMinHashArg('ClickHouse') AS Tuple;

Результат:

┌─Tuple─────────────────────────────────────────────────────────────────────────┐
│ (('ous','ick','lic','Hou','kHo','use'),('Hou','lic','ick','ous','ckH','Cli')) │
└───────────────────────────────────────────────────────────────────────────────┘

ngramMinHashArgCaseInsensitive

Выделяет из ASCII строки отрезки (n-граммы) размером ngramsize символов и возвращает n-граммы с минимальным и максимальным хешами, вычисленными функцией ngramMinHashCaseInsensitive с теми же входными данными. Функция регистронезависимая.

Синтаксис

ngramMinHashArgCaseInsensitive(string[, ngramsize, hashnum])

Аргументы

  • string — строка. String.
  • ngramsize — размер n-грамм. Необязательный. Возможные значения: любое число от 1 до 25. Значение по умолчанию: 3. UInt8.
  • hashnum — количество минимальных и максимальных хешей, которое используется при вычислении результата. Необязательный. Возможные значения: любое число от 1 до 25. Значение по умолчанию: 6. UInt8.

Возвращаемое значение

  • Кортеж из двух кортежей, каждый из которых состоит из hashnum n-грамм.

Тип: Tuple(Tuple(String), Tuple(String)).

Пример

Запрос:

SELECT ngramMinHashArgCaseInsensitive('ClickHouse') AS Tuple;

Результат:

┌─Tuple─────────────────────────────────────────────────────────────────────────┐
│ (('ous','ick','lic','kHo','use','Cli'),('kHo','lic','ick','ous','ckH','Hou')) │
└───────────────────────────────────────────────────────────────────────────────┘

ngramMinHashArgUTF8

Выделяет из UTF-8 строки отрезки (n-граммы) размером ngramsize символов и возвращает n-граммы с минимальным и максимальным хешами, вычисленными функцией ngramMinHashUTF8 с теми же входными данными. Функция регистрозависимая.

Синтаксис

ngramMinHashArgUTF8(string[, ngramsize, hashnum])

Аргументы

  • string — строка. String.
  • ngramsize — размер n-грамм. Необязательный. Возможные значения: любое число от 1 до 25. Значение по умолчанию: 3. UInt8.
  • hashnum — количество минимальных и максимальных хешей, которое используется при вычислении результата. Необязательный. Возможные значения: любое число от 1 до 25. Значение по умолчанию: 6. UInt8.

Возвращаемое значение

  • Кортеж из двух кортежей, каждый из которых состоит из hashnum n-грамм.

Тип: Tuple(Tuple(String), Tuple(String)).

Пример

Запрос:

SELECT ngramMinHashArgUTF8('ClickHouse') AS Tuple;

Результат:

┌─Tuple─────────────────────────────────────────────────────────────────────────┐
│ (('ous','ick','lic','Hou','kHo','use'),('kHo','Hou','lic','ick','ous','ckH')) │
└───────────────────────────────────────────────────────────────────────────────┘

ngramMinHashArgCaseInsensitiveUTF8

Выделяет из UTF-8 строки отрезки (n-граммы) размером ngramsize символов и возвращает n-граммы с минимальным и максимальным хешами, вычисленными функцией ngramMinHashCaseInsensitiveUTF8 с теми же входными данными. Функция регистронезависимая.

Синтаксис

ngramMinHashArgCaseInsensitiveUTF8(string[, ngramsize, hashnum])

Аргументы

  • string — строка. String.
  • ngramsize — размер n-грамм. Необязательный. Возможные значения: любое число от 1 до 25. Значение по умолчанию: 3. UInt8.
  • hashnum — количество минимальных и максимальных хешей, которое используется при вычислении результата. Необязательный. Возможные значения: любое число от 1 до 25. Значение по умолчанию: 6. UInt8.

Возвращаемое значение

  • Кортеж из двух кортежей, каждый из которых состоит из hashnum n-грамм.

Тип: Tuple(Tuple(String), Tuple(String)).

Пример

Запрос:

SELECT ngramMinHashArgCaseInsensitiveUTF8('ClickHouse') AS Tuple;

Результат:

┌─Tuple─────────────────────────────────────────────────────────────────────────┐
│ (('ckH','ous','ick','lic','kHo','use'),('kHo','lic','ick','ous','ckH','Hou')) │
└───────────────────────────────────────────────────────────────────────────────┘

wordShingleMinHash

Выделяет из ASCII строки отрезки (шинглы) из shinglesize слов и вычисляет хеш для каждого шингла. Использует hashnum минимальных хешей, чтобы вычислить минимальный хеш, и hashnum максимальных хешей, чтобы вычислить максимальный хеш. Возвращает кортеж из этих хешей. Функция регистрозависимая.

Может быть использована для проверки двух строк на схожесть вместе с функцией tupleHammingDistance. Если для двух строк минимальные или максимальные хеши одинаковы, мы считаем, что эти строки совпадают.

Синтаксис

wordShingleMinHash(string[, shinglesize, hashnum])

Аргументы

  • string — строка. String.
  • shinglesize — размер словесных шинглов. Необязательный. Возможные значения: любое число от 1 до 25. Значение по умолчанию: 3. UInt8.
  • hashnum — количество минимальных и максимальных хешей, которое используется при вычислении результата. Необязательный. Возможные значения: любое число от 1 до 25. Значение по умолчанию: 6. UInt8.

Возвращаемое значение

  • Кортеж с двумя хешами — минимальным и максимальным.

Тип: Tuple(UInt64, UInt64).

Пример

Запрос:

SELECT wordShingleMinHash('ClickHouse® is a column-oriented database management system (DBMS) for online analytical processing of queries (OLAP).') AS Tuple;

Результат:

┌─Tuple──────────────────────────────────────┐
│ (16452112859864147620,5844417301642981317) │
└────────────────────────────────────────────┘

wordShingleMinHashCaseInsensitive

Выделяет из ASCII строки отрезки (шинглы) из shinglesize слов и вычисляет хеш для каждого шингла. Использует hashnum минимальных хешей, чтобы вычислить минимальный хеш, и hashnum максимальных хешей, чтобы вычислить максимальный хеш. Возвращает кортеж из этих хешей. Функция регистронезависимая.

Может быть использована для проверки двух строк на схожесть вместе с функцией tupleHammingDistance. Если для двух строк минимальные или максимальные хеши одинаковы, мы считаем, что эти строки совпадают.

Синтаксис

wordShingleMinHashCaseInsensitive(string[, shinglesize, hashnum])

Аргументы

  • string — строка. String.
  • shinglesize — размер словесных шинглов. Необязательный. Возможные значения: любое число от 1 до 25. Значение по умолчанию: 3. UInt8.
  • hashnum — количество минимальных и максимальных хешей, которое используется при вычислении результата. Необязательный. Возможные значения: любое число от 1 до 25. Значение по умолчанию: 6. UInt8.

Возвращаемое значение

  • Кортеж с двумя хешами — минимальным и максимальным.

Тип: Tuple(UInt64, UInt64).

Пример

Запрос:

SELECT wordShingleMinHashCaseInsensitive('ClickHouse® is a column-oriented database management system (DBMS) for online analytical processing of queries (OLAP).') AS Tuple;

Результат:

┌─Tuple─────────────────────────────────────┐
│ (3065874883688416519,1634050779997673240) │
└───────────────────────────────────────────┘

wordShingleMinHashUTF8

Выделяет из UTF-8 строки отрезки (шинглы) из shinglesize слов и вычисляет хеш для каждого шингла. Использует hashnum минимальных хешей, чтобы вычислить минимальный хеш, и hashnum максимальных хешей, чтобы вычислить максимальный хеш. Возвращает кортеж из этих хешей. Функция регистрозависимая.

Может быть использована для проверки двух строк на схожесть вместе с функцией tupleHammingDistance. Если для двух строк минимальные или максимальные хеши одинаковы, мы считаем, что эти строки совпадают.

Синтаксис

wordShingleMinHashUTF8(string[, shinglesize, hashnum])

Аргументы

  • string — строка. String.
  • shinglesize — размер словесных шинглов. Необязательный. Возможные значения: любое число от 1 до 25. Значение по умолчанию: 3. UInt8.
  • hashnum — количество минимальных и максимальных хешей, которое используется при вычислении результата. Необязательный. Возможные значения: любое число от 1 до 25. Значение по умолчанию: 6. UInt8.

Возвращаемое значение

  • Кортеж с двумя хешами — минимальным и максимальным.

Тип: Tuple(UInt64, UInt64).

Пример

Запрос:

SELECT wordShingleMinHashUTF8('ClickHouse® is a column-oriented database management system (DBMS) for online analytical processing of queries (OLAP).') AS Tuple;

Результат:

┌─Tuple──────────────────────────────────────┐
│ (16452112859864147620,5844417301642981317) │
└────────────────────────────────────────────┘

wordShingleMinHashCaseInsensitiveUTF8

Выделяет из UTF-8 строки отрезки (шинглы) из shinglesize слов и вычисляет хеш для каждого шингла. Использует hashnum минимальных хешей, чтобы вычислить минимальный хеш, и hashnum максимальных хешей, чтобы вычислить максимальный хеш. Возвращает кортеж из этих хешей. Функция регистронезависимая.

Может быть использована для проверки двух строк на схожесть вместе с функцией tupleHammingDistance. Если для двух строк минимальные или максимальные хеши одинаковы, мы считаем, что эти строки совпадают.

Синтаксис

wordShingleMinHashCaseInsensitiveUTF8(string[, shinglesize, hashnum])

Аргументы

  • string — строка. String.
  • shinglesize — размер словесных шинглов. Необязательный. Возможные значения: любое число от 1 до 25. Значение по умолчанию: 3. UInt8.
  • hashnum — количество минимальных и максимальных хешей, которое используется при вычислении результата. Необязательный. Возможные значения: любое число от 1 до 25. Значение по умолчанию: 6. UInt8.

Возвращаемое значение

  • Кортеж с двумя хешами — минимальным и максимальным.

Тип: Tuple(UInt64, UInt64).

Пример

Запрос:

SELECT wordShingleMinHashCaseInsensitiveUTF8('ClickHouse® is a column-oriented database management system (DBMS) for online analytical processing of queries (OLAP).') AS Tuple;

Результат:

┌─Tuple─────────────────────────────────────┐
│ (3065874883688416519,1634050779997673240) │
└───────────────────────────────────────────┘

wordShingleMinHashArg

Выделяет из ASCII строки отрезки (шинглы) из shinglesize слов и возвращает шинглы с минимальным и максимальным хешами, вычисленными функцией wordshingleMinHash с теми же входными данными. Функция регистрозависимая.

Синтаксис

wordShingleMinHashArg(string[, shinglesize, hashnum])

Аргументы

  • string — строка. String.
  • shinglesize — размер словесных шинглов. Необязательный. Возможные значения: любое число от 1 до 25. Значение по умолчанию: 3. UInt8.
  • hashnum — количество минимальных и максимальных хешей, которое используется при вычислении результата. Необязательный. Возможные значения: любое число от 1 до 25. Значение по умолчанию: 6. UInt8.

Возвращаемое значение

  • Кортеж из двух кортежей, каждый из которых состоит из hashnum шинглов.

Тип: Tuple(Tuple(String), Tuple(String)).

Пример

Запрос:

SELECT wordShingleMinHashArg('ClickHouse® is a column-oriented database management system (DBMS) for online analytical processing of queries (OLAP).', 1, 3) AS Tuple;

Результат:

┌─Tuple─────────────────────────────────────────────────────────────────┐
│ (('OLAP','database','analytical'),('online','oriented','processing')) │
└───────────────────────────────────────────────────────────────────────┘

wordShingleMinHashArgCaseInsensitive

Выделяет из ASCII строки отрезки (шинглы) из shinglesize слов и возвращает шинглы с минимальным и максимальным хешами, вычисленными функцией wordShingleMinHashCaseInsensitive с теми же входными данными. Функция регистронезависимая.

Синтаксис

wordShingleMinHashArgCaseInsensitive(string[, shinglesize, hashnum])

Аргументы

  • string — строка. String.
  • shinglesize — размер словесных шинглов. Необязательный. Возможные значения: любое число от 1 до 25. Значение по умолчанию: 3. UInt8.
  • hashnum — количество минимальных и максимальных хешей, которое используется при вычислении результата. Необязательный. Возможные значения: любое число от 1 до 25. Значение по умолчанию: 6. UInt8.

Возвращаемое значение

  • Кортеж из двух кортежей, каждый из которых состоит из hashnum шинглов.

Тип: Tuple(Tuple(String), Tuple(String)).

Пример

Запрос:

SELECT wordShingleMinHashArgCaseInsensitive('ClickHouse® is a column-oriented database management system (DBMS) for online analytical processing of queries (OLAP).', 1, 3) AS Tuple;

Результат:

┌─Tuple──────────────────────────────────────────────────────────────────┐
│ (('queries','database','analytical'),('oriented','processing','DBMS')) │
└────────────────────────────────────────────────────────────────────────┘

wordShingleMinHashArgUTF8

Выделяет из UTF-8 строки отрезки (шинглы) из shinglesize слов и возвращает шинглы с минимальным и максимальным хешами, вычисленными функцией wordShingleMinHashUTF8 с теми же входными данными. Функция регистрозависимая.

Синтаксис

wordShingleMinHashArgUTF8(string[, shinglesize, hashnum])

Аргументы

  • string — строка. String.
  • shinglesize — размер словесных шинглов. Необязательный. Возможные значения: любое число от 1 до 25. Значение по умолчанию: 3. UInt8.
  • hashnum — количество минимальных и максимальных хешей, которое используется при вычислении результата. Необязательный. Возможные значения: любое число от 1 до 25. Значение по умолчанию: 6. UInt8.

Возвращаемое значение

  • Кортеж из двух кортежей, каждый из которых состоит из hashnum шинглов.

Тип: Tuple(Tuple(String), Tuple(String)).

Пример

Запрос:

SELECT wordShingleMinHashArgUTF8('ClickHouse® is a column-oriented database management system (DBMS) for online analytical processing of queries (OLAP).', 1, 3) AS Tuple;

Результат:

┌─Tuple─────────────────────────────────────────────────────────────────┐
│ (('OLAP','database','analytical'),('online','oriented','processing')) │
└───────────────────────────────────────────────────────────────────────┘

wordShingleMinHashArgCaseInsensitiveUTF8

Выделяет из UTF-8 строки отрезки (шинглы) из shinglesize слов и возвращает шинглы с минимальным и максимальным хешами, вычисленными функцией wordShingleMinHashCaseInsensitiveUTF8 с теми же входными данными. Функция регистронезависимая.

Синтаксис

wordShingleMinHashArgCaseInsensitiveUTF8(string[, shinglesize, hashnum])

Аргументы

  • string — строка. String.
  • shinglesize — размер словесных шинглов. Необязательный. Возможные значения: любое число от 1 до 25. Значение по умолчанию: 3. UInt8.
  • hashnum — количество минимальных и максимальных хешей, которое используется при вычислении результата. Необязательный. Возможные значения: любое число от 1 до 25. Значение по умолчанию: 6. UInt8.

Возвращаемое значение

  • Кортеж из двух кортежей, каждый из которых состоит из hashnum шинглов.

Тип: Tuple(Tuple(String), Tuple(String)).

Пример

Запрос:

SELECT wordShingleMinHashArgCaseInsensitiveUTF8('ClickHouse® is a column-oriented database management system (DBMS) for online analytical processing of queries (OLAP).', 1, 3) AS Tuple;

Результат:

┌─Tuple──────────────────────────────────────────────────────────────────┐
│ (('queries','database','analytical'),('oriented','processing','DBMS')) │
└────────────────────────────────────────────────────────────────────────┘