mirror of
https://github.com/ClickHouse/ClickHouse.git
synced 2024-11-10 09:32:06 +00:00
Fix machine translation #10191
This commit is contained in:
Alexey Milovidov
parent
18fbd968ba
commit
1484ab1f1a
@ -1,201 +0,0 @@
|
||||
---
|
||||
machine_translated: true
|
||||
machine_translated_rev: 1cd5f0028d917696daf71ac1c9ee849c99c1d5c8
|
||||
---
|
||||
|
||||
# Обзор архитектуры ClickHouse {#overview-of-clickhouse-architecture}
|
||||
|
||||
ClickHouse-это настоящая СУБД, ориентированная на столбцы. Данные хранятся столбцами и во время выполнения массивов (векторов или кусков столбцов). Когда это возможно, операции отправляются на массивы, а не на отдельные значения. Это называется «vectorized query execution,» и это помогает снизить стоимость фактической обработки данных.
|
||||
|
||||
> В этой идее нет ничего нового. Она восходит к тому времени, когда `APL` язык программирования и его потомки: `A +`, `J`, `K`, и `Q`. Массивное программирование используется в научной обработке данных. Эта идея также не является чем-то новым в реляционных базах данных: например, она используется в `Vectorwise` система.
|
||||
|
||||
Существует два различных подхода для ускорения обработки запросов: векторизованное выполнение запросов и генерация кода во время выполнения. Последнее устраняет все косвенные действия и динамическую диспетчеризацию. Ни один из этих подходов не является строго лучшим, чем другой. Генерация кода во время выполнения может быть лучше, когда он объединяет множество операций, таким образом полностью используя исполнительные блоки процессора и конвейер. Векторизованное выполнение запроса может быть менее практичным, поскольку оно включает временные векторы, которые должны быть записаны в кэш и считаны обратно. Если временные данные не помещаются в кэш L2, это становится проблемой. Но векторизованное выполнение запросов более легко использует возможности SIMD центрального процессора. Один [научная статья](http://15721.courses.cs.cmu.edu/spring2016/papers/p5-sompolski.pdf) написанное нашими друзьями показывает, что лучше сочетать оба подхода. ClickHouse использует векторизованное выполнение запросов и имеет ограниченную начальную поддержку для генерации кода во время выполнения.
|
||||
|
||||
## Столбцы {#columns}
|
||||
|
||||
`IColumn` интерфейс используется для представления столбцов в памяти (собственно, кусков столбцов). Этот интерфейс предоставляет вспомогательные методы для реализации различных реляционных операторов. Почти все операции неизменяемы: они не изменяют исходный столбец, а создают новый измененный. Например, в `IColumn :: filter` метод принимает маску байта фильтра. Он используется для `WHERE` и `HAVING` реляционный оператор. Дополнительные примеры: `IColumn :: permute` способ поддержки `ORDER BY`, этот `IColumn :: cut` способ поддержки `LIMIT`.
|
||||
|
||||
Различный `IColumn` реализации (`ColumnUInt8`, `ColumnString`, и так далее) отвечают за расположение столбцов в памяти. Расположение памяти обычно представляет собой непрерывный массив. Для целочисленного типа столбцов это всего лишь один непрерывный массив, например `std :: vector`. Для `String` и `Array` столбцы, это два вектора: один для всех элементов массива, расположенных последовательно, и второй для смещений к началу каждого массива. Существует также `ColumnConst` это сохраняет только одно значение в памяти, но выглядит как столбец.
|
||||
|
||||
## Поле {#field}
|
||||
|
||||
Тем не менее, можно работать и с индивидуальными ценностями. Чтобы представить индивидуальную ценность, то `Field` предназначенный. `Field` это просто дискриминированный Союз `UInt64`, `Int64`, `Float64`, `String` и `Array`. `IColumn` имеет `operator[]` метод получения n-го значения в виде a `Field` и `insert` способ, чтобы добавить `Field` до самого конца колонны. Эти методы не очень эффективны, потому что они требуют решения временных проблем `Field` объекты, представляющие индивидуальную ценность. Существуют и более эффективные методы, такие как `insertFrom`, `insertRangeFrom` и так далее.
|
||||
|
||||
`Field` у него нет достаточной информации о конкретном типе данных для таблицы. Например, `UInt8`, `UInt16`, `UInt32`, и `UInt64` все они представлены в виде `UInt64` в `Field`.
|
||||
|
||||
## Дырявые абстракции {#leaky-abstractions}
|
||||
|
||||
`IColumn` есть методы для общих реляционных преобразований данных, но они не удовлетворяют всем потребностям. Например, `ColumnUInt64` не имеет метода для вычисления суммы двух столбцов, и `ColumnString` у него нет метода для запуска поиска по подстрокам. Эти бесчисленные процедуры реализуются за пределами `IColumn`.
|
||||
|
||||
Различные функции на столбцах могут быть реализованы общим, неэффективным способом с использованием `IColumn` способы извлечения `Field` значения, или специализированным способом, использующим знание внутренней компоновки памяти данных в определенном месте. `IColumn` реализация. Он реализуется путем приведения функций к определенному виду `IColumn` тип и дело с внутренним представлением непосредственно. Например, `ColumnUInt64` имеет `getData` метод, который возвращает ссылку на внутренний массив, а затем отдельная процедура считывает или заполняет этот массив непосредственно. У нас есть «leaky abstractions» чтобы обеспечить эффективную специализацию различных процедур.
|
||||
|
||||
## Тип данных {#data_types}
|
||||
|
||||
`IDataType` отвечает за сериализацию и десериализацию: чтение и запись фрагментов столбцов или отдельных значений в двоичной или текстовой форме. `IDataType` непосредственно соответствует типам данных в таблицах. Например, существуют `DataTypeUInt32`, `DataTypeDateTime`, `DataTypeString` и так далее.
|
||||
|
||||
`IDataType` и `IColumn` они лишь слабо связаны друг с другом. Различные типы данных могут быть представлены в памяти одним и тем же именем `IColumn` реализации. Например, `DataTypeUInt32` и `DataTypeDateTime` оба они представлены следующим образом `ColumnUInt32` или `ColumnConstUInt32`. Кроме того, один и тот же тип данных может быть представлен разными `IColumn` реализации. Например, `DataTypeUInt8` может быть представлен следующим образом `ColumnUInt8` или `ColumnConstUInt8`.
|
||||
|
||||
`IDataType` хранит только метаданные. Например, `DataTypeUInt8` не хранит вообще ничего (кроме vptr) и `DataTypeFixedString` магазины просто `N` (размер строк фиксированного размера).
|
||||
|
||||
`IDataType` имеет вспомогательные методы для различных форматов данных. Примерами являются методы сериализации значения с возможным цитированием, сериализации значения для JSON и сериализации значения в формате XML. Прямого соответствия форматам данных не существует. Например, различные форматы данных `Pretty` и `TabSeparated` можно использовать то же самое `serializeTextEscaped` вспомогательный метод от `IDataType` интерфейс.
|
||||
|
||||
## Блок {#block}
|
||||
|
||||
A `Block` это контейнер, представляющий подмножество (фрагмент) таблицы в памяти. Это всего лишь набор троек: `(IColumn, IDataType, column name)`. Во время выполнения запроса данные обрабатываются с помощью `Block`s. Если у нас есть `Block`, у нас есть данные (в `IColumn` объект), у нас есть информация о его типе (в `IDataType`) это говорит нам, как обращаться с этим столбцом, и у нас есть имя столбца. Это может быть либо исходное имя столбца из таблицы, либо какое-то искусственное имя, назначенное для получения временных результатов вычислений.
|
||||
|
||||
Когда мы вычисляем некоторую функцию по столбцам в блоке, мы добавляем другой столбец с его результатом в блок, и мы не касаемся столбцов для аргументов функции, потому что операции неизменяемы. Позже ненужные столбцы могут быть удалены из блока, но не изменены. Это удобно для исключения общих подвыражений.
|
||||
|
||||
Блоки создаются для каждого обработанного фрагмента данных. Обратите внимание, что для одного и того же типа вычисления имена столбцов и типы остаются одинаковыми для разных блоков, и изменяются только данные столбцов. Лучше разделить данные блока из заголовка блока, потому что небольшие размеры блока имеют высокую нагрузку временных строк для копирования shared\_ptrs и имен столбцов.
|
||||
|
||||
## Блокировать Потоки {#block-streams}
|
||||
|
||||
Блочные потоки предназначены для обработки данных. Мы используем потоки блоков для чтения данных откуда-то, выполнения преобразований данных или записи данных куда-то. `IBlockInputStream` имеет `read` метод для извлечения следующего блока, пока он доступен. `IBlockOutputStream` имеет `write` метод, чтобы подтолкнуть блок куда-то.
|
||||
|
||||
Потоки отвечают за:
|
||||
|
||||
1. Чтение или письмо за столом. Таблица просто возвращает поток для чтения или записи блоков.
|
||||
2. Реализация форматов данных. Например, если вы хотите вывести данные на терминал в `Pretty` форматирование, вы создаете поток вывода блока, где вы толкаете блоки, и он форматирует их.
|
||||
3. Выполнение преобразований данных. Скажем так у вас есть `IBlockInputStream` и хотите создать отфильтрованный поток. Вы создаете `FilterBlockInputStream` и инициализируйте его с помощью своего потока. Затем, когда вы вытащите блок из `FilterBlockInputStream`, он извлекает блок из вашего потока, фильтрует его и возвращает отфильтрованный блок вам. Конвейеры выполнения запросов представлены таким образом.
|
||||
|
||||
Есть и более сложные трансформации. Например, когда вы тянете из `AggregatingBlockInputStream`, он считывает все данные из своего источника, агрегирует их, а затем возвращает поток агрегированных данных для вас. Еще пример: `UnionBlockInputStream` принимает множество источников ввода в конструкторе, а также ряд потоков. Он запускает несколько потоков и читает из нескольких источников параллельно.
|
||||
|
||||
> Потоки блокируют использовать «pull» подход к управлению потоком: когда вы вытягиваете блок из первого потока, он, следовательно, вытягивает необходимые блоки из вложенных потоков, и весь конвейер выполнения будет работать. Ни «pull» ни «push» это лучшее решение, потому что поток управления является неявным, и это ограничивает реализацию различных функций, таких как одновременное выполнение нескольких запросов (объединение многих конвейеров вместе). Это ограничение может быть преодолено с помощью сопрограмм или просто запуском дополнительных потоков, которые ждут друг друга. У нас может быть больше возможностей, если мы сделаем поток управления явным: если мы найдем логику для передачи данных из одной расчетной единицы в другую вне этих расчетных единиц. Читать это [статья](http://journal.stuffwithstuff.com/2013/01/13/iteration-inside-and-out/) для новых мыслей.
|
||||
|
||||
Следует отметить, что конвейер выполнения запроса создает временные данные на каждом шаге. Мы стараемся держать размер блока достаточно маленьким, чтобы временные данные помещались в кэш процессора. При таком допущении запись и чтение временных данных практически бесплатны по сравнению с другими расчетами. Мы могли бы рассмотреть альтернативу, которая заключается в том, чтобы объединить многие операции в трубопроводе вместе. Это может сделать конвейер как можно короче и удалить большую часть временных данных, что может быть преимуществом, но у него также есть недостатки. Например, разделенный конвейер позволяет легко реализовать кэширование промежуточных данных, кражу промежуточных данных из аналогичных запросов, выполняемых одновременно, и объединение конвейеров для аналогичных запросов.
|
||||
|
||||
## Форматы {#formats}
|
||||
|
||||
Форматы данных реализуются с помощью блочных потоков. Есть «presentational» форматы, пригодные только для вывода данных клиенту, такие как `Pretty` формат, который предоставляет только `IBlockOutputStream`. И есть форматы ввода/вывода, такие как `TabSeparated` или `JSONEachRow`.
|
||||
|
||||
Существуют также потоки подряд : `IRowInputStream` и `IRowOutputStream`. Они позволяют вытягивать / выталкивать данные отдельными строками, а не блоками. И они нужны только для упрощения реализации ориентированных на строки форматов. Обертка `BlockInputStreamFromRowInputStream` и `BlockOutputStreamFromRowOutputStream` позволяет конвертировать потоки, ориентированные на строки, в обычные потоки, ориентированные на блоки.
|
||||
|
||||
## I/O {#io}
|
||||
|
||||
Для байт-ориентированных входов / выходов существуют `ReadBuffer` и `WriteBuffer` абстрактный класс. Они используются вместо C++ `iostream`s. Не волнуйтесь: каждый зрелый проект C++ использует что-то другое, чем `iostream`s по уважительным причинам.
|
||||
|
||||
`ReadBuffer` и `WriteBuffer` это просто непрерывный буфер и курсор, указывающий на позицию в этом буфере. Реализации могут владеть или не владеть памятью для буфера. Существует виртуальный метод заполнения буфера следующими данными (для `ReadBuffer`) или смыть буфер куда-нибудь (например `WriteBuffer`). Виртуальные методы редко вызываются.
|
||||
|
||||
Реализация следующих принципов: `ReadBuffer`/`WriteBuffer` используются для работы с файлами и файловыми дескрипторами, а также сетевыми сокетами, для реализации сжатия (`CompressedWriteBuffer` is initialized with another WriteBuffer and performs compression before writing data to it), and for other purposes – the names `ConcatReadBuffer`, `LimitReadBuffer`, и `HashingWriteBuffer` за себя говорить.
|
||||
|
||||
Буферы чтения/записи имеют дело только с байтами. Есть функции от `ReadHelpers` и `WriteHelpers` заголовочные файлы, чтобы помочь с форматированием ввода / вывода. Например, есть помощники для записи числа в десятичном формате.
|
||||
|
||||
Давайте посмотрим, что происходит, когда вы хотите написать результирующий набор в `JSON` форматирование в stdout. У вас есть результирующий набор, готовый к извлечению из него `IBlockInputStream`. Вы создаете `WriteBufferFromFileDescriptor(STDOUT_FILENO)` чтобы записать байты в stdout. Вы создаете `JSONRowOutputStream`, инициализируется с помощью этого `WriteBuffer`, чтобы записать строки в `JSON` в stdout. Вы создаете `BlockOutputStreamFromRowOutputStream` кроме того, чтобы представить его как `IBlockOutputStream`. А потом ты позвонишь `copyData` для передачи данных из `IBlockInputStream` к `IBlockOutputStream` и все это работает. Внутренне, `JSONRowOutputStream` буду писать в формате JSON различные разделители и вызвать `IDataType::serializeTextJSON` метод со ссылкой на `IColumn` и номер строки в качестве аргументов. Следовательно, `IDataType::serializeTextJSON` вызовет метод из `WriteHelpers.h`: например, `writeText` для числовых типов и `writeJSONString` для `DataTypeString`.
|
||||
|
||||
## Таблицы {#tables}
|
||||
|
||||
То `IStorage` интерфейс представляет собой таблицы. Различные реализации этого интерфейса являются различными движками таблиц. Примеры `StorageMergeTree`, `StorageMemory` и так далее. Экземпляры этих классов являются просто таблицами.
|
||||
|
||||
Ключ `IStorage` методы `read` и `write`. Есть и другие варианты `alter`, `rename`, `drop` и так далее. То `read` метод принимает следующие аргументы: набор столбцов для чтения из таблицы, набор столбцов для чтения из таблицы. `AST` запрос для рассмотрения и желаемое количество потоков для возврата. Он возвращает один или несколько `IBlockInputStream` объекты и информация о стадии обработки данных, которая была завершена внутри табличного движка во время выполнения запроса.
|
||||
|
||||
В большинстве случаев метод read отвечает только за чтение указанных столбцов из таблицы, а не за дальнейшую обработку данных. Вся дальнейшая обработка данных осуществляется интерпретатором запросов и не входит в сферу ответственности компании `IStorage`.
|
||||
|
||||
Но есть и заметные исключения:
|
||||
|
||||
- Запрос AST передается на сервер `read` метод, и механизм таблиц может использовать его для получения использования индекса и считывания меньшего количества данных из таблицы.
|
||||
- Иногда механизм таблиц может сам обрабатывать данные до определенного этапа. Например, `StorageDistributed` можно отправить запрос на удаленные серверы, попросить их обработать данные на этапе, когда данные с разных удаленных серверов могут быть объединены, и вернуть эти предварительно обработанные данные. Затем интерпретатор запросов завершает обработку данных.
|
||||
|
||||
Стол `read` метод может возвращать несколько значений `IBlockInputStream` объекты, позволяющие осуществлять параллельную обработку данных. Эти несколько блочных входных потоков могут считываться из таблицы параллельно. Затем вы можете обернуть эти потоки с помощью различных преобразований (таких как вычисление выражений или фильтрация), которые могут быть вычислены независимо, и создать `UnionBlockInputStream` поверх них, чтобы читать из нескольких потоков параллельно.
|
||||
|
||||
Есть и другие варианты `TableFunction`s. Это функции, которые возвращают временное значение `IStorage` объект для использования в `FROM` предложение запроса.
|
||||
|
||||
Чтобы получить быстрое представление о том, как реализовать свой движок таблиц, посмотрите на что-то простое, например `StorageMemory` или `StorageTinyLog`.
|
||||
|
||||
> В результате этого `read` метод, `IStorage` возвращается `QueryProcessingStage` – information about what parts of the query were already calculated inside storage.
|
||||
|
||||
## Синтаксический анализатор {#parsers}
|
||||
|
||||
Написанный от руки рекурсивный парсер спуска анализирует запрос. Например, `ParserSelectQuery` просто рекурсивно вызывает базовые Парсеры для различных частей запроса. Парсеры создают `AST`. То `AST` представлен узлами, которые являются экземплярами `IAST`.
|
||||
|
||||
> Генераторы парсеров не используются по историческим причинам.
|
||||
|
||||
## Переводчики {#interpreters}
|
||||
|
||||
Интерпретаторы отвечают за создание конвейера выполнения запроса из `AST`. Есть простые переводчики, такие как `InterpreterExistsQuery` и `InterpreterDropQuery` или более изощренные `InterpreterSelectQuery`. Конвейер выполнения запроса представляет собой комбинацию блочных входных и выходных потоков. Например, результат интерпретации `SELECT` запросов `IBlockInputStream` для чтения результирующего набора из; результат запроса INSERT - это `IBlockOutputStream` чтобы записать данные для вставки в, и результат интерпретации `INSERT SELECT` запросов `IBlockInputStream` это возвращает пустой результирующий набор при первом чтении, но копирует данные из него `SELECT` к `INSERT` в то же время.
|
||||
|
||||
`InterpreterSelectQuery` использует `ExpressionAnalyzer` и `ExpressionActions` машины для анализа запросов и преобразований. Именно здесь выполняется большинство оптимизаций запросов на основе правил. `ExpressionAnalyzer` это довольно грязно и должно быть переписано: различные преобразования запросов и оптимизации должны быть извлечены в отдельные классы, чтобы позволить модульные преобразования или запрос.
|
||||
|
||||
## Функции {#functions}
|
||||
|
||||
Существуют обычные функции и агрегатные функции. Агрегатные функции см. В следующем разделе.
|
||||
|
||||
Ordinary functions don’t change the number of rows – they work as if they are processing each row independently. In fact, functions are not called for individual rows, but for `Block`’s данных для реализации векторизованного выполнения запросов.
|
||||
|
||||
Есть некоторые другие функции, такие как [размер блока](../sql_reference/functions/other_functions.md#function-blocksize), [роунумберинблок](../sql_reference/functions/other_functions.md#function-rownumberinblock), и [runningAccumulate](../sql_reference/functions/other_functions.md#function-runningaccumulate), которые эксплуатируют обработку блоков и нарушают независимость строк.
|
||||
|
||||
ClickHouse имеет сильную типизацию, поэтому нет никакого неявного преобразования типов. Если функция не поддерживает определенную комбинацию типов, она создает исключение. Но функции могут работать (перегружаться) для многих различных комбинаций типов. Например, в `plus` функция (для реализации `+` оператор) работает для любой комбинации числовых типов: `UInt8` + `Float32`, `UInt16` + `Int8` и так далее. Кроме того, некоторые вариадические функции могут принимать любое количество аргументов, например `concat` функция.
|
||||
|
||||
Реализация функции может быть немного неудобной, поскольку функция явно отправляет поддерживаемые типы данных и поддерживается `IColumns`. Например, в `plus` функция имеет код, генерируемый экземпляром шаблона C++ для каждой комбинации числовых типов, а также постоянные или непостоянные левые и правые аргументы.
|
||||
|
||||
Это отличное место для реализации генерации кода во время выполнения, чтобы избежать раздувания кода шаблона. Кроме того, он позволяет добавлять слитые функции, такие как fused multiply-add или выполнять несколько сравнений в одной итерации цикла.
|
||||
|
||||
Из-за векторизованного выполнения запроса функции не закорачиваются. Например, если вы пишете `WHERE f(x) AND g(y)`, обе стороны вычисляются, даже для строк, когда `f(x)` равно нулю (за исключением тех случаев, когда `f(x)` является нулевым постоянным выражением). Но если избирательность самого `f(x)` состояние является высоким, и расчет `f(x)` это гораздо дешевле, чем `g(y)`, лучше всего реализовать многоходовой расчет. Это будет первый расчет `f(x)`, затем отфильтруйте столбцы по результату, а затем вычислите `g(y)` только для небольших отфильтрованных фрагментов данных.
|
||||
|
||||
## Статистическая функция {#aggregate-functions}
|
||||
|
||||
Агрегатные функции - это функции, определяющие состояние. Они накапливают переданные значения в некотором состоянии и позволяют получать результаты из этого состояния. Они управляются с помощью `IAggregateFunction` интерфейс. Состояния могут быть довольно простыми (состояние для `AggregateFunctionCount` это всего лишь один человек `UInt64` значение) или довольно сложное (состояние `AggregateFunctionUniqCombined` представляет собой комбинацию линейного массива, хэш-таблицы и `HyperLogLog` вероятностная структура данных).
|
||||
|
||||
Государства распределяются в `Arena` (пул памяти) для работы с несколькими состояниями при выполнении высокой мощности `GROUP BY` запрос. Состояния могут иметь нетривиальный конструктор и деструктор: например, сложные агрегатные состояния могут сами выделять дополнительную память. Это требует некоторого внимания к созданию и уничтожению государств и правильной передаче их права собственности и порядка уничтожения.
|
||||
|
||||
Агрегатные состояния могут быть сериализованы и десериализованы для передачи по сети во время выполнения распределенного запроса или для записи их на диск, где недостаточно оперативной памяти. Они даже могут храниться в таблице с `DataTypeAggregateFunction` чтобы разрешить инкрементное агрегирование данных.
|
||||
|
||||
> Сериализованный формат данных для состояний агрегатных функций в настоящее время не является версионным. Это нормально, если агрегатные состояния хранятся только временно. Но у нас есть такая возможность `AggregatingMergeTree` механизм таблиц для инкрементного агрегирования, и люди уже используют его в производстве. Именно по этой причине обратная совместимость требуется при изменении сериализованного формата для любой агрегатной функции в будущем.
|
||||
|
||||
## Сервер {#server}
|
||||
|
||||
Сервер реализует несколько различных интерфейсов:
|
||||
|
||||
- Интерфейс HTTP для любых иностранных клиентов.
|
||||
- TCP-интерфейс для собственного клиента ClickHouse и для межсерверной связи во время выполнения распределенного запроса.
|
||||
- Интерфейс для передачи данных для репликации.
|
||||
|
||||
Внутренне это просто примитивный многопоточный сервер без сопрограмм или волокон. Поскольку сервер предназначен не для обработки высокой скорости простых запросов, а для обработки относительно низкой скорости сложных запросов, каждый из них может обрабатывать огромное количество данных для аналитики.
|
||||
|
||||
Сервер инициализирует программу `Context` класс с необходимой средой для выполнения запроса: список доступных баз данных, пользователей и прав доступа, настройки, кластеры, список процессов, журнал запросов и так далее. Переводчики используют эту среду.
|
||||
|
||||
Мы поддерживаем полную обратную и прямую совместимость для протокола TCP сервера: старые клиенты могут разговаривать с новыми серверами, а новые клиенты-со старыми серверами. Но мы не хотим поддерживать его вечно, и мы удаляем поддержку старых версий примерно через год.
|
||||
|
||||
!!! note "Примечание"
|
||||
Для большинства внешних приложений мы рекомендуем использовать интерфейс HTTP, поскольку он прост и удобен в использовании. Протокол TCP более тесно связан с внутренними структурами данных: он использует внутренний формат для передачи блоков данных, а также использует пользовательское обрамление для сжатых данных. Мы не выпустили библиотеку C для этого протокола, потому что она требует связывания большей части кодовой базы ClickHouse, что нецелесообразно.
|
||||
|
||||
## Выполнение Распределенных Запросов {#distributed-query-execution}
|
||||
|
||||
Серверы в кластерной установке в основном независимы. Вы можете создать `Distributed` таблица на одном или всех серверах кластера. То `Distributed` table does not store data itself – it only provides a «view» ко всем локальным таблицам на нескольких узлах кластера. Когда вы выберите из `Distributed` таблица, он переписывает этот запрос, выбирает удаленные узлы в соответствии с настройками балансировки нагрузки и отправляет запрос к ним. То `Distributed` таблица запрашивает удаленные серверы для обработки запроса только до стадии, когда промежуточные результаты с разных серверов могут быть объединены. Затем он получает промежуточные результаты и сливает их. Распределенная таблица пытается распределить как можно больше работы на удаленные серверы и не отправляет много промежуточных данных по сети.
|
||||
|
||||
Все становится сложнее, когда у вас есть подзапросы в предложениях IN или JOIN, и каждый из них использует a `Distributed` стол. У нас есть разные стратегии выполнения этих запросов.
|
||||
|
||||
Глобального плана запросов для выполнения распределенных запросов не существует. Каждый узел имеет свой локальный план запроса для своей части задания. У нас есть только простое однопроходное распределенное выполнение запросов: мы отправляем запросы на удаленные узлы, а затем объединяем результаты. Но это неосуществимо для сложных запросов с высокой мощностью группы BYs или с большим количеством временных данных для соединения. В таких случаях нам необходимо: «reshuffle» данные между серверами, что требует дополнительной координации. ClickHouse не поддерживает такого рода выполнение запросов, и мы должны работать над этим.
|
||||
|
||||
## Дерево Слияния {#merge-tree}
|
||||
|
||||
`MergeTree` это семейство механизмов хранения данных, поддерживающих индексацию по первичному ключу. Первичный ключ может быть произвольным кортежем столбцов или выражений. Данные в a `MergeTree` таблица хранится в «parts». Каждая часть хранит данные в порядке первичного ключа, поэтому данные лексикографически упорядочиваются кортежем первичного ключа. Все столбцы таблицы хранятся отдельно `column.bin` файлы в этих краях. Файлы состоят из сжатых блоков. Каждый блок обычно содержит от 64 КБ до 1 МБ несжатых данных, в зависимости от среднего размера значения. Блоки состоят из значений столбцов, расположенных последовательно друг за другом. Значения столбцов находятся в одном и том же порядке для каждого столбца (первичный ключ определяет порядок), поэтому при итерации по многим столбцам вы получаете значения для соответствующих строк.
|
||||
|
||||
Сам первичный ключ является «sparse». Он адресует не каждую отдельную строку, а только некоторые диапазоны данных. Разделение `primary.idx` файл имеет значение первичного ключа для каждой N-й строки, где N называется `index_granularity` (обычно N = 8192). Кроме того, для каждой колонки у нас есть `column.mrk` файлы с «marks,» которые являются смещениями для каждой N-й строки в файле данных. Каждая метка представляет собой пару: смещение в файле к началу сжатого блока и смещение в распакованном блоке к началу данных. Обычно сжатые блоки выравниваются по меткам, а смещение в распакованном блоке равно нулю. Данные для `primary.idx` всегда находится в памяти, а данные для `column.mrk` файлы кэшируются.
|
||||
|
||||
Когда мы собираемся прочитать что-то из части в `MergeTree`, мы смотрим на `primary.idx` данные и найдите диапазоны, которые могут содержать запрошенные данные, а затем посмотрите на `column.mrk` данные и рассчитать смещения для того, чтобы начать чтение этих диапазонов. Из-за разреженности могут быть прочитаны избыточные данные. ClickHouse не подходит для высокой загрузки простых точечных запросов, так как весь диапазон с `index_granularity` строки должны быть прочитаны для каждого ключа, и весь сжатый блок должен быть распакован для каждого столбца. Мы сделали индекс разреженным, потому что мы должны быть в состоянии поддерживать триллионы строк на одном сервере без заметного потребления памяти для индекса. Кроме того, поскольку первичный ключ разрежен, он не является уникальным: он не может проверить существование ключа в таблице во время вставки. В таблице может быть много строк с одним и тем же ключом.
|
||||
|
||||
Когда вы `INSERT` куча данных в `MergeTree`, эта связка сортируется по порядку первичного ключа и образует новую часть. Существуют фоновые потоки, которые периодически выделяют некоторые детали и объединяют их в одну сортированную деталь, чтобы сохранить количество деталей относительно низким. Вот почему он так называется `MergeTree`. Конечно, слияние приводит к тому, что «write amplification». Все части неизменны: они только создаются и удаляются, но не изменяются. Когда SELECT выполняется, он содержит снимок таблицы (набор деталей). После слияния мы также сохраняем старые детали в течение некоторого времени, чтобы облегчить восстановление после сбоя, поэтому, если мы видим, что какая-то объединенная деталь, вероятно, сломана, мы можем заменить ее исходными частями.
|
||||
|
||||
`MergeTree` это не дерево LSM, потому что оно не содержит «memtable» и «log»: inserted data is written directly to the filesystem. This makes it suitable only to INSERT data in batches, not by individual row and not very frequently – about once per second is ok, but a thousand times a second is not. We did it this way for simplicity’s sake, and because we are already inserting data in batches in our applications.
|
||||
|
||||
> Таблицы MergeTree могут иметь только один (первичный) индекс: вторичных индексов не существует. Было бы неплохо разрешить несколько физических представлений в одной логической таблице, например, хранить данные в более чем одном физическом порядке или даже разрешить представления с предварительно агрегированными данными наряду с исходными данными.
|
||||
|
||||
Есть движки MergeTree, которые выполняют дополнительную работу во время фоновых слияний. Примеры `CollapsingMergeTree` и `AggregatingMergeTree`. Это можно рассматривать как специальную поддержку обновлений. Имейте в виду, что это не настоящие обновления, поскольку пользователи обычно не имеют никакого контроля над временем выполнения фоновых слияний, а данные в `MergeTree` таблица почти всегда хранится в нескольких частях, а не в полностью объединенном виде.
|
||||
|
||||
## Копирование {#replication}
|
||||
|
||||
Репликация в ClickHouse может быть настроена на основе каждой таблицы. Вы можете иметь некоторые реплицированные и некоторые нереплицированные таблицы на одном сервере. Вы также можете иметь таблицы, реплицируемые различными способами,например, одна таблица с двухфакторной репликацией, а другая-с трехфакторной.
|
||||
|
||||
Репликация осуществляется в виде `ReplicatedMergeTree` подсистема хранилища. Путь в `ZooKeeper` указывается в качестве параметра для механизма хранения данных. Все таблицы с одинаковым путем внутри `ZooKeeper` становятся репликами друг друга: они синхронизируют свои данные и поддерживают согласованность. Реплики можно добавлять и удалять динамически, просто создавая или удаляя таблицу.
|
||||
|
||||
Репликация использует асинхронную многомастерную схему. Вы можете вставить данные в любую реплику, которая имеет сеанс с `ZooKeeper`, и данные реплицируются во все остальные реплики асинхронно. Поскольку ClickHouse не поддерживает обновления, репликация является бесконфликтной. Поскольку нет подтверждения кворума вставок, только что вставленные данные могут быть потеряны, если один узел выйдет из строя.
|
||||
|
||||
Метаданные для репликации хранятся в ZooKeeper. Существует журнал репликации, в котором перечислены необходимые действия. Действия таковы: получить часть; объединить части; удалить раздел и так далее. Каждая реплика копирует журнал репликации в свою очередь, а затем выполняет действия из этой очереди. Например, при вставке «get the part» действие создается в журнале, и каждая реплика загружает эту часть. Слияния координируются между репликами для получения идентичных байтам результатов. Все части объединяются одинаково на всех репликах. Это достигается путем выбора одной реплики в качестве лидера, и эта реплика инициирует слияние и запись «merge parts» действия по ведению журнала.
|
||||
|
||||
Репликация является физической: между узлами передаются только сжатые части, а не запросы. Слияния обрабатываются на каждой реплике независимо в большинстве случаев, чтобы снизить затраты на сеть, избегая усиления сети. Большие объединенные части передаются по сети только в случаях значительного запаздывания репликации.
|
||||
|
||||
Кроме того, каждая реплика хранит свое состояние в ZooKeeper как набор деталей и их контрольные суммы. Когда состояние локальной файловой системы отличается от эталонного состояния в ZooKeeper, реплика восстанавливает свою согласованность, загружая недостающие и сломанные части из других реплик. Когда в локальной файловой системе появляются неожиданные или неработающие данные, ClickHouse не удаляет их, а перемещает в отдельный каталог и забывает.
|
||||
|
||||
!!! note "Примечание"
|
||||
Кластер ClickHouse состоит из независимых сегментов, и каждый сегмент состоит из реплик. Кластер таков **неупругий**, поэтому после добавления нового осколка данные не будут автоматически перебалансированы между осколками. Вместо этого предполагается, что нагрузка на кластер будет регулироваться неравномерно. Эта реализация дает вам больше контроля, и это нормально для относительно небольших кластеров, таких как десятки узлов. Но для кластеров с сотнями узлов, которые мы используем в производстве, этот подход становится существенным недостатком. Мы должны реализовать механизм таблиц, который охватывает весь кластер с динамически реплицируемыми областями, которые могут быть разделены и сбалансированы между кластерами автоматически.
|
||||
|
||||
{## [Оригинальная статья](https://clickhouse.tech/docs/en/development/architecture/) ##}
|
||||
1
docs/ru/development/architecture.md
Symbolic link
1
docs/ru/development/architecture.md
Symbolic link
@ -0,0 +1 @@
|
||||
en/development/architecture.md
|
||||
@ -1,139 +0,0 @@
|
||||
---
|
||||
machine_translated: true
|
||||
machine_translated_rev: 1cd5f0028d917696daf71ac1c9ee849c99c1d5c8
|
||||
---
|
||||
|
||||
# Как построить ClickHouse для развития {#how-to-build-clickhouse-for-development}
|
||||
|
||||
Следующий учебник основан на системе Ubuntu Linux.
|
||||
С соответствующими изменениями он также должен работать на любом другом дистрибутиве Linux.
|
||||
Поддерживаемые платформы: x86\_64 и AArch64. Поддержка Power9 является экспериментальной.
|
||||
|
||||
## Установите Git, CMake, Python и Ninja {#install-git-cmake-python-and-ninja}
|
||||
|
||||
``` bash
|
||||
$ sudo apt-get install git cmake python ninja-build
|
||||
```
|
||||
|
||||
Или cmake3 вместо cmake на старых системах.
|
||||
|
||||
## Установка GCC 9 {#install-gcc-9}
|
||||
|
||||
Есть несколько способов сделать это.
|
||||
|
||||
### Установка из PPA пакет {#install-from-a-ppa-package}
|
||||
|
||||
``` bash
|
||||
$ sudo apt-get install software-properties-common
|
||||
$ sudo apt-add-repository ppa:ubuntu-toolchain-r/test
|
||||
$ sudo apt-get update
|
||||
$ sudo apt-get install gcc-9 g++-9
|
||||
```
|
||||
|
||||
### Установка из источников {#install-from-sources}
|
||||
|
||||
Смотреть на [utils/ci/build-gcc-from-sources.sh](https://github.com/ClickHouse/ClickHouse/blob/master/utils/ci/build-gcc-from-sources.sh)
|
||||
|
||||
## Использовать GCC для сборки 9 {#use-gcc-9-for-builds}
|
||||
|
||||
``` bash
|
||||
$ export CC=gcc-9
|
||||
$ export CXX=g++-9
|
||||
```
|
||||
|
||||
## Проверка Источников ClickHouse {#checkout-clickhouse-sources}
|
||||
|
||||
``` bash
|
||||
$ git clone --recursive git@github.com:ClickHouse/ClickHouse.git
|
||||
```
|
||||
|
||||
или
|
||||
|
||||
``` bash
|
||||
$ git clone --recursive https://github.com/ClickHouse/ClickHouse.git
|
||||
```
|
||||
|
||||
## Построить ClickHouse {#build-clickhouse}
|
||||
|
||||
``` bash
|
||||
$ cd ClickHouse
|
||||
$ mkdir build
|
||||
$ cd build
|
||||
$ cmake ..
|
||||
$ ninja
|
||||
$ cd ..
|
||||
```
|
||||
|
||||
Чтобы создать исполняемый файл, выполните команду `ninja clickhouse`.
|
||||
Это позволит создать `programs/clickhouse` исполняемый файл, который может быть использован с `client` или `server` аргументы.
|
||||
|
||||
# Как построить ClickHouse на любом Linux {#how-to-build-clickhouse-on-any-linux}
|
||||
|
||||
Для сборки требуются следующие компоненты:
|
||||
|
||||
- Git (используется только для проверки исходных текстов, он не нужен для сборки)
|
||||
- CMake 3.10 или новее
|
||||
- Ниндзя (рекомендуется) или сделать
|
||||
- Компилятор C++: gcc 9 или clang 8 или новее
|
||||
- Компоновщик: lld или gold (классический GNU ld не будет работать)
|
||||
- Python (используется только внутри сборки LLVM и является необязательным)
|
||||
|
||||
Если все компоненты установлены, Вы можете построить их так же, как и описанные выше шаги.
|
||||
|
||||
Пример для Ubuntu Eoan:
|
||||
|
||||
sudo apt update
|
||||
sudo apt install git cmake ninja-build g++ python
|
||||
git clone --recursive https://github.com/ClickHouse/ClickHouse.git
|
||||
mkdir build && cd build
|
||||
cmake ../ClickHouse
|
||||
ninja
|
||||
|
||||
Пример для OpenSUSE перекати-поле:
|
||||
|
||||
sudo zypper install git cmake ninja gcc-c++ python lld
|
||||
git clone --recursive https://github.com/ClickHouse/ClickHouse.git
|
||||
mkdir build && cd build
|
||||
cmake ../ClickHouse
|
||||
ninja
|
||||
|
||||
Пример для сыромятной кожи Fedora:
|
||||
|
||||
sudo yum update
|
||||
yum --nogpg install git cmake make gcc-c++ python2
|
||||
git clone --recursive https://github.com/ClickHouse/ClickHouse.git
|
||||
mkdir build && cd build
|
||||
cmake ../ClickHouse
|
||||
make -j $(nproc)
|
||||
|
||||
# Вам не нужно строить ClickHouse {#you-dont-have-to-build-clickhouse}
|
||||
|
||||
ClickHouse доступен в готовых двоичных файлах и пакетах. Двоичные файлы являются портативными и могут быть запущены на любом вкусе Linux.
|
||||
|
||||
Они созданы для стабильных, предустановленных и тестовых релизов до тех пор, пока для каждого коммита к мастеру и для каждого запроса на вытягивание.
|
||||
|
||||
Чтобы найти самую свежую сборку из `master`, обратиться [совершает страницы](https://github.com/ClickHouse/ClickHouse/commits/master), нажмите на первую зеленую галочку или красный крестик рядом с фиксацией и нажмите на кнопку «Details» ссылка сразу после этого «ClickHouse Build Check».
|
||||
|
||||
# Как создать пакет ClickHouse Debian {#how-to-build-clickhouse-debian-package}
|
||||
|
||||
## Установите Git и Pbuilder {#install-git-and-pbuilder}
|
||||
|
||||
``` bash
|
||||
$ sudo apt-get update
|
||||
$ sudo apt-get install git python pbuilder debhelper lsb-release fakeroot sudo debian-archive-keyring debian-keyring
|
||||
```
|
||||
|
||||
## Проверка Источников ClickHouse {#checkout-clickhouse-sources-1}
|
||||
|
||||
``` bash
|
||||
$ git clone --recursive --branch master https://github.com/ClickHouse/ClickHouse.git
|
||||
$ cd ClickHouse
|
||||
```
|
||||
|
||||
## Запустить Сценарий Выпуска {#run-release-script}
|
||||
|
||||
``` bash
|
||||
$ ./release
|
||||
```
|
||||
|
||||
[Оригинальная статья](https://clickhouse.tech/docs/en/development/build/) <!--hide-->
|
||||
1
docs/ru/development/build.md
Symbolic link
1
docs/ru/development/build.md
Symbolic link
@ -0,0 +1 @@
|
||||
en/development/build.md
|
||||
@ -1,41 +0,0 @@
|
||||
---
|
||||
machine_translated: true
|
||||
machine_translated_rev: 1cd5f0028d917696daf71ac1c9ee849c99c1d5c8
|
||||
---
|
||||
|
||||
# Как построить ClickHouse на Linux для архитектуры AArch64 (ARM64) {#how-to-build-clickhouse-on-linux-for-aarch64-arm64-architecture}
|
||||
|
||||
Это для случая, когда у вас есть Linux-машина и вы хотите использовать ее для сборки `clickhouse` двоичный файл, который будет работать на другой машине Linux с архитектурой процессора AARCH64. Это предназначено для непрерывной проверки интеграции, которая выполняется на серверах Linux.
|
||||
|
||||
Кросс-сборка для AARCH64 основана на следующих принципах: [Инструкции по сборке](build.md)- сначала следуйте за ними.
|
||||
|
||||
# Установка Clang-8 {#install-clang-8}
|
||||
|
||||
Следуйте инструкциям от https://apt.llvm.org/ для вашей установки Ubuntu или Debian.
|
||||
Например, в Ubuntu Bionic вы можете использовать следующие команды:
|
||||
|
||||
``` bash
|
||||
echo "deb [trusted=yes] http://apt.llvm.org/bionic/ llvm-toolchain-bionic-8 main" | sudo tee /etc/apt/sources.list.d/llvm.list
|
||||
sudo apt-get update
|
||||
sudo apt-get install clang-8
|
||||
```
|
||||
|
||||
# Установка Набора Инструментов Перекрестной Компиляции {#install-cross-compilation-toolset}
|
||||
|
||||
``` bash
|
||||
cd ClickHouse
|
||||
mkdir -p build-aarch64/cmake/toolchain/linux-aarch64
|
||||
wget 'https://developer.arm.com/-/media/Files/downloads/gnu-a/8.3-2019.03/binrel/gcc-arm-8.3-2019.03-x86_64-aarch64-linux-gnu.tar.xz?revision=2e88a73f-d233-4f96-b1f4-d8b36e9bb0b9&la=en' -O gcc-arm-8.3-2019.03-x86_64-aarch64-linux-gnu.tar.xz
|
||||
tar xJf gcc-arm-8.3-2019.03-x86_64-aarch64-linux-gnu.tar.xz -C build-aarch64/cmake/toolchain/linux-aarch64 --strip-components=1
|
||||
```
|
||||
|
||||
# Построить ClickHouse {#build-clickhouse}
|
||||
|
||||
``` bash
|
||||
cd ClickHouse
|
||||
mkdir build-arm64
|
||||
CC=clang-8 CXX=clang++-8 cmake . -Bbuild-arm64 -DCMAKE_TOOLCHAIN_FILE=cmake/linux/toolchain-aarch64.cmake
|
||||
ninja -C build-arm64
|
||||
```
|
||||
|
||||
Полученный двоичный файл будет работать только в Linux с архитектурой процессора AARCH64.
|
||||
1
docs/ru/development/build_cross_arm.md
Symbolic link
1
docs/ru/development/build_cross_arm.md
Symbolic link
@ -0,0 +1 @@
|
||||
en/development/build_cross_arm.md
|
||||
@ -1,62 +0,0 @@
|
||||
---
|
||||
machine_translated: true
|
||||
machine_translated_rev: 1cd5f0028d917696daf71ac1c9ee849c99c1d5c8
|
||||
---
|
||||
|
||||
# Как построить ClickHouse на Linux для Mac OS X {#how-to-build-clickhouse-on-linux-for-mac-os-x}
|
||||
|
||||
Это для случая, когда у вас есть Linux-машина и вы хотите использовать ее для сборки `clickhouse` двоичный файл, который будет работать на OS X. Это предназначено для непрерывной проверки интеграции, которая выполняется на серверах Linux. Если вы хотите построить ClickHouse непосредственно на Mac OS X, то продолжайте [еще одна инструкция](build_osx.md).
|
||||
|
||||
Кросс-сборка для Mac OS X основана на следующих принципах: [Инструкции по сборке](build.md)- сначала следуйте за ними.
|
||||
|
||||
# Установка Clang-8 {#install-clang-8}
|
||||
|
||||
Следуйте инструкциям от https://apt.llvm.org/ для вашей установки Ubuntu или Debian.
|
||||
Например команды для Bionic выглядят так:
|
||||
|
||||
``` bash
|
||||
sudo echo "deb [trusted=yes] http://apt.llvm.org/bionic/ llvm-toolchain-bionic-8 main" >> /etc/apt/sources.list
|
||||
sudo apt-get install clang-8
|
||||
```
|
||||
|
||||
# Установка Набора Инструментов Перекрестной Компиляции {#install-cross-compilation-toolset}
|
||||
|
||||
Давайте вспомним путь, по которому мы устанавливаем `cctools` как ${CCTOOLS}
|
||||
|
||||
``` bash
|
||||
mkdir ${CCTOOLS}
|
||||
|
||||
git clone https://github.com/tpoechtrager/apple-libtapi.git
|
||||
cd apple-libtapi
|
||||
INSTALLPREFIX=${CCTOOLS} ./build.sh
|
||||
./install.sh
|
||||
cd ..
|
||||
|
||||
git clone https://github.com/tpoechtrager/cctools-port.git
|
||||
cd cctools-port/cctools
|
||||
./configure --prefix=${CCTOOLS} --with-libtapi=${CCTOOLS} --target=x86_64-apple-darwin
|
||||
make install
|
||||
```
|
||||
|
||||
Кроме того, нам нужно загрузить MacOS X SDK в рабочее дерево.
|
||||
|
||||
``` bash
|
||||
cd ClickHouse
|
||||
wget 'https://github.com/phracker/MacOSX-SDKs/releases/download/10.14-beta4/MacOSX10.14.sdk.tar.xz'
|
||||
mkdir -p build-darwin/cmake/toolchain/darwin-x86_64
|
||||
tar xJf MacOSX10.14.sdk.tar.xz -C build-darwin/cmake/toolchain/darwin-x86_64 --strip-components=1
|
||||
```
|
||||
|
||||
# Построить ClickHouse {#build-clickhouse}
|
||||
|
||||
``` bash
|
||||
cd ClickHouse
|
||||
mkdir build-osx
|
||||
CC=clang-8 CXX=clang++-8 cmake . -Bbuild-osx -DCMAKE_TOOLCHAIN_FILE=cmake/darwin/toolchain-x86_64.cmake \
|
||||
-DCMAKE_AR:FILEPATH=${CCTOOLS}/bin/x86_64-apple-darwin-ar \
|
||||
-DCMAKE_RANLIB:FILEPATH=${CCTOOLS}/bin/x86_64-apple-darwin-ranlib \
|
||||
-DLINKER_NAME=${CCTOOLS}/bin/x86_64-apple-darwin-ld
|
||||
ninja -C build-osx
|
||||
```
|
||||
|
||||
Полученный двоичный файл будет иметь исполняемый формат Mach-O и не может быть запущен в Linux.
|
||||
1
docs/ru/development/build_cross_osx.md
Symbolic link
1
docs/ru/development/build_cross_osx.md
Symbolic link
@ -0,0 +1 @@
|
||||
en/development/build_cross_osx.md
|
||||
@ -1,91 +0,0 @@
|
||||
---
|
||||
machine_translated: true
|
||||
machine_translated_rev: 1cd5f0028d917696daf71ac1c9ee849c99c1d5c8
|
||||
---
|
||||
|
||||
# Как построить ClickHouse на Mac OS X {#how-to-build-clickhouse-on-mac-os-x}
|
||||
|
||||
Сборка должна работать на Mac OS X 10.15 (Catalina)
|
||||
|
||||
## Установите Homebrew {#install-homebrew}
|
||||
|
||||
``` bash
|
||||
$ /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
|
||||
```
|
||||
|
||||
## Установите необходимые компиляторы, инструменты и библиотеки {#install-required-compilers-tools-and-libraries}
|
||||
|
||||
``` bash
|
||||
$ brew install cmake ninja libtool gettext
|
||||
```
|
||||
|
||||
## Проверка Источников ClickHouse {#checkout-clickhouse-sources}
|
||||
|
||||
``` bash
|
||||
$ git clone --recursive git@github.com:ClickHouse/ClickHouse.git
|
||||
```
|
||||
|
||||
или
|
||||
|
||||
``` bash
|
||||
$ git clone --recursive https://github.com/ClickHouse/ClickHouse.git
|
||||
|
||||
$ cd ClickHouse
|
||||
```
|
||||
|
||||
## Построить ClickHouse {#build-clickhouse}
|
||||
|
||||
``` bash
|
||||
$ mkdir build
|
||||
$ cd build
|
||||
$ cmake .. -DCMAKE_CXX_COMPILER=`which clang++` -DCMAKE_C_COMPILER=`which clang`
|
||||
$ ninja
|
||||
$ cd ..
|
||||
```
|
||||
|
||||
## Предостережения {#caveats}
|
||||
|
||||
Если вы собираетесь запустить clickhouse-сервер, убедитесь в том, чтобы увеличить параметром maxfiles системная переменная.
|
||||
|
||||
!!! info "Примечание"
|
||||
Вам нужно будет использовать sudo.
|
||||
|
||||
Для этого создайте следующий файл:
|
||||
|
||||
/Библиотека / LaunchDaemons / limit.параметром maxfiles.файл plist:
|
||||
|
||||
``` xml
|
||||
<?xml version="1.0" encoding="UTF-8"?>
|
||||
<!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN"
|
||||
"http://www.apple.com/DTDs/PropertyList-1.0.dtd">
|
||||
<plist version="1.0">
|
||||
<dict>
|
||||
<key>Label</key>
|
||||
<string>limit.maxfiles</string>
|
||||
<key>ProgramArguments</key>
|
||||
<array>
|
||||
<string>launchctl</string>
|
||||
<string>limit</string>
|
||||
<string>maxfiles</string>
|
||||
<string>524288</string>
|
||||
<string>524288</string>
|
||||
</array>
|
||||
<key>RunAtLoad</key>
|
||||
<true/>
|
||||
<key>ServiceIPC</key>
|
||||
<false/>
|
||||
</dict>
|
||||
</plist>
|
||||
```
|
||||
|
||||
Выполните следующую команду:
|
||||
|
||||
``` bash
|
||||
$ sudo chown root:wheel /Library/LaunchDaemons/limit.maxfiles.plist
|
||||
```
|
||||
|
||||
Перезагрузить.
|
||||
|
||||
Чтобы проверить, работает ли он, вы можете использовать `ulimit -n` команда.
|
||||
|
||||
[Оригинальная статья](https://clickhouse.tech/docs/en/development/build_osx/) <!--hide-->
|
||||
1
docs/ru/development/build_osx.md
Symbolic link
1
docs/ru/development/build_osx.md
Symbolic link
@ -0,0 +1 @@
|
||||
en/development/build_osx.md
|
||||
@ -1,8 +0,0 @@
|
||||
---
|
||||
machine_translated: true
|
||||
machine_translated_rev: 1cd5f0028d917696daf71ac1c9ee849c99c1d5c8
|
||||
---
|
||||
|
||||
# Разработка ClickHouse {#clickhouse-development}
|
||||
|
||||
[Оригинальная статья](https://clickhouse.tech/docs/en/development/) <!--hide-->
|
||||
1
docs/ru/development/index.md
Symbolic link
1
docs/ru/development/index.md
Symbolic link
@ -0,0 +1 @@
|
||||
en/development/index.md
|
||||
@ -1,250 +0,0 @@
|
||||
---
|
||||
machine_translated: true
|
||||
machine_translated_rev: 1cd5f0028d917696daf71ac1c9ee849c99c1d5c8
|
||||
---
|
||||
|
||||
# Тестирование ClickHouse {#clickhouse-testing}
|
||||
|
||||
## Функциональные пробы {#functional-tests}
|
||||
|
||||
Функциональные тесты являются наиболее простыми и удобными в использовании. Большинство функций ClickHouse можно протестировать с помощью функциональных тестов, и они обязательны для использования при каждом изменении кода ClickHouse, которое может быть протестировано таким образом.
|
||||
|
||||
Каждый функциональный тест отправляет один или несколько запросов на запущенный сервер ClickHouse и сравнивает результат со ссылкой.
|
||||
|
||||
Тесты расположены в `queries` каталог. Существует два подкаталога: `stateless` и `stateful`. Тесты без состояния выполняют запросы без каких - либо предварительно загруженных тестовых данных-они часто создают небольшие синтетические наборы данных на лету, в самом тесте. Статусные тесты требуют предварительно загруженных тестовых данных от Яндекса.Метрика и не доступна широкой публике. Мы склонны использовать только `stateless` тесты и избегайте добавления новых `stateful` тесты.
|
||||
|
||||
Каждый тест может быть одного из двух типов: `.sql` и `.sh`. `.sql` тест - это простой SQL-скрипт, который передается по конвейеру в `clickhouse-client --multiquery --testmode`. `.sh` тест - это скрипт, который запускается сам по себе.
|
||||
|
||||
Чтобы выполнить все тесты, используйте `testskhouse-test` инструмент. Смотри `--help` для списка возможных вариантов. Вы можете просто запустить все тесты или запустить подмножество тестов, отфильтрованных по подстроке в имени теста: `./clickhouse-test substring`.
|
||||
|
||||
Самый простой способ вызвать функциональные тесты-это скопировать `clickhouse-client` к `/usr/bin/`, бежать `clickhouse-server` а потом бежать `./clickhouse-test` из собственного каталога.
|
||||
|
||||
Чтобы добавить новый тест, создайте `.sql` или `.sh` файл в `queries/0_stateless` каталог, проверьте его вручную, а затем сгенерируйте `.reference` файл создается следующим образом: `clickhouse-client -n --testmode < 00000_test.sql > 00000_test.reference` или `./00000_test.sh > ./00000_test.reference`.
|
||||
|
||||
Тесты должны использовать (создавать, отбрасывать и т. д.) Только таблицы в `test` предполагается, что база данных создается заранее; также тесты могут использовать временные таблицы.
|
||||
|
||||
Если вы хотите использовать распределенные запросы в функциональных тестах, вы можете использовать их в качестве рычагов `remote` функция таблицы с `127.0.0.{1..2}` адреса для запроса самого сервера; или вы можете использовать предопределенные тестовые кластеры в файле конфигурации сервера, например `test_shard_localhost`.
|
||||
|
||||
Некоторые тесты помечены знаком `zookeeper`, `shard` или `long` в своем названии.
|
||||
`zookeeper` это для тестов, которые используют ZooKeeper. `shard` это для тестов, что
|
||||
требуется сервер для прослушивания `127.0.0.*`; `distributed` или `global` есть то же самое
|
||||
значение. `long` это для тестов, которые работают немного дольше, чем одна секунда. Ты можешь
|
||||
отключите эти группы тестов с помощью `--no-zookeeper`, `--no-shard` и
|
||||
`--no-long` варианты, соответственно.
|
||||
|
||||
## Известная ошибка {#known-bugs}
|
||||
|
||||
Если мы знаем некоторые ошибки, которые могут быть легко воспроизведены функциональными тестами, мы помещаем подготовленные функциональные тесты в `queries/bugs` каталог. Эти тесты будут перенесены в `teststests_stateless` когда ошибки будут исправлены.
|
||||
|
||||
## Интеграционные Тесты {#integration-tests}
|
||||
|
||||
Интеграционные тесты позволяют тестировать ClickHouse в кластерной конфигурации и взаимодействие ClickHouse с другими серверами, такими как MySQL, Postgres, MongoDB. Они полезны для эмуляции сетевых разбиений, отбрасывания пакетов и т. д. Эти тесты выполняются в Docker и создают несколько контейнеров с различным программным обеспечением.
|
||||
|
||||
Видеть `testsgration/README.md` о том, как проводить эти тесты.
|
||||
|
||||
Обратите внимание, что интеграция ClickHouse со сторонними драйверами не тестируется. Кроме того, в настоящее время у нас нет интеграционных тестов с нашими драйверами JDBC и ODBC.
|
||||
|
||||
## Модульное тестирование {#unit-tests}
|
||||
|
||||
Модульные тесты полезны, если вы хотите протестировать не весь ClickHouse в целом, а одну изолированную библиотеку или класс. Вы можете включить или отключить сборку тестов с помощью `ENABLE_TESTS` Вариант CMake. Модульные тесты (и другие тестовые программы) расположены в `tests` подкаталоги по всему коду. Чтобы запустить модульные тесты, введите `ninja test`. Некоторые тесты используют `gtest`, но некоторые из них-это просто программы, которые возвращают ненулевой код выхода при сбое теста.
|
||||
|
||||
Не обязательно иметь модульные тесты, Если код уже охвачен функциональными тестами (а функциональные тесты обычно гораздо более просты в использовании).
|
||||
|
||||
## Эксплуатационное испытание {#performance-tests}
|
||||
|
||||
Тесты производительности позволяют измерять и сравнивать производительность некоторой изолированной части ClickHouse по синтетическим запросам. Тесты расположены по адресу `tests/performance`. Каждый тест представлен следующим образом `.xml` файл с описанием тестового случая. Тесты выполняются с помощью `clickhouse performance-test` инструмент (который встроен в `clickhouse` двоичный). Видеть `--help` для призыва.
|
||||
|
||||
Каждый тест запускает один или несколько запросов (возможно, с комбинациями параметров) в цикле с некоторыми условиями остановки (например «maximum execution speed is not changing in three seconds») и измерьте некоторые показатели производительности запросов (например, «maximum execution speed»). Некоторые тесты могут содержать предварительные условия для предварительно загруженного тестового набора данных.
|
||||
|
||||
Если вы хотите улучшить производительность ClickHouse в каком-то сценарии, и если улучшения могут наблюдаться в простых запросах, настоятельно рекомендуется написать тест производительности. Это всегда имеет смысл использовать `perf top` или другие инструменты perf во время ваших тестов.
|
||||
|
||||
## Инструменты И Сценарии Тестирования {#test-tools-and-scripts}
|
||||
|
||||
Некоторые программы в `tests` каталог-это не подготовленные тесты, а инструменты тестирования. Например, для `Lexer` есть такой инструмент `dbms/Parsers/tests/lexer` это просто делает токенизацию stdin и записывает раскрашенный результат в stdout. Вы можете использовать эти инструменты в качестве примеров кода, а также для исследования и ручного тестирования.
|
||||
|
||||
Вы также можете разместить пару файлов `.sh` и `.reference` вместе с инструментом нужно запустить его на каком - то заранее заданном входе- тогда результат скрипта можно сравнить с `.reference` файл. Такого рода тесты не автоматизированы.
|
||||
|
||||
## Различные Тесты {#miscellanous-tests}
|
||||
|
||||
Существуют тесты для внешних словарей, расположенных по адресу `tests/external_dictionaries` и для машинно-обученных моделей в `tests/external_models`. Эти тесты не обновляются и должны быть перенесены в интеграционные тесты.
|
||||
|
||||
Существует отдельный тест для вставки кворума. Этот тест запускает кластер ClickHouse на отдельных серверах и эмулирует различные случаи сбоя: разделение сети, отбрасывание пакетов (между узлами ClickHouse, между ClickHouse и ZooKeeper, между сервером ClickHouse и клиентом и т. д.), `kill -9`, `kill -STOP` и `kill -CONT` , любить [Джепсен](https://aphyr.com/tags/Jepsen). Затем тест проверяет, что все признанные вставки были записаны, а все отклоненные вставки-нет.
|
||||
|
||||
Тест кворума был написан отдельной командой еще до того, как ClickHouse стал открытым исходным кодом. Эта команда больше не работает с ClickHouse. Тест был случайно написан на Java. По этим причинам тест кворума должен быть переписан и перенесен в интеграционные тесты.
|
||||
|
||||
## Ручное тестирование {#manual-testing}
|
||||
|
||||
Когда вы разрабатываете новую функцию, разумно также протестировать ее вручную. Вы можете сделать это с помощью следующих шагов:
|
||||
|
||||
Постройте ClickHouse. Запустите ClickHouse из терминала: измените каталог на `programs/clickhouse-server` и запустить его с помощью `./clickhouse-server`. Он будет использовать конфигурацию (`config.xml`, `users.xml` и файлы внутри `config.d` и `users.d` каталоги) из текущего каталога по умолчанию. Чтобы подключиться к серверу ClickHouse, выполните команду `programs/clickhouse-client/clickhouse-client`.
|
||||
|
||||
Обратите внимание, что все инструменты clickhouse (сервер, клиент и т. д.) являются просто символическими ссылками на один двоичный файл с именем `clickhouse`. Вы можете найти этот двоичный файл по адресу `programs/clickhouse`. Все инструменты также могут быть вызваны как `clickhouse tool` вместо `clickhouse-tool`.
|
||||
|
||||
В качестве альтернативы вы можете установить пакет ClickHouse: либо стабильный релиз из репозитория Яндекса, либо вы можете построить пакет для себя с помощью `./release` в корне источников ClickHouse. Затем запустите сервер с помощью `sudo service clickhouse-server start` (или остановить, чтобы остановить сервер). Ищите журналы по адресу `/etc/clickhouse-server/clickhouse-server.log`.
|
||||
|
||||
Когда ClickHouse уже установлен в вашей системе, вы можете построить новый `clickhouse` двоичный код и заменить существующий двоичный код:
|
||||
|
||||
``` bash
|
||||
$ sudo service clickhouse-server stop
|
||||
$ sudo cp ./clickhouse /usr/bin/
|
||||
$ sudo service clickhouse-server start
|
||||
```
|
||||
|
||||
Также вы можете остановить системный clickhouse-сервер и запустить свой собственный с той же конфигурацией, но с регистрацией в терминал:
|
||||
|
||||
``` bash
|
||||
$ sudo service clickhouse-server stop
|
||||
$ sudo -u clickhouse /usr/bin/clickhouse server --config-file /etc/clickhouse-server/config.xml
|
||||
```
|
||||
|
||||
Пример с gdb:
|
||||
|
||||
``` bash
|
||||
$ sudo -u clickhouse gdb --args /usr/bin/clickhouse server --config-file /etc/clickhouse-server/config.xml
|
||||
```
|
||||
|
||||
Если системный clickhouse-сервер уже запущен, и вы не хотите его останавливать, вы можете изменить номера портов в своей системе. `config.xml` (или переопределить их в файле внутри `config.d` каталог), укажите соответствующий путь к данным и запустите его.
|
||||
|
||||
`clickhouse` binary почти не имеет зависимостей и работает в широком диапазоне дистрибутивов Linux. Чтобы быстро и грязно протестировать свои изменения на сервере, вы можете просто `scp` ваша свежая постройка `clickhouse` двоичный файл на ваш сервер, а затем запустите его, как в приведенных выше примерах.
|
||||
|
||||
## Тестовая среда {#testing-environment}
|
||||
|
||||
Перед публикацией релиза как стабильного мы развертываем его в тестовой среде. Среда тестирования-это кластер, который обрабатывает 1/39 часть [Яндекс.Метрика](https://metrica.yandex.com/) данные. Мы делимся нашей тестовой средой с Яндексом.Команда метрики. ClickHouse обновляется без простоев поверх существующих данных. Мы смотрим сначала на то, что данные обрабатываются успешно, не отставая от реального времени, репликация продолжает работать и нет никаких проблем, видимых Яндексу.Команда метрики. Первую проверку можно провести следующим образом:
|
||||
|
||||
``` sql
|
||||
SELECT hostName() AS h, any(version()), any(uptime()), max(UTCEventTime), count() FROM remote('example01-01-{1..3}t', merge, hits) WHERE EventDate >= today() - 2 GROUP BY h ORDER BY h;
|
||||
```
|
||||
|
||||
В некоторых случаях мы также развернуть на тестирование среды нашего друга команды Яндекса: Маркет, облако и т. д. Кроме того, у нас есть некоторые аппаратные серверы, которые используются для целей разработки.
|
||||
|
||||
## Нагрузочное тестирование {#load-testing}
|
||||
|
||||
После развертывания в среде тестирования мы запускаем нагрузочное тестирование с запросами из производственного кластера. Это делается вручную.
|
||||
|
||||
Убедитесь, что вы включили `query_log` на вашем производственном кластере.
|
||||
|
||||
Сбор журнала запросов в течение одного или нескольких дней:
|
||||
|
||||
``` bash
|
||||
$ clickhouse-client --query="SELECT DISTINCT query FROM system.query_log WHERE event_date = today() AND query LIKE '%ym:%' AND query NOT LIKE '%system.query_log%' AND type = 2 AND is_initial_query" > queries.tsv
|
||||
```
|
||||
|
||||
Это очень сложный пример. `type = 2` будет фильтровать запросы, которые выполняются успешно. `query LIKE '%ym:%'` это выбор релевантных запросов от Яндекса.Метрика. `is_initial_query` это выбор только тех запросов, которые инициируются клиентом, а не самим ClickHouse (как части распределенной обработки запросов).
|
||||
|
||||
`scp` это войдите в свой тестовый кластер и запустите его следующим образом:
|
||||
|
||||
``` bash
|
||||
$ clickhouse benchmark --concurrency 16 < queries.tsv
|
||||
```
|
||||
|
||||
(вероятно, вы также хотите указать a `--user`)
|
||||
|
||||
Затем оставьте его на ночь или выходные и идите отдыхать.
|
||||
|
||||
Вы должны это проверить `clickhouse-server` не дает сбоя, объем памяти ограничен, а производительность не ухудшается с течением времени.
|
||||
|
||||
Точные тайминги выполнения запросов не регистрируются и не сравниваются из-за высокой вариативности запросов и окружающей среды.
|
||||
|
||||
## Построение Тестов {#build-tests}
|
||||
|
||||
Тесты сборки позволяют проверить, что сборка не нарушается на различных альтернативных конфигурациях и на некоторых зарубежных системах. Тесты расположены по адресу `ci` каталог. Они запускают сборку из исходного кода внутри Docker, Vagrant, а иногда и с помощью `qemu-user-static` внутри Докер. Эти тесты находятся в стадии разработки, и тестовые запуски не автоматизированы.
|
||||
|
||||
Мотивация:
|
||||
|
||||
Обычно мы выпускаем и запускаем все тесты на одном варианте сборки ClickHouse. Но есть и альтернативные варианты сборки, которые не проходят тщательной проверки. Примеры:
|
||||
|
||||
- сборка на FreeBSD;
|
||||
- сборка на Debian с библиотеками из системных пакетов;
|
||||
- сборка с общим связыванием библиотек;
|
||||
- построить на платформе AArch64 ;
|
||||
- постройте на платформе PowerPc.
|
||||
|
||||
Например, сборка с системными пакетами-это плохая практика, потому что мы не можем гарантировать, какая именно версия пакетов будет у системы. Но это действительно необходимо сопровождающим Debian. По этой причине мы, по крайней мере, должны поддерживать этот вариант сборки. Другой пример: Общие ссылки-это общий источник проблем, но он необходим для некоторых энтузиастов.
|
||||
|
||||
Хотя мы не можем выполнить все тесты на всех вариантах сборки, мы хотим проверить, по крайней мере, что различные варианты сборки не нарушены. Для этого мы используем тесты сборки.
|
||||
|
||||
## Тестирование Совместимости Протоколов {#testing-for-protocol-compatibility}
|
||||
|
||||
Когда мы расширяем сетевой протокол ClickHouse, мы вручную проверяем, что старый clickhouse-клиент работает с новым clickhouse-сервером, а новый clickhouse-клиент работает со старым clickhouse-сервером (просто запустив двоичные файлы из соответствующих пакетов).
|
||||
|
||||
## Помощь От Компилятора {#help-from-the-compiler}
|
||||
|
||||
Основной код ClickHouse (который находится в `dbms` каталог) строится с помощью `-Wall -Wextra -Werror` и с некоторыми дополнительными включенными предупреждениями. Хотя эти параметры не включены для сторонних библиотек.
|
||||
|
||||
У Clang есть еще более полезные предупреждения - вы можете искать их с помощью `-Weverything` и выберите что-то для сборки по умолчанию.
|
||||
|
||||
Для производственных сборок используется gcc (он все еще генерирует немного более эффективный код, чем clang). Для развития, лязгают, как правило, более удобны в использовании. Вы можете построить на своей собственной машине с режимом отладки (чтобы сэкономить батарею вашего ноутбука), но обратите внимание, что компилятор способен генерировать больше предупреждений с помощью `-O3` благодаря лучшему потоку управления и межпроцедурному анализу. При строительстве с лязгом, `libc++` используется вместо `libstdc++` и при построении с режимом отладки, отладочная версия `libc++` используется, что позволяет ловить больше ошибок во время выполнения.
|
||||
|
||||
## Дезинфицирующее средство {#sanitizers}
|
||||
|
||||
**Адрес дезинфицирующее средство**.
|
||||
Мы проводим функциональные и интеграционные тесты в асане на фиксации основы.
|
||||
|
||||
**С Valgrind (Помощи Valgrind)**.
|
||||
Мы проводим функциональные тесты под Valgrind ночь. Это займет несколько часов. В настоящее время существует один известный ложноположительный результат в `re2` библиотека, см. [эта статья](https://research.swtch.com/sparse).
|
||||
|
||||
**Неопределенное поведение дезинфицирующего средства.**
|
||||
Мы проводим функциональные и интеграционные тесты в асане на фиксации основы.
|
||||
|
||||
**Дезинфицирующее средство для нитей**.
|
||||
Мы проводим функциональные тесты в рамках TSan на основе per-commit. Мы все еще не запускаем интеграционные тесты под TSan на основе per-commit.
|
||||
|
||||
**Дезинфицирующее средство для памяти**.
|
||||
В настоящее время мы все еще не используем MSan.
|
||||
|
||||
**Отладочный распределитель.**
|
||||
Отладочная версия `jemalloc` используется для отладки сборки.
|
||||
|
||||
## Затуманивающего {#fuzzing}
|
||||
|
||||
Мы используем простой тест fuzz для генерации случайных SQL-запросов и проверки того, что сервер не умирает. Тестирование пуха проводится с помощью адресного дезинфицирующего средства. Вы можете найти его в `00746_sql_fuzzy.pl`. Этот тест следует проводить непрерывно (в течение ночи и дольше).
|
||||
|
||||
По состоянию на декабрь 2018 года мы все еще не используем изолированное тестирование fuzz библиотечного кода.
|
||||
|
||||
## Аудит безопасности {#security-audit}
|
||||
|
||||
Люди из облачного отдела Яндекса делают некоторый базовый обзор возможностей ClickHouse с точки зрения безопасности.
|
||||
|
||||
## Статический анализатор {#static-analyzers}
|
||||
|
||||
Мы бежим `PVS-Studio` на основе каждой фиксации. Мы провели оценку `clang-tidy`, `Coverity`, `cppcheck`, `PVS-Studio`, `tscancode`. Вы найдете инструкции по использованию в `tests/instructions/` каталог. Кроме того, вы можете читать [статья на русском языке](https://habr.com/company/yandex/blog/342018/).
|
||||
|
||||
Если вы используете `CLion` как IDE, вы можете использовать некоторые из них `clang-tidy` выписывает чеки из коробки.
|
||||
|
||||
## Затвердение {#hardening}
|
||||
|
||||
`FORTIFY_SOURCE` используется по умолчанию. Это почти бесполезно, но все же имеет смысл в редких случаях, и мы не отключаем его.
|
||||
|
||||
## Стиль Кода {#code-style}
|
||||
|
||||
Описаны правила стиля кода [здесь](https://clickhouse.tech/docs/en/development/style/).
|
||||
|
||||
Чтобы проверить наличие некоторых распространенных нарушений стиля, вы можете использовать `utils/check-style` скрипт.
|
||||
|
||||
Чтобы принудительно создать правильный стиль вашего кода, Вы можете использовать `clang-format`. Файл `.clang-format` находится в корне источника. Это в основном соответствует нашему фактическому стилю кода. Но применять его не рекомендуется `clang-format` к существующим файлам, потому что это ухудшает форматирование. Вы можете использовать `clang-format-diff` инструмент, который вы можете найти в репозитории Clang source.
|
||||
|
||||
В качестве альтернативы вы можете попробовать `uncrustify` инструмент для переформатирования вашего кода. Конфигурации в `uncrustify.cfg` в корне источников. Это меньше, чем `clang-format`.
|
||||
|
||||
`CLion` имеет свой собственный формататор кода, который должен быть настроен для нашего стиля кода.
|
||||
|
||||
## В2В метрика тесты {#metrica-b2b-tests}
|
||||
|
||||
Каждый релиз ClickHouse тестируется с помощью движков Yandex Metrica и AppMetrica. Тестовые и стабильные версии ClickHouse развертываются на виртуальных машинах и запускаются с небольшой копией движка Metrica engine, который обрабатывает фиксированную выборку входных данных. Затем результаты двух экземпляров двигателя Metrica сравниваются вместе.
|
||||
|
||||
Эти тесты автоматизированы отдельной командой. Из-за большого количества движущихся частей тесты чаще всего проваливаются по совершенно несвязанным причинам, которые очень трудно выяснить. Скорее всего, эти тесты имеют для нас отрицательное значение. Тем не менее эти тесты оказались полезными примерно в одном или двух случаях из сотен.
|
||||
|
||||
## Тестовое покрытие {#test-coverage}
|
||||
|
||||
По состоянию на июль 2018 года мы не отслеживаем покрытие тестов.
|
||||
|
||||
## Автоматизация тестирования {#test-automation}
|
||||
|
||||
Мы проводим тесты с помощью внутренней CI Яндекса и системы автоматизации заданий под названием «Sandbox».
|
||||
|
||||
Задания сборки и тесты выполняются в песочнице на основе каждой фиксации. Полученные пакеты и результаты тестирования публикуются на GitHub и могут быть загружены по прямым ссылкам. Артефакты хранятся вечно. Когда вы отправляете запрос на вытягивание на GitHub, мы помечаем его как «can be tested» и наша система CI построит пакеты ClickHouse (release, debug, with address sanitizer и т. д.) Для вас.
|
||||
|
||||
Мы не используем Travis CI из-за ограничения по времени и вычислительной мощности.
|
||||
Мы не используем Дженкинса. Он был использован раньше, и теперь мы счастливы, что не используем Дженкинса.
|
||||
|
||||
[Оригинальная статья](https://clickhouse.tech/docs/en/development/tests/) <!--hide-->
|
||||
разработка / испытания/) <!--hide-->
|
||||
1
docs/ru/development/tests.md
Symbolic link
1
docs/ru/development/tests.md
Symbolic link
@ -0,0 +1 @@
|
||||
en/development/tests.md
|
||||
@ -1,59 +0,0 @@
|
||||
---
|
||||
machine_translated: true
|
||||
machine_translated_rev: 1cd5f0028d917696daf71ac1c9ee849c99c1d5c8
|
||||
---
|
||||
|
||||
# GenerateRandom {#table_engines-generate}
|
||||
|
||||
Механизм генерации случайных таблиц генерирует случайные данные для данной схемы таблиц.
|
||||
|
||||
Примеры употребления:
|
||||
|
||||
- Используйте в тесте для заполнения воспроизводимого большого стола.
|
||||
- Генерируйте случайные входные данные для тестов размытия.
|
||||
|
||||
## Использование в сервере ClickHouse {#usage-in-clickhouse-server}
|
||||
|
||||
``` sql
|
||||
ENGINE = GenerateRandom(random_seed, max_string_length, max_array_length)
|
||||
```
|
||||
|
||||
То `max_array_length` и `max_string_length` параметры укажите максимальную длину всех
|
||||
столбцы массива и строки соответственно в генерируемых данных.
|
||||
|
||||
Генерация таблицы движок поддерживает только `SELECT` запросы.
|
||||
|
||||
Он поддерживает все [Тип данных](../../../engines/table_engines/special/generate.md) это может быть сохранено в таблице за исключением `LowCardinality` и `AggregateFunction`.
|
||||
|
||||
**Пример:**
|
||||
|
||||
**1.** Настройка системы `generate_engine_table` стол:
|
||||
|
||||
``` sql
|
||||
CREATE TABLE generate_engine_table (name String, value UInt32) ENGINE = GenerateRandom(1, 5, 3)
|
||||
```
|
||||
|
||||
**2.** Запрос данных:
|
||||
|
||||
``` sql
|
||||
SELECT * FROM generate_engine_table LIMIT 3
|
||||
```
|
||||
|
||||
``` text
|
||||
┌─name─┬──────value─┐
|
||||
│ c4xJ │ 1412771199 │
|
||||
│ r │ 1791099446 │
|
||||
│ 7#$ │ 124312908 │
|
||||
└──────┴────────────┘
|
||||
```
|
||||
|
||||
## Детали внедрения {#details-of-implementation}
|
||||
|
||||
- Не поддерживаемый:
|
||||
- `ALTER`
|
||||
- `SELECT ... SAMPLE`
|
||||
- `INSERT`
|
||||
- Индексы
|
||||
- Копирование
|
||||
|
||||
[Оригинальная статья](https://clickhouse.tech/docs/en/operations/table_engines/generate/) <!--hide-->
|
||||
1
docs/ru/engines/table_engines/special/generate.md
Symbolic link
1
docs/ru/engines/table_engines/special/generate.md
Symbolic link
@ -0,0 +1 @@
|
||||
en/engines/table_engines/special/generate.md
|
||||
@ -1,669 +0,0 @@
|
||||
---
|
||||
machine_translated: true
|
||||
machine_translated_rev: 1cd5f0028d917696daf71ac1c9ee849c99c1d5c8
|
||||
---
|
||||
|
||||
# Учебник По Клик-Хаусу {#clickhouse-tutorial}
|
||||
|
||||
## Чего ожидать от этого урока? {#what-to-expect-from-this-tutorial}
|
||||
|
||||
Пройдя через этот учебник,вы узнаете, как настроить простой кластер ClickHouse. Он будет небольшим, но отказоустойчивым и масштабируемым. Затем мы будем использовать один из примеров наборов данных, чтобы заполнить его данными и выполнить некоторые демонстрационные запросы.
|
||||
|
||||
## Настройка Одного Узла {#single-node-setup}
|
||||
|
||||
Чтобы избежать сложностей распределенной среды, мы начнем с развертывания ClickHouse на одном сервере или виртуальной машине. ClickHouse обычно устанавливается из [дебютантка](install.md#install-from-deb-packages) или [оборотов в минуту](install.md#from-rpm-packages) пакеты, но есть и такие [альтернативы](install.md#from-docker-image) для операционных систем, которые их не поддерживают.
|
||||
|
||||
Например, вы выбрали `deb` пакеты и выполненные работы:
|
||||
|
||||
``` bash
|
||||
sudo apt-get install dirmngr
|
||||
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv E0C56BD4
|
||||
|
||||
echo "deb http://repo.clickhouse.tech/deb/stable/ main/" | sudo tee /etc/apt/sources.list.d/clickhouse.list
|
||||
sudo apt-get update
|
||||
|
||||
sudo apt-get install -y clickhouse-server clickhouse-client
|
||||
```
|
||||
|
||||
Что у нас есть в пакетах, которые были установлены:
|
||||
|
||||
- `clickhouse-client` пакет содержит [clickhouse-клиент](../interfaces/cli.md) приложение, интерактивный консольный клиент ClickHouse.
|
||||
- `clickhouse-common` пакет содержит исполняемый файл ClickHouse.
|
||||
- `clickhouse-server` пакет содержит файлы конфигурации для запуска ClickHouse в качестве сервера.
|
||||
|
||||
Файлы конфигурации сервера находятся в `/etc/clickhouse-server/`. Прежде чем идти дальше, пожалуйста, обратите внимание на `<path>` элемент в `config.xml`. Путь определяет место для хранения данных, поэтому он должен быть расположен на Томе с большой емкостью диска; значение по умолчанию равно `/var/lib/clickhouse/`. Если вы хотите настроить конфигурацию, то это не удобно для непосредственного редактирования `config.xml` файл, учитывая, что он может быть переписан при будущих обновлениях пакета. Рекомендуемый способ переопределения элементов конфигурации заключается в создании [файлы в конфигурации.D каталог](../operations/configuration_files.md) которые служат в качестве «patches» к конфигурации.XML.
|
||||
|
||||
Как вы могли заметить, `clickhouse-server` не запускается автоматически после установки пакета. Он также не будет автоматически перезапущен после обновления. То, как вы запускаете сервер, зависит от вашей системы init, как правило, это так:
|
||||
|
||||
``` bash
|
||||
sudo service clickhouse-server start
|
||||
```
|
||||
|
||||
или
|
||||
|
||||
``` bash
|
||||
sudo /etc/init.d/clickhouse-server start
|
||||
```
|
||||
|
||||
По умолчанию для журналов сервера используется следующее расположение `/var/log/clickhouse-server/`. Сервер готов к обработке клиентских подключений, как только он регистрирует `Ready for connections` сообщение.
|
||||
|
||||
Как только это произойдет `clickhouse-server` все готово и работает, мы можем использовать `clickhouse-client` чтобы подключиться к серверу и выполнить некоторые тестовые запросы, такие как `SELECT "Hello, world!";`.
|
||||
|
||||
<details markdown="1">
|
||||
|
||||
<summary>Быстрые советы для clickhouse-клиента</summary>
|
||||
Интерактивный режим:
|
||||
|
||||
``` bash
|
||||
clickhouse-client
|
||||
clickhouse-client --host=... --port=... --user=... --password=...
|
||||
```
|
||||
|
||||
Включить многострочные запросы:
|
||||
|
||||
``` bash
|
||||
clickhouse-client -m
|
||||
clickhouse-client --multiline
|
||||
```
|
||||
|
||||
Запуск запросов в пакетном режиме:
|
||||
|
||||
``` bash
|
||||
clickhouse-client --query='SELECT 1'
|
||||
echo 'SELECT 1' | clickhouse-client
|
||||
clickhouse-client <<< 'SELECT 1'
|
||||
```
|
||||
|
||||
Вставка данных из файла в заданном формате:
|
||||
|
||||
``` bash
|
||||
clickhouse-client --query='INSERT INTO table VALUES' < data.txt
|
||||
clickhouse-client --query='INSERT INTO table FORMAT TabSeparated' < data.tsv
|
||||
```
|
||||
|
||||
</details>
|
||||
|
||||
## Импорт Образца Набора Данных {#import-sample-dataset}
|
||||
|
||||
Теперь пришло время заполнить наш сервер ClickHouse некоторыми образцами данных. В этом уроке мы будем использовать анонимизированные данные Яндекса.Metrica, первый сервис, который запускает ClickHouse в производственном режиме до того, как он стал открытым исходным кодом (подробнее об этом в [раздел истории](../introduction/history.md)). Есть [несколько способов импорта Яндекса.Набор метрика](example_datasets/metrica.md), и ради учебника мы пойдем с самым реалистичным из них.
|
||||
|
||||
### Загрузка и извлечение данных таблицы {#download-and-extract-table-data}
|
||||
|
||||
``` bash
|
||||
curl https://clickhouse-datasets.s3.yandex.net/hits/tsv/hits_v1.tsv.xz | unxz --threads=`nproc` > hits_v1.tsv
|
||||
curl https://clickhouse-datasets.s3.yandex.net/visits/tsv/visits_v1.tsv.xz | unxz --threads=`nproc` > visits_v1.tsv
|
||||
```
|
||||
|
||||
Извлеченные файлы имеют размер около 10 ГБ.
|
||||
|
||||
### Создавать таблицы {#create-tables}
|
||||
|
||||
Как и в большинстве систем управления базами данных, ClickHouse логически группирует таблицы в «databases». Там есть еще один `default` база данных, но мы создадим новую с именем `tutorial`:
|
||||
|
||||
``` bash
|
||||
clickhouse-client --query "CREATE DATABASE IF NOT EXISTS tutorial"
|
||||
```
|
||||
|
||||
Синтаксис для создания таблиц намного сложнее по сравнению с базами данных (см. [ссылка](../sql_reference/statements/create.md). В общем `CREATE TABLE` в заявлении должны быть указаны три ключевых момента:
|
||||
|
||||
1. Имя таблицы для создания.
|
||||
2. Table schema, i.e. list of columns and their [тип данных](../sql_reference/data_types/index.md).
|
||||
3. [Настольный двигатель](../engines/table_engines/index.md) и это настройки, которые определяют все детали того, как запросы к этой таблице будут физически выполняться.
|
||||
|
||||
Яндекс.Metrica - это сервис веб-аналитики, и пример набора данных не охватывает его полную функциональность, поэтому для создания необходимо создать только две таблицы:
|
||||
|
||||
- `hits` это таблица с каждым действием, выполняемым всеми пользователями на всех веб-сайтах, охватываемых сервисом.
|
||||
- `visits` это таблица, которая содержит предварительно построенные сеансы вместо отдельных действий.
|
||||
|
||||
Давайте посмотрим и выполним реальные запросы create table для этих таблиц:
|
||||
|
||||
``` sql
|
||||
CREATE TABLE tutorial.hits_v1
|
||||
(
|
||||
`WatchID` UInt64,
|
||||
`JavaEnable` UInt8,
|
||||
`Title` String,
|
||||
`GoodEvent` Int16,
|
||||
`EventTime` DateTime,
|
||||
`EventDate` Date,
|
||||
`CounterID` UInt32,
|
||||
`ClientIP` UInt32,
|
||||
`ClientIP6` FixedString(16),
|
||||
`RegionID` UInt32,
|
||||
`UserID` UInt64,
|
||||
`CounterClass` Int8,
|
||||
`OS` UInt8,
|
||||
`UserAgent` UInt8,
|
||||
`URL` String,
|
||||
`Referer` String,
|
||||
`URLDomain` String,
|
||||
`RefererDomain` String,
|
||||
`Refresh` UInt8,
|
||||
`IsRobot` UInt8,
|
||||
`RefererCategories` Array(UInt16),
|
||||
`URLCategories` Array(UInt16),
|
||||
`URLRegions` Array(UInt32),
|
||||
`RefererRegions` Array(UInt32),
|
||||
`ResolutionWidth` UInt16,
|
||||
`ResolutionHeight` UInt16,
|
||||
`ResolutionDepth` UInt8,
|
||||
`FlashMajor` UInt8,
|
||||
`FlashMinor` UInt8,
|
||||
`FlashMinor2` String,
|
||||
`NetMajor` UInt8,
|
||||
`NetMinor` UInt8,
|
||||
`UserAgentMajor` UInt16,
|
||||
`UserAgentMinor` FixedString(2),
|
||||
`CookieEnable` UInt8,
|
||||
`JavascriptEnable` UInt8,
|
||||
`IsMobile` UInt8,
|
||||
`MobilePhone` UInt8,
|
||||
`MobilePhoneModel` String,
|
||||
`Params` String,
|
||||
`IPNetworkID` UInt32,
|
||||
`TraficSourceID` Int8,
|
||||
`SearchEngineID` UInt16,
|
||||
`SearchPhrase` String,
|
||||
`AdvEngineID` UInt8,
|
||||
`IsArtifical` UInt8,
|
||||
`WindowClientWidth` UInt16,
|
||||
`WindowClientHeight` UInt16,
|
||||
`ClientTimeZone` Int16,
|
||||
`ClientEventTime` DateTime,
|
||||
`SilverlightVersion1` UInt8,
|
||||
`SilverlightVersion2` UInt8,
|
||||
`SilverlightVersion3` UInt32,
|
||||
`SilverlightVersion4` UInt16,
|
||||
`PageCharset` String,
|
||||
`CodeVersion` UInt32,
|
||||
`IsLink` UInt8,
|
||||
`IsDownload` UInt8,
|
||||
`IsNotBounce` UInt8,
|
||||
`FUniqID` UInt64,
|
||||
`HID` UInt32,
|
||||
`IsOldCounter` UInt8,
|
||||
`IsEvent` UInt8,
|
||||
`IsParameter` UInt8,
|
||||
`DontCountHits` UInt8,
|
||||
`WithHash` UInt8,
|
||||
`HitColor` FixedString(1),
|
||||
`UTCEventTime` DateTime,
|
||||
`Age` UInt8,
|
||||
`Sex` UInt8,
|
||||
`Income` UInt8,
|
||||
`Interests` UInt16,
|
||||
`Robotness` UInt8,
|
||||
`GeneralInterests` Array(UInt16),
|
||||
`RemoteIP` UInt32,
|
||||
`RemoteIP6` FixedString(16),
|
||||
`WindowName` Int32,
|
||||
`OpenerName` Int32,
|
||||
`HistoryLength` Int16,
|
||||
`BrowserLanguage` FixedString(2),
|
||||
`BrowserCountry` FixedString(2),
|
||||
`SocialNetwork` String,
|
||||
`SocialAction` String,
|
||||
`HTTPError` UInt16,
|
||||
`SendTiming` Int32,
|
||||
`DNSTiming` Int32,
|
||||
`ConnectTiming` Int32,
|
||||
`ResponseStartTiming` Int32,
|
||||
`ResponseEndTiming` Int32,
|
||||
`FetchTiming` Int32,
|
||||
`RedirectTiming` Int32,
|
||||
`DOMInteractiveTiming` Int32,
|
||||
`DOMContentLoadedTiming` Int32,
|
||||
`DOMCompleteTiming` Int32,
|
||||
`LoadEventStartTiming` Int32,
|
||||
`LoadEventEndTiming` Int32,
|
||||
`NSToDOMContentLoadedTiming` Int32,
|
||||
`FirstPaintTiming` Int32,
|
||||
`RedirectCount` Int8,
|
||||
`SocialSourceNetworkID` UInt8,
|
||||
`SocialSourcePage` String,
|
||||
`ParamPrice` Int64,
|
||||
`ParamOrderID` String,
|
||||
`ParamCurrency` FixedString(3),
|
||||
`ParamCurrencyID` UInt16,
|
||||
`GoalsReached` Array(UInt32),
|
||||
`OpenstatServiceName` String,
|
||||
`OpenstatCampaignID` String,
|
||||
`OpenstatAdID` String,
|
||||
`OpenstatSourceID` String,
|
||||
`UTMSource` String,
|
||||
`UTMMedium` String,
|
||||
`UTMCampaign` String,
|
||||
`UTMContent` String,
|
||||
`UTMTerm` String,
|
||||
`FromTag` String,
|
||||
`HasGCLID` UInt8,
|
||||
`RefererHash` UInt64,
|
||||
`URLHash` UInt64,
|
||||
`CLID` UInt32,
|
||||
`YCLID` UInt64,
|
||||
`ShareService` String,
|
||||
`ShareURL` String,
|
||||
`ShareTitle` String,
|
||||
`ParsedParams` Nested(
|
||||
Key1 String,
|
||||
Key2 String,
|
||||
Key3 String,
|
||||
Key4 String,
|
||||
Key5 String,
|
||||
ValueDouble Float64),
|
||||
`IslandID` FixedString(16),
|
||||
`RequestNum` UInt32,
|
||||
`RequestTry` UInt8
|
||||
)
|
||||
ENGINE = MergeTree()
|
||||
PARTITION BY toYYYYMM(EventDate)
|
||||
ORDER BY (CounterID, EventDate, intHash32(UserID))
|
||||
SAMPLE BY intHash32(UserID)
|
||||
SETTINGS index_granularity = 8192
|
||||
```
|
||||
|
||||
``` sql
|
||||
CREATE TABLE tutorial.visits_v1
|
||||
(
|
||||
`CounterID` UInt32,
|
||||
`StartDate` Date,
|
||||
`Sign` Int8,
|
||||
`IsNew` UInt8,
|
||||
`VisitID` UInt64,
|
||||
`UserID` UInt64,
|
||||
`StartTime` DateTime,
|
||||
`Duration` UInt32,
|
||||
`UTCStartTime` DateTime,
|
||||
`PageViews` Int32,
|
||||
`Hits` Int32,
|
||||
`IsBounce` UInt8,
|
||||
`Referer` String,
|
||||
`StartURL` String,
|
||||
`RefererDomain` String,
|
||||
`StartURLDomain` String,
|
||||
`EndURL` String,
|
||||
`LinkURL` String,
|
||||
`IsDownload` UInt8,
|
||||
`TraficSourceID` Int8,
|
||||
`SearchEngineID` UInt16,
|
||||
`SearchPhrase` String,
|
||||
`AdvEngineID` UInt8,
|
||||
`PlaceID` Int32,
|
||||
`RefererCategories` Array(UInt16),
|
||||
`URLCategories` Array(UInt16),
|
||||
`URLRegions` Array(UInt32),
|
||||
`RefererRegions` Array(UInt32),
|
||||
`IsYandex` UInt8,
|
||||
`GoalReachesDepth` Int32,
|
||||
`GoalReachesURL` Int32,
|
||||
`GoalReachesAny` Int32,
|
||||
`SocialSourceNetworkID` UInt8,
|
||||
`SocialSourcePage` String,
|
||||
`MobilePhoneModel` String,
|
||||
`ClientEventTime` DateTime,
|
||||
`RegionID` UInt32,
|
||||
`ClientIP` UInt32,
|
||||
`ClientIP6` FixedString(16),
|
||||
`RemoteIP` UInt32,
|
||||
`RemoteIP6` FixedString(16),
|
||||
`IPNetworkID` UInt32,
|
||||
`SilverlightVersion3` UInt32,
|
||||
`CodeVersion` UInt32,
|
||||
`ResolutionWidth` UInt16,
|
||||
`ResolutionHeight` UInt16,
|
||||
`UserAgentMajor` UInt16,
|
||||
`UserAgentMinor` UInt16,
|
||||
`WindowClientWidth` UInt16,
|
||||
`WindowClientHeight` UInt16,
|
||||
`SilverlightVersion2` UInt8,
|
||||
`SilverlightVersion4` UInt16,
|
||||
`FlashVersion3` UInt16,
|
||||
`FlashVersion4` UInt16,
|
||||
`ClientTimeZone` Int16,
|
||||
`OS` UInt8,
|
||||
`UserAgent` UInt8,
|
||||
`ResolutionDepth` UInt8,
|
||||
`FlashMajor` UInt8,
|
||||
`FlashMinor` UInt8,
|
||||
`NetMajor` UInt8,
|
||||
`NetMinor` UInt8,
|
||||
`MobilePhone` UInt8,
|
||||
`SilverlightVersion1` UInt8,
|
||||
`Age` UInt8,
|
||||
`Sex` UInt8,
|
||||
`Income` UInt8,
|
||||
`JavaEnable` UInt8,
|
||||
`CookieEnable` UInt8,
|
||||
`JavascriptEnable` UInt8,
|
||||
`IsMobile` UInt8,
|
||||
`BrowserLanguage` UInt16,
|
||||
`BrowserCountry` UInt16,
|
||||
`Interests` UInt16,
|
||||
`Robotness` UInt8,
|
||||
`GeneralInterests` Array(UInt16),
|
||||
`Params` Array(String),
|
||||
`Goals` Nested(
|
||||
ID UInt32,
|
||||
Serial UInt32,
|
||||
EventTime DateTime,
|
||||
Price Int64,
|
||||
OrderID String,
|
||||
CurrencyID UInt32),
|
||||
`WatchIDs` Array(UInt64),
|
||||
`ParamSumPrice` Int64,
|
||||
`ParamCurrency` FixedString(3),
|
||||
`ParamCurrencyID` UInt16,
|
||||
`ClickLogID` UInt64,
|
||||
`ClickEventID` Int32,
|
||||
`ClickGoodEvent` Int32,
|
||||
`ClickEventTime` DateTime,
|
||||
`ClickPriorityID` Int32,
|
||||
`ClickPhraseID` Int32,
|
||||
`ClickPageID` Int32,
|
||||
`ClickPlaceID` Int32,
|
||||
`ClickTypeID` Int32,
|
||||
`ClickResourceID` Int32,
|
||||
`ClickCost` UInt32,
|
||||
`ClickClientIP` UInt32,
|
||||
`ClickDomainID` UInt32,
|
||||
`ClickURL` String,
|
||||
`ClickAttempt` UInt8,
|
||||
`ClickOrderID` UInt32,
|
||||
`ClickBannerID` UInt32,
|
||||
`ClickMarketCategoryID` UInt32,
|
||||
`ClickMarketPP` UInt32,
|
||||
`ClickMarketCategoryName` String,
|
||||
`ClickMarketPPName` String,
|
||||
`ClickAWAPSCampaignName` String,
|
||||
`ClickPageName` String,
|
||||
`ClickTargetType` UInt16,
|
||||
`ClickTargetPhraseID` UInt64,
|
||||
`ClickContextType` UInt8,
|
||||
`ClickSelectType` Int8,
|
||||
`ClickOptions` String,
|
||||
`ClickGroupBannerID` Int32,
|
||||
`OpenstatServiceName` String,
|
||||
`OpenstatCampaignID` String,
|
||||
`OpenstatAdID` String,
|
||||
`OpenstatSourceID` String,
|
||||
`UTMSource` String,
|
||||
`UTMMedium` String,
|
||||
`UTMCampaign` String,
|
||||
`UTMContent` String,
|
||||
`UTMTerm` String,
|
||||
`FromTag` String,
|
||||
`HasGCLID` UInt8,
|
||||
`FirstVisit` DateTime,
|
||||
`PredLastVisit` Date,
|
||||
`LastVisit` Date,
|
||||
`TotalVisits` UInt32,
|
||||
`TraficSource` Nested(
|
||||
ID Int8,
|
||||
SearchEngineID UInt16,
|
||||
AdvEngineID UInt8,
|
||||
PlaceID UInt16,
|
||||
SocialSourceNetworkID UInt8,
|
||||
Domain String,
|
||||
SearchPhrase String,
|
||||
SocialSourcePage String),
|
||||
`Attendance` FixedString(16),
|
||||
`CLID` UInt32,
|
||||
`YCLID` UInt64,
|
||||
`NormalizedRefererHash` UInt64,
|
||||
`SearchPhraseHash` UInt64,
|
||||
`RefererDomainHash` UInt64,
|
||||
`NormalizedStartURLHash` UInt64,
|
||||
`StartURLDomainHash` UInt64,
|
||||
`NormalizedEndURLHash` UInt64,
|
||||
`TopLevelDomain` UInt64,
|
||||
`URLScheme` UInt64,
|
||||
`OpenstatServiceNameHash` UInt64,
|
||||
`OpenstatCampaignIDHash` UInt64,
|
||||
`OpenstatAdIDHash` UInt64,
|
||||
`OpenstatSourceIDHash` UInt64,
|
||||
`UTMSourceHash` UInt64,
|
||||
`UTMMediumHash` UInt64,
|
||||
`UTMCampaignHash` UInt64,
|
||||
`UTMContentHash` UInt64,
|
||||
`UTMTermHash` UInt64,
|
||||
`FromHash` UInt64,
|
||||
`WebVisorEnabled` UInt8,
|
||||
`WebVisorActivity` UInt32,
|
||||
`ParsedParams` Nested(
|
||||
Key1 String,
|
||||
Key2 String,
|
||||
Key3 String,
|
||||
Key4 String,
|
||||
Key5 String,
|
||||
ValueDouble Float64),
|
||||
`Market` Nested(
|
||||
Type UInt8,
|
||||
GoalID UInt32,
|
||||
OrderID String,
|
||||
OrderPrice Int64,
|
||||
PP UInt32,
|
||||
DirectPlaceID UInt32,
|
||||
DirectOrderID UInt32,
|
||||
DirectBannerID UInt32,
|
||||
GoodID String,
|
||||
GoodName String,
|
||||
GoodQuantity Int32,
|
||||
GoodPrice Int64),
|
||||
`IslandID` FixedString(16)
|
||||
)
|
||||
ENGINE = CollapsingMergeTree(Sign)
|
||||
PARTITION BY toYYYYMM(StartDate)
|
||||
ORDER BY (CounterID, StartDate, intHash32(UserID), VisitID)
|
||||
SAMPLE BY intHash32(UserID)
|
||||
SETTINGS index_granularity = 8192
|
||||
```
|
||||
|
||||
Вы можете выполнить эти запросы с помощью интерактивного режима `clickhouse-client` (просто запустите его в терминале, не указывая заранее запрос) или попробуйте некоторые [альтернативный интерфейс](../interfaces/index.md) если ты хочешь.
|
||||
|
||||
Как мы видим, `hits_v1` использует [базовый движок MergeTree](../engines/table_engines/mergetree_family/mergetree.md), в то время как `visits_v1` использует [Разрушение](../engines/table_engines/mergetree_family/collapsingmergetree.md) вариант.
|
||||
|
||||
### Импортировать данные {#import-data}
|
||||
|
||||
Импорт данных в ClickHouse осуществляется через [INSERT INTO](../sql_reference/statements/insert_into.md) запрос, как и во многих других базах данных SQL. Однако данные обычно приводятся в одном из следующих документов: [поддерживаемые форматы сериализации](../interfaces/formats.md) вместо `VALUES` предложение (которое также поддерживается).
|
||||
|
||||
Файлы, которые мы загрузили ранее, находятся в формате с разделенными вкладками, поэтому вот как импортировать их через консольный клиент:
|
||||
|
||||
``` bash
|
||||
clickhouse-client --query "INSERT INTO tutorial.hits_v1 FORMAT TSV" --max_insert_block_size=100000 < hits_v1.tsv
|
||||
clickhouse-client --query "INSERT INTO tutorial.visits_v1 FORMAT TSV" --max_insert_block_size=100000 < visits_v1.tsv
|
||||
```
|
||||
|
||||
У ClickHouse их очень много [настройки для настройки](../operations/settings/index.md) и один из способов указать их в консольном клиенте - это через аргументы, как мы видим с помощью `--max_insert_block_size`. Самый простой способ выяснить, какие настройки доступны, что они означают и каковы значения по умолчанию, - это запросить `system.settings` стол:
|
||||
|
||||
``` sql
|
||||
SELECT name, value, changed, description
|
||||
FROM system.settings
|
||||
WHERE name LIKE '%max_insert_b%'
|
||||
FORMAT TSV
|
||||
|
||||
max_insert_block_size 1048576 0 "The maximum block size for insertion, if we control the creation of blocks for insertion."
|
||||
```
|
||||
|
||||
По желанию вы можете [OPTIMIZE](../sql_reference/misc/#misc_operations-optimize) таблицы после импорта. Таблицы, настроенные с помощью движка из семейства MergeTree, всегда выполняют слияние частей данных в фоновом режиме для оптимизации хранения данных (или, по крайней мере, проверяют, имеет ли это смысл). Эти запросы заставляют механизм таблиц выполнять оптимизацию хранилища прямо сейчас, а не некоторое время спустя:
|
||||
|
||||
``` bash
|
||||
clickhouse-client --query "OPTIMIZE TABLE tutorial.hits_v1 FINAL"
|
||||
clickhouse-client --query "OPTIMIZE TABLE tutorial.visits_v1 FINAL"
|
||||
```
|
||||
|
||||
Эти запросы запускают интенсивную работу ввода-вывода и процессора, поэтому, если таблица постоянно получает новые данные, лучше оставить ее в покое и позволить слияниям работать в фоновом режиме.
|
||||
|
||||
Теперь мы можем проверить, был ли импорт таблицы успешным:
|
||||
|
||||
``` bash
|
||||
clickhouse-client --query "SELECT COUNT(*) FROM tutorial.hits_v1"
|
||||
clickhouse-client --query "SELECT COUNT(*) FROM tutorial.visits_v1"
|
||||
```
|
||||
|
||||
## Пример запроса {#example-queries}
|
||||
|
||||
``` sql
|
||||
SELECT
|
||||
StartURL AS URL,
|
||||
AVG(Duration) AS AvgDuration
|
||||
FROM tutorial.visits_v1
|
||||
WHERE StartDate BETWEEN '2014-03-23' AND '2014-03-30'
|
||||
GROUP BY URL
|
||||
ORDER BY AvgDuration DESC
|
||||
LIMIT 10
|
||||
```
|
||||
|
||||
``` sql
|
||||
SELECT
|
||||
sum(Sign) AS visits,
|
||||
sumIf(Sign, has(Goals.ID, 1105530)) AS goal_visits,
|
||||
(100. * goal_visits) / visits AS goal_percent
|
||||
FROM tutorial.visits_v1
|
||||
WHERE (CounterID = 912887) AND (toYYYYMM(StartDate) = 201403) AND (domain(StartURL) = 'yandex.ru')
|
||||
```
|
||||
|
||||
## Развертывание Кластера {#cluster-deployment}
|
||||
|
||||
Кластер ClickHouse-это однородный кластер. Шаги для настройки:
|
||||
|
||||
1. Установите сервер ClickHouse на всех компьютерах кластера
|
||||
2. Настройка конфигураций кластера в файлах конфигурации
|
||||
3. Создание локальных таблиц на каждом экземпляре
|
||||
4. Создать [Распространены таблицы](../engines/table_engines/special/distributed.md)
|
||||
|
||||
[Распространены таблицы](../engines/table_engines/special/distributed.md) это на самом деле своего рода «view» к локальным таблицам кластера ClickHouse. Запрос SELECT из распределенной таблицы выполняется с использованием ресурсов всех сегментов кластера. Вы можете указать конфигурации для нескольких кластеров и создать несколько распределенных таблиц, предоставляющих представления для разных кластеров.
|
||||
|
||||
Пример конфигурации для кластера с тремя сегментами, по одной реплике в каждом:
|
||||
|
||||
``` xml
|
||||
<remote_servers>
|
||||
<perftest_3shards_1replicas>
|
||||
<shard>
|
||||
<replica>
|
||||
<host>example-perftest01j.yandex.ru</host>
|
||||
<port>9000</port>
|
||||
</replica>
|
||||
</shard>
|
||||
<shard>
|
||||
<replica>
|
||||
<host>example-perftest02j.yandex.ru</host>
|
||||
<port>9000</port>
|
||||
</replica>
|
||||
</shard>
|
||||
<shard>
|
||||
<replica>
|
||||
<host>example-perftest03j.yandex.ru</host>
|
||||
<port>9000</port>
|
||||
</replica>
|
||||
</shard>
|
||||
</perftest_3shards_1replicas>
|
||||
</remote_servers>
|
||||
```
|
||||
|
||||
Для дальнейшей демонстрации давайте создадим новую локальную таблицу с тем же именем `CREATE TABLE` запрос, который мы использовали для `hits_v1`, но другое имя таблицы:
|
||||
|
||||
``` sql
|
||||
CREATE TABLE tutorial.hits_local (...) ENGINE = MergeTree() ...
|
||||
```
|
||||
|
||||
Создание распределенной таблицы, предоставляющей представление в локальные таблицы кластера:
|
||||
|
||||
``` sql
|
||||
CREATE TABLE tutorial.hits_all AS tutorial.hits_local
|
||||
ENGINE = Distributed(perftest_3shards_1replicas, tutorial, hits_local, rand());
|
||||
```
|
||||
|
||||
Распространенной практикой является создание одинаковых распределенных таблиц на всех машинах кластера. Он позволяет выполнять распределенные запросы на любой машине кластера. Кроме того, существует альтернативный вариант создания временной распределенной таблицы для данного запроса SELECT с помощью [удаленный](../sql_reference/table_functions/remote.md) табличная функция.
|
||||
|
||||
Давай убежим [INSERT SELECT](../sql_reference/statements/insert_into.md) в распределенную таблицу, чтобы распространить таблицу на несколько серверов.
|
||||
|
||||
``` sql
|
||||
INSERT INTO tutorial.hits_all SELECT * FROM tutorial.hits_v1;
|
||||
```
|
||||
|
||||
!!! warning "Уведомление"
|
||||
Такой подход не подходит для сегментации больших столов. Есть отдельный инструмент [clickhouse-копировальный аппарат](../operations/utilities/clickhouse-copier.md) это может повторно осколить произвольные большие таблицы.
|
||||
|
||||
Как и следовало ожидать, вычислительно тяжелые запросы выполняются в N раз быстрее, если они используют 3 сервера вместо одного.
|
||||
|
||||
В этом случае мы использовали кластер с 3 осколками, и каждый из них содержит одну реплику.
|
||||
|
||||
Для обеспечения устойчивости в рабочей среде рекомендуется, чтобы каждый сегмент содержал 2-3 реплики, распределенные между несколькими зонами доступности или центрами обработки данных (или, по крайней мере, стойками). Обратите внимание, что ClickHouse поддерживает неограниченное количество реплик.
|
||||
|
||||
Пример конфигурации для кластера из одного осколка, содержащего три реплики:
|
||||
|
||||
``` xml
|
||||
<remote_servers>
|
||||
...
|
||||
<perftest_1shards_3replicas>
|
||||
<shard>
|
||||
<replica>
|
||||
<host>example-perftest01j.yandex.ru</host>
|
||||
<port>9000</port>
|
||||
</replica>
|
||||
<replica>
|
||||
<host>example-perftest02j.yandex.ru</host>
|
||||
<port>9000</port>
|
||||
</replica>
|
||||
<replica>
|
||||
<host>example-perftest03j.yandex.ru</host>
|
||||
<port>9000</port>
|
||||
</replica>
|
||||
</shard>
|
||||
</perftest_1shards_3replicas>
|
||||
</remote_servers>
|
||||
```
|
||||
|
||||
Чтобы включить собственную репликацию [Смотритель зоопарка](http://zookeeper.apache.org/) требуемый. ClickHouse заботится о согласованности данных во всех репликах и автоматически запускает процедуру восстановления после сбоя. Рекомендуется развернуть кластер ZooKeeper на отдельных серверах (где не выполняются никакие другие процессы, включая ClickHouse).
|
||||
|
||||
!!! note "Примечание"
|
||||
ZooKeeper не является строгим требованием: в некоторых простых случаях вы можете дублировать данные, записав их во все реплики из кода вашего приложения. Такой подход является **нет** рекомендуется, чтобы в этом случае ClickHouse не мог гарантировать согласованность данных на всех репликах. Таким образом, это становится ответственностью вашего приложения.
|
||||
|
||||
Расположение ZooKeeper указано в конфигурационном файле:
|
||||
|
||||
``` xml
|
||||
<zookeeper>
|
||||
<node>
|
||||
<host>zoo01.yandex.ru</host>
|
||||
<port>2181</port>
|
||||
</node>
|
||||
<node>
|
||||
<host>zoo02.yandex.ru</host>
|
||||
<port>2181</port>
|
||||
</node>
|
||||
<node>
|
||||
<host>zoo03.yandex.ru</host>
|
||||
<port>2181</port>
|
||||
</node>
|
||||
</zookeeper>
|
||||
```
|
||||
|
||||
Кроме того, нам нужно установить макросы для идентификации каждого осколка и реплики, которые используются при создании таблицы:
|
||||
|
||||
``` xml
|
||||
<macros>
|
||||
<shard>01</shard>
|
||||
<replica>01</replica>
|
||||
</macros>
|
||||
```
|
||||
|
||||
Если в данный момент при создании реплицированной таблицы реплик нет, то создается новая первая реплика. Если уже существуют живые реплики, то новая реплика клонирует данные из существующих. У вас есть возможность сначала создать все реплицированные таблицы, а затем вставить в них данные. Другой вариант-создать некоторые реплики и добавить другие после или во время вставки данных.
|
||||
|
||||
``` sql
|
||||
CREATE TABLE tutorial.hits_replica (...)
|
||||
ENGINE = ReplcatedMergeTree(
|
||||
'/clickhouse_perftest/tables/{shard}/hits',
|
||||
'{replica}'
|
||||
)
|
||||
...
|
||||
```
|
||||
|
||||
Здесь мы используем [ReplicatedMergeTree](../engines/table_engines/mergetree_family/replication.md) настольный двигатель. В параметрах мы указываем путь ZooKeeper, содержащий идентификаторы сегментов и реплик.
|
||||
|
||||
``` sql
|
||||
INSERT INTO tutorial.hits_replica SELECT * FROM tutorial.hits_local;
|
||||
```
|
||||
|
||||
Репликация работает в режиме мульти-мастер. Данные могут быть загружены в любую реплику, а затем система автоматически синхронизирует их с другими экземплярами. Репликация является асинхронной, поэтому в данный момент не все реплики могут содержать недавно вставленные данные. По крайней мере, одна реплика должна быть готова, чтобы обеспечить прием данных. Другие будут синхронизировать данные и восстанавливать согласованность, как только они снова станут активными. Обратите внимание, что этот подход допускает низкую вероятность потери недавно вставленных данных.
|
||||
|
||||
[Оригинальная статья](https://clickhouse.tech/docs/en/getting_started/tutorial/) <!--hide-->
|
||||
1
docs/ru/getting_started/tutorial.md
Symbolic link
1
docs/ru/getting_started/tutorial.md
Symbolic link
@ -0,0 +1 @@
|
||||
en/getting_started/tutorial.md
|
||||
@ -1,80 +0,0 @@
|
||||
---
|
||||
machine_translated: true
|
||||
machine_translated_rev: 1cd5f0028d917696daf71ac1c9ee849c99c1d5c8
|
||||
---
|
||||
|
||||
# Пользователи ClickHouse {#clickhouse-adopters}
|
||||
|
||||
!!! warning "Оговорка"
|
||||
Следующий список компаний, использующих ClickHouse, и их истории успеха собраны из открытых источников, поэтому они могут отличаться от текущей реальности. Мы были бы очень признательны, если бы вы поделились историей принятия ClickHouse в свою компанию и [добавьте его в список](https://github.com/ClickHouse/ClickHouse/edit/master/docs/en/introduction/adopters.md), но, пожалуйста, убедитесь, что у вас не будет никаких проблем с NDA, сделав это. Предоставление обновлений с публикациями от других компаний также полезно.
|
||||
|
||||
| Компания | Промышленность | Usecase | Размер кластера | (Un)Сжатый Размер Данных<abbr title="of single replica"><sup>\*</sup></abbr> | Ссылка |
|
||||
|---------------------------------------------------------------------------------|----------------------------------------|-----------------------------|------------------------------------------------------------|------------------------------------------------------------------------------|--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
|
||||
| [2ГИС](https://2gis.ru) | Карты | Мониторинг | — | — | [Говорить по-русски, июль 2019](https://youtu.be/58sPkXfq6nw) |
|
||||
| [Браузер Aloha](https://alohabrowser.com/) | Мобильное приложение | Серверная часть браузера | — | — | [Слайды на русском языке, май 2019 года](https://github.com/yandex/clickhouse-presentations/blob/master/meetup22/aloha.pdf) |
|
||||
| [Компания Amadeus](https://amadeus.com/) | Путешествовать | Аналитика | — | — | [Пресс-Релиз, Апрель 2018 Года](https://www.altinity.com/blog/2018/4/5/amadeus-technologies-launches-investment-and-insights-tool-based-on-machine-learning-and-strategy-algorithms) |
|
||||
| [Компания](https://www.appsflyer.com) | Мобильная аналитика | Главный продукт | — | — | [Говорить по-русски, июль 2019](https://www.youtube.com/watch?v=M3wbRlcpBbY) |
|
||||
| [ArenaData](https://arenadata.tech/) | Платформа данных | Главный продукт | — | — | [Слайды на русском языке, декабрь 2019 года](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup38/indexes.pdf) |
|
||||
| [На Badoo](https://badoo.com) | Знакомства | Таймсерии | — | — | [Слайды на русском языке, декабрь 2019 года](https://presentations.clickhouse.tech/meetup38/forecast.pdf) |
|
||||
| [Бенокс](https://www.benocs.com/) | Сетевая телеметрия и аналитика | Главный продукт | — | — | [Слайды на английском языке, октябрь 2017 года](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup9/lpm.pdf) |
|
||||
| [Блумберг](https://www.bloomberg.com/) | Финансы, СМИ | Мониторинг | 102 сервера | — | [Слайды, Май 2018 Года](https://www.slideshare.net/Altinity/http-analytics-for-6m-requests-per-second-using-clickhouse-by-alexander-bocharov) |
|
||||
| [Блокси](https://bloxy.info) | Блокчейн | Аналитика | — | — | [Слайды на русском языке, август 2018 года](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup17/4_bloxy.pptx) |
|
||||
| `Dataliance/UltraPower` | Телекоммуникационный | Аналитика | — | — | [Слайды на китайском языке, январь 2018 года](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup12/telecom.pdf) |
|
||||
| [CARTO](https://carto.com/) | Бизнес-разведка | Гео аналитика | — | — | [Геопространственная обработка с помощью Clickhouse](https://carto.com/blog/geospatial-processing-with-clickhouse/) |
|
||||
| [CERN](http://public.web.cern.ch/public/) | Исследование | Эксперимент | — | — | [Пресс-релиз, апрель 2012 года](https://www.yandex.com/company/press_center/press_releases/2012/2012-04-10/) |
|
||||
| [Компании Cisco](http://cisco.com/) | Сетевой | Анализ трафика | — | — | [Молниеносный разговор, октябрь 2019 года](https://youtu.be/-hI1vDR2oPY?t=5057) |
|
||||
| [Ценные Бумаги Цитадели](https://www.citadelsecurities.com/) | Финансы | — | — | — | [Взнос, Март 2019 Года](https://github.com/ClickHouse/ClickHouse/pull/4774) |
|
||||
| [Ситимобил](https://city-mobil.ru) | Такси | Аналитика | — | — | [Запись в блоге на русском языке, март 2020 года](https://habr.com/en/company/citymobil/blog/490660/) |
|
||||
| [ContentSquare](https://contentsquare.com) | Веб-аналитика | Главный продукт | — | — | [Запись в блоге на французском языке, ноябрь 2018 года](http://souslecapot.net/2018/11/21/patrick-chatain-vp-engineering-chez-contentsquare-penser-davantage-amelioration-continue-que-revolution-constante/) |
|
||||
| [Cloudflare](https://cloudflare.com) | CDN | Анализ трафика | 36 серверов | — | [Сообщение в блоге, май 2017 года](https://blog.cloudflare.com/how-cloudflare-analyzes-1m-dns-queries-per-second/), [Сообщение в блоге, март 2018 года](https://blog.cloudflare.com/http-analytics-for-6m-requests-per-second-using-clickhouse/) |
|
||||
| [Корунет](https://coru.net/) | Аналитика | Главный продукт | — | — | [Слайды на английском языке, апрель 2019 года](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup21/predictive_models.pdf) |
|
||||
| [CraiditX 氪信](https://creditx.com) | Финансовый ИИ | Анализ | — | — | [Слайды на английском языке, ноябрь 2019 года](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup33/udf.pptx) |
|
||||
| [Criteo / Storetail](https://www.criteo.com/) | Розничная торговля | Главный продукт | — | — | [Слайды на английском языке, октябрь 2018 года](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup18/3_storetail.pptx) |
|
||||
| [Дойче банк](https://db.com) | Финансы | Би аналитика | — | — | [Слайды на английском языке, октябрь 2019 года](https://bigdatadays.ru/wp-content/uploads/2019/10/D2-H3-3_Yakunin-Goihburg.pdf) |
|
||||
| [Дива-е](https://www.diva-e.com) | Цифровой Консалтинг | Главный продукт | — | — | [Слайды на английском языке, сентябрь 2019 года](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup29/ClickHouse-MeetUp-Unusual-Applications-sd-2019-09-17.pdf) |
|
||||
| [Компания Exness](https://www.exness.com) | Торговый | Метрики, Ведение Журнала | — | — | [Разговор на русском языке, май 2019 года](https://youtu.be/_rpU-TvSfZ8?t=3215) |
|
||||
| [Джинн](https://geniee.co.jp) | Рекламная сеть | Главный продукт | — | — | [Запись в блоге на японском языке, июль 2017 года](https://tech.geniee.co.jp/entry/2017/07/20/160100) |
|
||||
| [HUYA](https://www.huya.com/) | Потоковое видео | Аналитика | — | — | [Слайды на китайском языке, октябрь 2018 года](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup19/7.%20ClickHouse万亿数据分析实践%20李本旺(sundy-li)%20虎牙.pdf) |
|
||||
| [Идеалиста](https://www.idealista.com) | Недвижимость | Аналитика | — | — | [Сообщение в блоге на английском языке, апрель 2019 года](https://clickhouse.yandex/blog/en/clickhouse-meetup-in-madrid-on-april-2-2019) |
|
||||
| [Infovista](https://www.infovista.com/) | Сети | Аналитика | — | — | [Слайды на английском языке, октябрь 2019 года](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup30/infovista.pdf) |
|
||||
| [Компания innogames](https://www.innogames.com) | Игры | Метрики, Ведение Журнала | — | — | [Слайды на русском языке, сентябрь 2019 года](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup28/graphite_and_clickHouse.pdf) |
|
||||
| [Интегрос](https://integros.com) | Платформа для видеосервисов | Аналитика | — | — | [Слайды на русском языке, май 2019 года](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup22/strategies.pdf) |
|
||||
| [Данные По Кадьяку](https://www.kodiakdata.com/) | Облака | Главный продукт | — | — | [Слайды на английском языке, апрель 2018 года](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup13/kodiak_data.pdf) |
|
||||
| [Контур](https://kontur.ru) | Разработка программного обеспечения | Метрика | — | — | [Говорить по-русски, ноябрь 2018](https://www.youtube.com/watch?v=U4u4Bd0FtrY) |
|
||||
| [LifeStreet](https://lifestreet.com/) | Рекламная сеть | Главный продукт | 75 серверов (3 реплики) | 5.27 ПИБ | [Запись в блоге на русском языке, февраль 2017 года](https://habr.com/en/post/322620/) |
|
||||
| [Mail.ru Облачные Решения](https://mcs.mail.ru/) | Облачные сервисы | Главный продукт | — | — | [Запуск экземпляра ClickHouse на русском языке](https://mcs.mail.ru/help/db-create/clickhouse#) |
|
||||
| [MessageBird](https://www.messagebird.com) | Электросвязь | Статистика | — | — | [Слайды на английском языке, ноябрь 2018 года](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup20/messagebird.pdf) |
|
||||
| [MGID](https://www.mgid.com/) | Рекламная сеть | Веб-аналитика | — | — | [Наш опыт внедрения аналитической СУБД ClickHouse на русском языке](http://gs-studio.com/news-about-it/32777----clickhouse---c) |
|
||||
| [OneAPM](https://www.oneapm.com/) | Мониторинг и анализ данных | Главный продукт | — | — | [Слайды на китайском языке, октябрь 2018 года](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup19/8.%20clickhouse在OneAPM的应用%20杜龙.pdf) |
|
||||
| [ПРАГМА Инноваций](http://www.pragma-innovation.fr/) | Телеметрия и анализ Больших Данных | Главный продукт | — | — | [Слайды на английском языке, октябрь 2018 года](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup18/4_pragma_innovation.pdf) |
|
||||
| [QINGCLOUD](https://www.qingcloud.com/) | Облачные сервисы | Главный продукт | — | — | [Слайды на китайском языке, октябрь 2018 года](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup19/4.%20Cloud%20%2B%20TSDB%20for%20ClickHouse%20张健%20QingCloud.pdf) |
|
||||
| [Qrator](https://qrator.net) | Защита от DDoS-атак | Главный продукт | — | — | [Сообщение В Блоге, Март 2019 Года](https://blog.qrator.net/en/clickhouse-ddos-mitigation_37/) |
|
||||
| [Beijing PERCENT Information Technology Co., Лимитед.](https://www.percent.cn/) | Аналитика | Главный продукт | — | — | [Слайды на китайском языке, июнь 2019 года](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup24/4.%20ClickHouse万亿数据双中心的设计与实践%20.pdf) |
|
||||
| [Бродяга](https://rambler.ru) | Интернет услуги | Аналитика | — | — | [Говорить по-русски, апрель 2018](https://medium.com/@ramblertop/разработка-api-clickhouse-для-рамблер-топ-100-f4c7e56f3141) |
|
||||
| [Tencent](https://www.tencent.com) | Обмен сообщениями | Регистрация | — | — | [Говорить по-китайски, ноябрь 2019](https://youtu.be/T-iVQRuw-QY?t=5050) |
|
||||
| [Движения Звезд](https://trafficstars.com/) | Рекламная сеть | — | — | — | [Слайды на русском языке, май 2018 года](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup15/lightning/ninja.pdf) |
|
||||
| [S7 Airlines](https://www.s7.ru) | Авиакомпании | Метрики, Ведение Журнала | — | — | [Разговор на русском языке, март 2019 года](https://www.youtube.com/watch?v=nwG68klRpPg&t=15s) |
|
||||
| [Общий](https://www.semrush.com/) | Маркетинг | Главный продукт | — | — | [Слайды на русском языке, август 2018 года](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup17/5_semrush.pdf) |
|
||||
| [scireum ГмбХ](https://www.scireum.de/) | электронная коммерция | Главный продукт | — | — | [Говорить по-немецки, февраль 2020](https://www.youtube.com/watch?v=7QWAn5RbyR4) |
|
||||
| [Караул](https://sentry.io/) | Разработчик | Бэкэнд для продукта | — | — | [Сообщение в блоге на английском языке, май 2019 года](https://blog.sentry.io/2019/05/16/introducing-snuba-sentrys-new-search-infrastructure) |
|
||||
| [SGK](http://www.sgk.gov.tr/wps/portal/sgk/tr) | Государственное Социальное Обеспечение | Аналитика | — | — | [Слайды на английском языке, ноябрь 2019 года](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup35/ClickHouse%20Meetup-Ramazan%20POLAT.pdf) |
|
||||
| [СЕО.делать](https://seo.do/) | Аналитика | Главный продукт | — | — | [Слайды на английском языке, ноябрь 2019 года](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup35/CH%20Presentation-%20Metehan%20Çetinkaya.pdf) |
|
||||
| [Зина](http://english.sina.com/index.html) | Новости | — | — | — | [Слайды на китайском языке, октябрь 2018 года](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup19/6.%20ClickHouse最佳实践%20高鹏_新浪.pdf) |
|
||||
| [SMI2](https://smi2.ru/) | Новости | Аналитика | — | — | [Запись в блоге на русском языке, ноябрь 2017 года](https://habr.com/ru/company/smi2/blog/314558/) |
|
||||
| [Чмок](https://www.splunk.com/) | Бизнес-аналитика | Главный продукт | — | — | [Слайды на английском языке, январь 2018 года](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup12/splunk.pdf) |
|
||||
| [Спотифай](https://www.spotify.com) | Музыка | Экспериментирование | — | — | [Слайды, Июль 2018 Года](https://www.slideshare.net/glebus/using-clickhouse-for-experimentation-104247173) |
|
||||
| [Tencent](https://www.tencent.com) | Большие данные | Обработка данных | — | — | [Слайды на китайском языке, октябрь 2018 года](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup19/5.%20ClickHouse大数据集群应用_李俊飞腾讯网媒事业部.pdf) |
|
||||
| [Убер](https://www.uber.com) | Такси | Регистрация | — | — | [Слайды, Февраль 2020 Года](https://presentations.clickhouse.tech/meetup40/uber.pdf) |
|
||||
| [ВКонтакте](https://vk.com) | Социальная сеть | Статистика, Ведение Журнала | — | — | [Слайды на русском языке, август 2018 года](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup17/3_vk.pdf) |
|
||||
| [Мудрецы](https://wisebits.com/) | IT-решение | Аналитика | — | — | [Слайды на русском языке, май 2019 года](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup22/strategies.pdf) |
|
||||
| [Технология Сяосин.](https://www.xiaoheiban.cn/) | Образование | Общая цель | — | — | [Слайды на английском языке, ноябрь 2019 года](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup33/sync-clickhouse-with-mysql-mongodb.pptx) |
|
||||
| [Сималайя](https://www.ximalaya.com/) | Общий доступ к аудио | OLAP | — | — | [Слайды на английском языке, ноябрь 2019 года](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup33/ximalaya.pdf) |
|
||||
| [Облако Яндекса](https://cloud.yandex.ru/services/managed-clickhouse) | Публичное Облако | Главный продукт | — | — | [Разговор на русском языке, декабрь 2019 года](https://www.youtube.com/watch?v=pgnak9e_E0o) |
|
||||
| [DataLens Яндекс](https://cloud.yandex.ru/services/datalens) | Бизнес-разведка | Главный продукт | — | — | [Слайды на русском языке, декабрь 2019 года](https://presentations.clickhouse.tech/meetup38/datalens.pdf) |
|
||||
| [Яндекс Маркет](https://market.yandex.ru/) | электронная коммерция | Метрики, Ведение Журнала | — | — | [Разговор на русском языке, январь 2019 года](https://youtu.be/_l1qP0DyBcA?t=478) |
|
||||
| [Яндекс Метрика](https://metrica.yandex.com) | Веб-аналитика | Главный продукт | 360 серверов в одном кластере, 1862 сервера в одном отделе | 66.41 ПИБ / 5.68 ПИБ | [Слайды, Февраль 2020 Года](https://presentations.clickhouse.tech/meetup40/introduction/#13) |
|
||||
| [ЦВТ](https://htc-cs.ru/) | Разработка программного обеспечения | Метрики, Ведение Журнала | — | — | [Сообщение в блоге, март 2019 года, на русском языке](https://vc.ru/dev/62715-kak-my-stroili-monitoring-na-prometheus-clickhouse-i-elk) |
|
||||
| [МКБ](https://mkb.ru/) | Банк | Мониторинг веб-систем | — | — | [Слайды на русском языке, сентябрь 2019 года](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup28/mkb.pdf) |
|
||||
| [金数据](https://jinshuju.net) | Би аналитика | Главный продукт | — | — | [Слайды на китайском языке, октябрь 2019 года](https://github.com/ClickHouse/clickhouse-presentations/blob/master/meetup24/3.%20金数据数据架构调整方案Public.pdf) |
|
||||
|
||||
[Оригинальная статья](https://clickhouse.tech/docs/en/introduction/adopters/) <!--hide-->
|
||||
1
docs/ru/introduction/adopters.md
Symbolic link
1
docs/ru/introduction/adopters.md
Symbolic link
@ -0,0 +1 @@
|
||||
en/introduction/adopters.md
|
||||
@ -1,62 +0,0 @@
|
||||
---
|
||||
machine_translated: true
|
||||
machine_translated_rev: 1cd5f0028d917696daf71ac1c9ee849c99c1d5c8
|
||||
---
|
||||
|
||||
# Выборки Профилировщик Запросов {#sampling-query-profiler}
|
||||
|
||||
ClickHouse запускает профилировщик выборок, который позволяет анализировать выполнение запросов. С помощью profiler можно найти подпрограммы исходного кода, которые наиболее часто используются во время выполнения запроса. Вы можете отслеживать процессорное время и время работы настенных часов, включая время простоя.
|
||||
|
||||
Чтобы использовать профилировщик:
|
||||
|
||||
- Настройка программы [журнал трассировки](../server_configuration_parameters/settings.md#server_configuration_parameters-trace_log) раздел конфигурации сервера.
|
||||
|
||||
В этом разделе настраиваются следующие параметры: [журнал трассировки](../../operations/optimizing_performance/sampling_query_profiler.md#system_tables-trace_log) системная таблица, содержащая результаты работы профилировщика. Он настроен по умолчанию. Помните, что данные в этой таблице действительны только для работающего сервера. После перезагрузки сервера ClickHouse не очищает таблицу, и все сохраненные адреса виртуальной памяти могут стать недействительными.
|
||||
|
||||
- Настройка программы [query\_profiler\_cpu\_time\_period\_ns](../settings/settings.md#query_profiler_cpu_time_period_ns) или [query\_profiler\_real\_time\_period\_ns](../settings/settings.md#query_profiler_real_time_period_ns) настройки. Обе настройки можно использовать одновременно.
|
||||
|
||||
Эти параметры позволяют настроить таймеры профилировщика. Поскольку это параметры сеанса, вы можете получить различную частоту дискретизации для всего сервера, отдельных пользователей или профилей пользователей, для вашего интерактивного сеанса и для каждого отдельного запроса.
|
||||
|
||||
Частота дискретизации по умолчанию составляет одну выборку в секунду, и включены как ЦП, так и реальные таймеры. Эта частота позволяет собрать достаточно информации о кластере ClickHouse. В то же время, работая с такой частотой, профилировщик не влияет на производительность сервера ClickHouse. Если вам нужно профилировать каждый отдельный запрос, попробуйте использовать более высокую частоту дискретизации.
|
||||
|
||||
Для того чтобы проанализировать `trace_log` системная таблица:
|
||||
|
||||
- Установите устройство `clickhouse-common-static-dbg` пакет. Видеть [Установка из пакетов DEB](../../getting_started/install.md#install-from-deb-packages).
|
||||
|
||||
- Разрешить функции самоанализа с помощью [allow\_introspection\_functions](../settings/settings.md#settings-allow_introspection_functions) установка.
|
||||
|
||||
По соображениям безопасности функции самоанализа по умолчанию отключены.
|
||||
|
||||
- Используйте `addressToLine`, `addressToSymbol` и `demangle` [функции самоанализа](../../operations/optimizing_performance/sampling_query_profiler.md) чтобы получить имена функций и их позиции в коде ClickHouse. Чтобы получить профиль для какого-либо запроса, вам необходимо агрегировать данные из `trace_log` стол. Вы можете агрегировать данные по отдельным функциям или по всем трассировкам стека.
|
||||
|
||||
Если вам нужно визуализировать `trace_log` информация, попробуйте [огнемет](../../interfaces/third-party/gui/#clickhouse-flamegraph) и [speedscope](https://github.com/laplab/clickhouse-speedscope).
|
||||
|
||||
## Пример {#example}
|
||||
|
||||
В этом примере мы:
|
||||
|
||||
- Фильтрация `trace_log` данные по идентификатору запроса и текущей дате.
|
||||
|
||||
- Агрегирование по трассировке стека.
|
||||
|
||||
- Используя функции интроспекции, мы получим отчет о:
|
||||
|
||||
- Имена символов и соответствующие им функции исходного кода.
|
||||
- Расположение исходных кодов этих функций.
|
||||
|
||||
<!-- -->
|
||||
|
||||
``` sql
|
||||
SELECT
|
||||
count(),
|
||||
arrayStringConcat(arrayMap(x -> concat(demangle(addressToSymbol(x)), '\n ', addressToLine(x)), trace), '\n') AS sym
|
||||
FROM system.trace_log
|
||||
WHERE (query_id = 'ebca3574-ad0a-400a-9cbc-dca382f5998c') AND (event_date = today())
|
||||
GROUP BY trace
|
||||
ORDER BY count() DESC
|
||||
LIMIT 10
|
||||
```
|
||||
|
||||
``` text
|
||||
{% include "operations/performance/sampling_query_profiler_example_result.txt" %}
|
||||
```
|
||||
@ -0,0 +1 @@
|
||||
en/operations/optimizing_performance/sampling_query_profiler.md
|
||||
@ -1,80 +0,0 @@
|
||||
---
|
||||
machine_translated: true
|
||||
machine_translated_rev: 1cd5f0028d917696daf71ac1c9ee849c99c1d5c8
|
||||
---
|
||||
|
||||
# Как Протестировать Ваше Оборудование С Помощью ClickHouse {#how-to-test-your-hardware-with-clickhouse}
|
||||
|
||||
С помощью этой инструкции вы можете запустить базовый тест производительности ClickHouse на любом сервере без установки пакетов ClickHouse.
|
||||
|
||||
1. Идти к «commits» страница: https://github.com/ClickHouse/ClickHouse/commits/master
|
||||
|
||||
2. Нажмите на первую зеленую галочку или красный крест с зеленым цветом «ClickHouse Build Check» и нажмите на кнопку «Details» ссылка рядом «ClickHouse Build Check».
|
||||
|
||||
3. Скопируйте ссылку на «clickhouse» двоичный код для amd64 или aarch64.
|
||||
|
||||
4. ssh к серверу и скачать его с помощью wget:
|
||||
|
||||
<!-- -->
|
||||
|
||||
# For amd64:
|
||||
wget https://clickhouse-builds.s3.yandex.net/0/00ba767f5d2a929394ea3be193b1f79074a1c4bc/1578163263_binary/clickhouse
|
||||
# For aarch64:
|
||||
wget https://clickhouse-builds.s3.yandex.net/0/00ba767f5d2a929394ea3be193b1f79074a1c4bc/1578161264_binary/clickhouse
|
||||
# Then do:
|
||||
chmod a+x clickhouse
|
||||
|
||||
1. Скачать конфиги:
|
||||
|
||||
<!-- -->
|
||||
|
||||
wget https://raw.githubusercontent.com/ClickHouse/ClickHouse/master/programs/server/config.xml
|
||||
wget https://raw.githubusercontent.com/ClickHouse/ClickHouse/master/programs/server/users.xml
|
||||
mkdir config.d
|
||||
wget https://raw.githubusercontent.com/ClickHouse/ClickHouse/master/programs/server/config.d/path.xml -O config.d/path.xml
|
||||
wget https://raw.githubusercontent.com/ClickHouse/ClickHouse/master/programs/server/config.d/log_to_console.xml -O config.d/log_to_console.xml
|
||||
|
||||
1. Скачать тест файлы:
|
||||
|
||||
<!-- -->
|
||||
|
||||
wget https://raw.githubusercontent.com/ClickHouse/ClickHouse/master/benchmark/clickhouse/benchmark-new.sh
|
||||
chmod a+x benchmark-new.sh
|
||||
wget https://raw.githubusercontent.com/ClickHouse/ClickHouse/master/benchmark/clickhouse/queries.sql
|
||||
|
||||
1. Загрузите тестовые данные в соответствии с [Яндекс.Набор метрика](../getting_started/example_datasets/metrica.md) инструкция («hits» таблица, содержащая 100 миллионов строк).
|
||||
|
||||
<!-- -->
|
||||
|
||||
wget https://clickhouse-datasets.s3.yandex.net/hits/partitions/hits_100m_obfuscated_v1.tar.xz
|
||||
tar xvf hits_100m_obfuscated_v1.tar.xz -C .
|
||||
mv hits_100m_obfuscated_v1/* .
|
||||
|
||||
1. Запустите сервер:
|
||||
|
||||
<!-- -->
|
||||
|
||||
./clickhouse server
|
||||
|
||||
1. Проверьте данные: ssh на сервер в другом терминале
|
||||
|
||||
<!-- -->
|
||||
|
||||
./clickhouse client --query "SELECT count() FROM hits_100m_obfuscated"
|
||||
100000000
|
||||
|
||||
1. Отредактируйте текст benchmark-new.sh, изменение «clickhouse-client» к «./clickhouse client» и добавить «–max\_memory\_usage 100000000000» параметр.
|
||||
|
||||
<!-- -->
|
||||
|
||||
mcedit benchmark-new.sh
|
||||
|
||||
1. Выполнить тест:
|
||||
|
||||
<!-- -->
|
||||
|
||||
./benchmark-new.sh hits_100m_obfuscated
|
||||
|
||||
1. Отправьте номера и информацию о конфигурации вашего оборудования по адресу clickhouse-feedback@yandex-team.com
|
||||
|
||||
Все результаты опубликованы здесь: https://clickhouse-да.технология / benchmark\_hardware.HTML
|
||||
1
docs/ru/operations/performance_test.md
Symbolic link
1
docs/ru/operations/performance_test.md
Symbolic link
@ -0,0 +1 @@
|
||||
en/operations/performance_test.md
|
||||
@ -1,154 +0,0 @@
|
||||
---
|
||||
machine_translated: true
|
||||
machine_translated_rev: 1cd5f0028d917696daf71ac1c9ee849c99c1d5c8
|
||||
---
|
||||
|
||||
# clickhouse-бенчмарк {#clickhouse-benchmark}
|
||||
|
||||
Подключается к серверу ClickHouse и повторно отправляет указанные запросы.
|
||||
|
||||
Синтаксис:
|
||||
|
||||
``` bash
|
||||
$ echo "single query" | clickhouse-benchmark [keys]
|
||||
```
|
||||
|
||||
или
|
||||
|
||||
``` bash
|
||||
$ clickhouse-benchmark [keys] <<< "single query"
|
||||
```
|
||||
|
||||
Если вы хотите отправить набор запросов, создайте текстовый файл и поместите каждый запрос в отдельную строку в этом файле. Например:
|
||||
|
||||
``` sql
|
||||
SELECT * FROM system.numbers LIMIT 10000000
|
||||
SELECT 1
|
||||
```
|
||||
|
||||
Затем передайте этот файл на стандартный вход `clickhouse-benchmark`.
|
||||
|
||||
``` bash
|
||||
clickhouse-benchmark [keys] < queries_file
|
||||
```
|
||||
|
||||
## Ключи {#clickhouse-benchmark-keys}
|
||||
|
||||
- `-c N`, `--concurrency=N` — Number of queries that `clickhouse-benchmark` посылает одновременно. Значение по умолчанию: 1.
|
||||
- `-d N`, `--delay=N` — Interval in seconds between intermediate reports (set 0 to disable reports). Default value: 1.
|
||||
- `-h WORD`, `--host=WORD` — Server host. Default value: `localhost`. Для [режим сравнения](#clickhouse-benchmark-comparison-mode) вы можете использовать несколько `-h` ключи.
|
||||
- `-p N`, `--port=N` — Server port. Default value: 9000. For the [режим сравнения](#clickhouse-benchmark-comparison-mode) вы можете использовать несколько `-p` ключи.
|
||||
- `-i N`, `--iterations=N` — Total number of queries. Default value: 0.
|
||||
- `-r`, `--randomize` — Random order of queries execution if there is more then one input query.
|
||||
- `-s`, `--secure` — Using TLS connection.
|
||||
- `-t N`, `--timelimit=N` — Time limit in seconds. `clickhouse-benchmark` прекращает отправку запросов по достижении указанного срока. Значение по умолчанию: 0 (ограничение по времени отключено).
|
||||
- `--confidence=N` — Level of confidence for T-test. Possible values: 0 (80%), 1 (90%), 2 (95%), 3 (98%), 4 (99%), 5 (99.5%). Default value: 5. In the [режим сравнения](#clickhouse-benchmark-comparison-mode) `clickhouse-benchmark` выполняет следующие функции: [Независимый двухпробный t-тест Стьюдента](https://en.wikipedia.org/wiki/Student%27s_t-test#Independent_two-sample_t-test) проверьте, не отличаются ли эти два распределения с выбранным уровнем достоверности.
|
||||
- `--cumulative` — Printing cumulative data instead of data per interval.
|
||||
- `--database=DATABASE_NAME` — ClickHouse database name. Default value: `default`.
|
||||
- `--json=FILEPATH` — JSON output. When the key is set, `clickhouse-benchmark` выводит отчет в указанный JSON-файл.
|
||||
- `--user=USERNAME` — ClickHouse user name. Default value: `default`.
|
||||
- `--password=PSWD` — ClickHouse user password. Default value: empty string.
|
||||
- `--stacktrace` — Stack traces output. When the key is set, `clickhouse-bencmark` выводит трассировки стека исключений.
|
||||
- `--stage=WORD` — Query processing stage at server. ClickHouse stops query processing and returns answer to `clickhouse-benchmark` на указанном этапе. Возможное значение: `complete`, `fetch_columns`, `with_mergeable_state`. Значение по умолчанию: `complete`.
|
||||
- `--help` — Shows the help message.
|
||||
|
||||
Если вы хотите применить некоторые из них [настройки](../../operations/settings/index.md) для запросов передайте их в качестве ключа `--<session setting name>= SETTING_VALUE`. Например, `--max_memory_usage=1048576`.
|
||||
|
||||
## Выход {#clickhouse-benchmark-output}
|
||||
|
||||
По умолчанию, `clickhouse-benchmark` отчеты для каждого из них `--delay` интервал.
|
||||
|
||||
Пример отчета:
|
||||
|
||||
``` text
|
||||
Queries executed: 10.
|
||||
|
||||
localhost:9000, queries 10, QPS: 6.772, RPS: 67904487.440, MiB/s: 518.070, result RPS: 67721584.984, result MiB/s: 516.675.
|
||||
|
||||
0.000% 0.145 sec.
|
||||
10.000% 0.146 sec.
|
||||
20.000% 0.146 sec.
|
||||
30.000% 0.146 sec.
|
||||
40.000% 0.147 sec.
|
||||
50.000% 0.148 sec.
|
||||
60.000% 0.148 sec.
|
||||
70.000% 0.148 sec.
|
||||
80.000% 0.149 sec.
|
||||
90.000% 0.150 sec.
|
||||
95.000% 0.150 sec.
|
||||
99.000% 0.150 sec.
|
||||
99.900% 0.150 sec.
|
||||
99.990% 0.150 sec.
|
||||
```
|
||||
|
||||
В отчете вы можете найти::
|
||||
|
||||
- Количество запросов в системе `Queries executed:` поле.
|
||||
|
||||
- Строка состояния, содержащая (по порядку):
|
||||
|
||||
- Конечная точка сервера ClickHouse.
|
||||
- Количество обработанных запросов.
|
||||
- QPS: QPS: сколько запросов сервер выполняет в секунду в течение периода, указанного в `--delay` аргумент.
|
||||
- RPS: сколько строк сервер читает в секунду в течение периода, указанного в `--delay` аргумент.
|
||||
- MiB/s: сколько мегабайт сервер читает в секунду в течение периода, указанного в `--delay` аргумент.
|
||||
- result RPS: сколько строк помещается сервером в результат запроса в секунду в течение периода, указанного в `--delay` аргумент.
|
||||
- результат MiB/s. сколько мебибайт помещается сервером в результат запроса в секунду в течение периода, указанного в `--delay` аргумент.
|
||||
|
||||
- Процентили времени выполнения запросов.
|
||||
|
||||
## Режим сравнения {#clickhouse-benchmark-comparison-mode}
|
||||
|
||||
`clickhouse-benchmark` можно сравнить производительность для двух запущенных серверов ClickHouse.
|
||||
|
||||
Чтобы использовать режим сравнения, укажите конечные точки обоих серверов по двум парам `--host`, `--port` ключи. Ключи, сопоставленные вместе по позиции в списке аргументов, первые `--host` сопоставляется с первым `--port` и так далее. `clickhouse-benchmark` устанавливает соединения с обоими серверами, а затем отправляет запросы. Каждый запрос адресован случайно выбранному серверу. Результаты отображаются для каждого сервера отдельно.
|
||||
|
||||
## Пример {#clickhouse-benchmark-example}
|
||||
|
||||
``` bash
|
||||
$ echo "SELECT * FROM system.numbers LIMIT 10000000 OFFSET 10000000" | clickhouse-benchmark -i 10
|
||||
```
|
||||
|
||||
``` text
|
||||
Loaded 1 queries.
|
||||
|
||||
Queries executed: 6.
|
||||
|
||||
localhost:9000, queries 6, QPS: 6.153, RPS: 123398340.957, MiB/s: 941.455, result RPS: 61532982.200, result MiB/s: 469.459.
|
||||
|
||||
0.000% 0.159 sec.
|
||||
10.000% 0.159 sec.
|
||||
20.000% 0.159 sec.
|
||||
30.000% 0.160 sec.
|
||||
40.000% 0.160 sec.
|
||||
50.000% 0.162 sec.
|
||||
60.000% 0.164 sec.
|
||||
70.000% 0.165 sec.
|
||||
80.000% 0.166 sec.
|
||||
90.000% 0.166 sec.
|
||||
95.000% 0.167 sec.
|
||||
99.000% 0.167 sec.
|
||||
99.900% 0.167 sec.
|
||||
99.990% 0.167 sec.
|
||||
|
||||
|
||||
|
||||
Queries executed: 10.
|
||||
|
||||
localhost:9000, queries 10, QPS: 6.082, RPS: 121959604.568, MiB/s: 930.478, result RPS: 60815551.642, result MiB/s: 463.986.
|
||||
|
||||
0.000% 0.159 sec.
|
||||
10.000% 0.159 sec.
|
||||
20.000% 0.160 sec.
|
||||
30.000% 0.163 sec.
|
||||
40.000% 0.164 sec.
|
||||
50.000% 0.165 sec.
|
||||
60.000% 0.166 sec.
|
||||
70.000% 0.166 sec.
|
||||
80.000% 0.167 sec.
|
||||
90.000% 0.167 sec.
|
||||
95.000% 0.170 sec.
|
||||
99.000% 0.172 sec.
|
||||
99.900% 0.172 sec.
|
||||
99.990% 0.172 sec.
|
||||
```
|
||||
1
docs/ru/operations/utilities/clickhouse-benchmark.md
Symbolic link
1
docs/ru/operations/utilities/clickhouse-benchmark.md
Symbolic link
@ -0,0 +1 @@
|
||||
en/operations/utilities/clickhouse-benchmark.md
|
||||
@ -1,266 +0,0 @@
|
||||
---
|
||||
machine_translated: true
|
||||
machine_translated_rev: 1cd5f0028d917696daf71ac1c9ee849c99c1d5c8
|
||||
---
|
||||
|
||||
### ClickHouse релиз 1.1.54327, 2017-12-21 {#clickhouse-release-1-1-54327-2017-12-21}
|
||||
|
||||
Этот выпуск содержит исправления ошибок для предыдущей версии 1.1.54318:
|
||||
|
||||
- Исправлена ошибка с возможным состоянием гонки в репликации, которая могла привести к потере данных. Эта проблема затрагивает версии 1.1.54310 и 1.1.54318. Если вы используете одну из этих версий с Реплицированными таблицами, настоятельно рекомендуется обновить ее. Эта проблема отображается в журналах в предупреждающих сообщениях, таких как `Part ... from own log doesn't exist.` Эта проблема актуальна, даже если вы не видите эти сообщения в журналах.
|
||||
|
||||
### ClickHouse релиз 1.1.54318, 2017-11-30 {#clickhouse-release-1-1-54318-2017-11-30}
|
||||
|
||||
Этот выпуск содержит исправления ошибок для предыдущей версии 1.1.54310:
|
||||
|
||||
- Исправлено некорректное удаление строк при слияниях в движке SummingMergeTree
|
||||
- Исправлена утечка памяти в несложных движках MergeTree
|
||||
- Исправлено снижение производительности при частых вставках в двигатели MergeTree
|
||||
- Исправлена ошибка, из-за которой очередь репликации останавливалась
|
||||
- Исправлена ротация и архивация журналов сервера
|
||||
|
||||
### ClickHouse релиз 1.1.54310, 2017-11-01 {#clickhouse-release-1-1-54310-2017-11-01}
|
||||
|
||||
#### Новые средства: {#new-features}
|
||||
|
||||
- Пользовательский ключ секционирования для семейства движков таблиц MergeTree.
|
||||
- [Кафка](https://clickhouse.yandex/docs/en/operations/table_engines/kafka/) настольный двигатель.
|
||||
- Добавлена поддержка загрузки [CatBoost](https://catboost.yandex/) модели и их применение к данным, хранящимся в ClickHouse.
|
||||
- Добавлена поддержка часовых поясов с нецелочисленными смещениями от UTC.
|
||||
- Добавлена поддержка арифметических операций с временными интервалами.
|
||||
- Диапазон значений для типов Date и DateTime расширен до 2105 года.
|
||||
- Добавил тот `CREATE MATERIALIZED VIEW x TO y` запрос (указывает существующую таблицу для хранения данных материализованного представления).
|
||||
- Добавил тот `ATTACH TABLE` запрос без аргументов.
|
||||
- Логика обработки вложенных столбцов с именами, оканчивающимися на-Map в таблице SummingMergeTree, была извлечена в агрегатную функцию sumMap. Теперь вы можете указать такие столбцы явно.
|
||||
- Максимальный размер словаря IP trie увеличен до 128 миллионов записей.
|
||||
- Добавлена функция getSizeOfEnumType.
|
||||
- Добавлена агрегатная функция sumWithOverflow.
|
||||
- Добавлена поддержка формата ввода Cap'n Proto.
|
||||
- Теперь вы можете настроить уровень сжатия при использовании алгоритма zstd.
|
||||
|
||||
#### Назад несовместимые изменения: {#backward-incompatible-changes}
|
||||
|
||||
- Создание временных таблиц с движком, отличным от памяти, не допускается.
|
||||
- Явное создание таблиц с помощью движка View или MaterializedView не допускается.
|
||||
- Во время создания таблицы новая проверка проверяет, что выражение ключа выборки включено в первичный ключ.
|
||||
|
||||
#### Устранение ошибок: {#bug-fixes}
|
||||
|
||||
- Исправлены зависания при синхронной вставке в распределенную таблицу.
|
||||
- Исправлено неатомное добавление и удаление деталей в реплицируемых таблицах.
|
||||
- Данные, вставленные в материализованное представление, не подвергаются ненужной дедупликации.
|
||||
- Выполнение запроса к распределенной таблице, для которой локальная реплика отстает, а удаленные реплики недоступны, больше не приводит к ошибке.
|
||||
- Пользователям не нужны разрешения на доступ к `default` база данных для создания временных таблиц больше не существует.
|
||||
- Исправлен сбой при указании типа массива без аргументов.
|
||||
- Исправлены зависания, когда дисковый том, содержащий журналы сервера, заполнен.
|
||||
- Исправлено переполнение в функции toRelativeWeekNum для первой недели эпохи Unix.
|
||||
|
||||
#### Улучшения сборки: {#build-improvements}
|
||||
|
||||
- Несколько сторонних библиотек (особенно Poco) были обновлены и преобразованы в подмодули git.
|
||||
|
||||
### ClickHouse релиз 1.1.54304, 2017-10-19 {#clickhouse-release-1-1-54304-2017-10-19}
|
||||
|
||||
#### Новые средства: {#new-features-1}
|
||||
|
||||
- Поддержка TLS в собственном протоколе (чтобы включить, установите `tcp_ssl_port` в `config.xml` ).
|
||||
|
||||
#### Устранение ошибок: {#bug-fixes-1}
|
||||
|
||||
- `ALTER` для реплицированных таблиц теперь пытается начать работать как можно скорее.
|
||||
- Исправлен сбой при чтении данных с настройкой `preferred_block_size_bytes=0.`
|
||||
- Исправлены сбои в работе `clickhouse-client` при нажатии на кнопку `Page Down`
|
||||
- Правильная интерпретация некоторых сложных запросов с помощью `GLOBAL IN` и `UNION ALL`
|
||||
- `FREEZE PARTITION` теперь он всегда работает атомарно.
|
||||
- Пустые почтовые запросы теперь возвращают ответ с кодом 411.
|
||||
- Исправлены ошибки интерпретации таких выражений, как `CAST(1 AS Nullable(UInt8)).`
|
||||
- Исправлена ошибка при чтении `Array(Nullable(String))` колонки от `MergeTree` таблицы.
|
||||
- Исправлен сбой при разборе таких запросов, как `SELECT dummy AS dummy, dummy AS b`
|
||||
- Пользователи обновляются правильно с недопустимым `users.xml`
|
||||
- Правильная обработка, когда исполняемый словарь возвращает ненулевой код ответа.
|
||||
|
||||
### ClickHouse релиз 1.1.54292, 2017-09-20 {#clickhouse-release-1-1-54292-2017-09-20}
|
||||
|
||||
#### Новые средства: {#new-features-2}
|
||||
|
||||
- Добавил тот `pointInPolygon` функция для работы с координатами на координатной плоскости.
|
||||
- Добавил тот `sumMap` агрегатная функция для вычисления суммы массивов, аналогичная `SummingMergeTree`.
|
||||
- Добавил тот `trunc` функция. Улучшена производительность функций округления (`round`, `floor`, `ceil`, `roundToExp2`) и скорректировал логику их работы. Поменялась логика игры `roundToExp2` функция для дробей и отрицательных чисел.
|
||||
- Исполняемый файл ClickHouse теперь меньше зависит от версии libc. Один и тот же исполняемый файл ClickHouse может работать на самых разных системах Linux. Существует еще зависимость при использовании скомпилированных запросов (с настройкой `compile = 1` , который не используется по умолчанию).
|
||||
- Сократилось время, необходимое для динамической компиляции запросов.
|
||||
|
||||
#### Устранение ошибок: {#bug-fixes-2}
|
||||
|
||||
- Исправлена ошибка, которая иногда производилась `part ... intersects previous part` сообщения и ослабленная согласованность реплик.
|
||||
- Исправлена ошибка, из-за которой сервер блокировался, если ZooKeeper был недоступен во время завершения работы.
|
||||
- Удалено избыточное ведение журнала при восстановлении реплик.
|
||||
- Исправлена ошибка в объединении всех реализаций.
|
||||
- Исправлена ошибка в функции concat, возникшая, если первый столбец в блоке имеет тип массива.
|
||||
- Прогресс теперь отображается в системе правильно.таблица слияний.
|
||||
|
||||
### ClickHouse релиз 1.1.54289, 2017-09-13 {#clickhouse-release-1-1-54289-2017-09-13}
|
||||
|
||||
#### Новые средства: {#new-features-3}
|
||||
|
||||
- `SYSTEM` запросы для администрирования сервера: `SYSTEM RELOAD DICTIONARY`, `SYSTEM RELOAD DICTIONARIES`, `SYSTEM DROP DNS CACHE`, `SYSTEM SHUTDOWN`, `SYSTEM KILL`.
|
||||
- Добавлены функции для работы с массивами: `concat`, `arraySlice`, `arrayPushBack`, `arrayPushFront`, `arrayPopBack`, `arrayPopFront`.
|
||||
- Добавлен `root` и `identity` параметры для конфигурации ZooKeeper. Это позволяет изолировать отдельных пользователей в одном кластере ZooKeeper.
|
||||
- Добавлены статистические функции `groupBitAnd`, `groupBitOr`, и `groupBitXor` (для совместимости они также доступны под названиями `BIT_AND`, `BIT_OR`, и `BIT_XOR`).
|
||||
- Внешние словари можно загрузить из MySQL, указав сокет в файловой системе.
|
||||
- Внешние словари могут быть загружены из MySQL по протоколу SSL (`ssl_cert`, `ssl_key`, `ssl_ca` параметры).
|
||||
- Добавил тот `max_network_bandwidth_for_user` настройка для ограничения общего использования полосы пропускания для запросов на одного пользователя.
|
||||
- Поддержка `DROP TABLE` для временных таблиц.
|
||||
- Поддержка чтения `DateTime` значения в формате временных меток Unix от `CSV` и `JSONEachRow` форматы.
|
||||
- Запаздывающие реплики в распределенных запросах теперь исключаются по умолчанию (пороговое значение по умолчанию-5 минут).
|
||||
- Блокировка FIFO используется во время ALTER: запрос ALTER не блокируется бесконечно для непрерывно выполняемых запросов.
|
||||
- Возможность установки `umask` в конфигурационном файле.
|
||||
- Улучшенная производительность для запросов с помощью `DISTINCT` .
|
||||
|
||||
#### Устранение ошибок: {#bug-fixes-3}
|
||||
|
||||
- Улучшен процесс удаления старых узлов в ZooKeeper. Раньше старые узлы иногда не удалялись, если были очень частые вставки, что приводило к медленному завершению работы сервера, среди прочего.
|
||||
- Исправлена рандомизация при выборе хостов для подключения к ZooKeeper.
|
||||
- Исправлено исключение запаздывающих реплик в распределенных запросах, если реплика является localhost.
|
||||
- Исправлена ошибка, когда часть данных в a `ReplicatedMergeTree` стол может быть сломан после запуска `ALTER MODIFY` на элементе в `Nested` структура.
|
||||
- Исправлена ошибка, которая могла привести к тому, что запросы SELECT «hang».
|
||||
- Улучшения в распределенных DDL-запросах.
|
||||
- Исправлен запрос `CREATE TABLE ... AS <materialized view>`.
|
||||
- Разрешен тупик в работе `ALTER ... CLEAR COLUMN IN PARTITION` запрос для `Buffer` таблицы.
|
||||
- Исправлено недопустимое значение по умолчанию для `Enum` s (0 вместо минимума) при использовании `JSONEachRow` и `TSKV` форматы.
|
||||
- Разрешен внешний вид зомби-процессов при использовании словаря с помощью `executable` источник.
|
||||
- Исправлена обработка выхода онлайн / оффлайн для запроса.
|
||||
|
||||
#### Улучшен рабочий процесс разработки и сборки ClickHouse: {#improved-workflow-for-developing-and-assembling-clickhouse}
|
||||
|
||||
- Вы можете использовать `pbuilder` чтобы построить ClickHouse.
|
||||
- Вы можете использовать `libc++` вместо `libstdc++` для сборок на Linux.
|
||||
- Добавлены инструкции по использованию инструментов статического анализа кода: `Coverage`, `clang-tidy`, `cppcheck`.
|
||||
|
||||
#### Пожалуйста, обратите внимание при обновлении: {#please-note-when-upgrading}
|
||||
|
||||
- Теперь существует более высокое значение по умолчанию для параметра MergeTree `max_bytes_to_merge_at_max_space_in_pool` (максимальный общий размер частей данных для слияния, в байтах): он увеличился со 100 гигабайт до 150 гигабайт. Это может привести к большим слияниям, выполняемым после обновления сервера, что может привести к увеличению нагрузки на дисковую подсистему. Если свободное пространство, доступное на сервере, меньше чем в два раза общего объема выполняемых слияний, это приведет к остановке всех других слияний, включая слияния небольших частей данных. В результате запросы INSERT завершатся ошибкой с сообщением «Merges are processing significantly slower than inserts.» Используйте `SELECT * FROM system.merges` запрос на мониторинг ситуации. Вы также можете проверить следующее: `DiskSpaceReservedForMerge` метрика в системе `system.metrics` таблица, или в графите. Вам не нужно ничего делать, чтобы исправить это, так как проблема будет решена сама собой, как только большие слияния закончатся. Если вы сочтете это неприемлемым, вы можете восстановить предыдущее значение для `max_bytes_to_merge_at_max_space_in_pool` установка. Чтобы сделать это, перейдите в раздел <merge_tree> раздел в конфигурации.xml, набор ``` <merge_tree>``<max_bytes_to_merge_at_max_space_in_pool>107374182400</max_bytes_to_merge_at_max_space_in_pool> ``` и перезагрузите сервер.
|
||||
|
||||
### ClickHouse релиз 1.1.54284, 2017-08-29 {#clickhouse-release-1-1-54284-2017-08-29}
|
||||
|
||||
- Это исправленный выпуск для предыдущей версии 1.1.54282. Он исправляет утечки в каталоге запчастей в ZooKeeper.
|
||||
|
||||
### ClickHouse релиз 1.1.54282, 2017-08-23 {#clickhouse-release-1-1-54282-2017-08-23}
|
||||
|
||||
Этот выпуск содержит исправления ошибок для предыдущей версии 1.1.54276:
|
||||
|
||||
- Исправлено `DB::Exception: Assertion violation: !_path.empty()` при вставке в распределенную таблицу.
|
||||
- Исправлен синтаксический анализ при вставке в формат RowBinary, если входные данные начинаются с';'.
|
||||
- Errors during runtime compilation of certain aggregate functions (e.g. `groupArray()`).
|
||||
|
||||
### Clickhouse Релиз 1.1.54276, 2017-08-16 {#clickhouse-release-1-1-54276-2017-08-16}
|
||||
|
||||
#### Новые средства: {#new-features-4}
|
||||
|
||||
- Добавлен дополнительный раздел для запроса SELECT. Пример запроса: `WITH 1+1 AS a SELECT a, a*a`
|
||||
- Вставка может быть выполнена синхронно в распределенной таблице: OK возвращается только после того, как все данные сохранены на всех осколках. Это активируется установкой insert\_distributed\_sync=1.
|
||||
- Добавлен тип данных UUID для работы с 16-байтовыми идентификаторами.
|
||||
- Добавлены псевдонимы CHAR, FLOAT и других типов для совместимости с таблицей.
|
||||
- Добавлены функции toYYYYMM, toYYYYMMDD и toYYYYMMDDhhmmss для преобразования времени в числа.
|
||||
- Вы можете использовать IP-адреса (вместе с именем хоста) для идентификации серверов для кластеризованных запросов DDL.
|
||||
- Добавлена поддержка непостоянных аргументов и отрицательных смещений в функции `substring(str, pos, len).`
|
||||
- Добавлен параметр max\_size для `groupArray(max_size)(column)` агрегатная функция и оптимизированная ее производительность.
|
||||
|
||||
#### Основное изменение: {#main-changes}
|
||||
|
||||
- Улучшения безопасности: все файлы сервера создаются с разрешениями 0640 (могут быть изменены с помощью <umask> параметр config).
|
||||
- Улучшены сообщения об ошибках для запросов с неверным синтаксисом.
|
||||
- Значительно сокращается потребление памяти и повышается производительность при слиянии больших разделов данных MergeTree.
|
||||
- Значительно повысилась производительность слияний данных для заменяющего движка Mergetree.
|
||||
- Улучшена производительность асинхронных вставок из распределенной таблицы за счет объединения нескольких исходных вставок. Чтобы включить эту функцию, используйте параметр distributed\_directory\_monitor\_batch\_inserts=1.
|
||||
|
||||
#### Назад несовместимые изменения: {#backward-incompatible-changes-1}
|
||||
|
||||
- Изменен двоичный формат агрегатных состояний `groupArray(array_column)` функции для массивов.
|
||||
|
||||
#### Полный список изменений: {#complete-list-of-changes}
|
||||
|
||||
- Добавил тот `output_format_json_quote_denormals` настройка, которая позволяет выводить значения nan и inf в формате JSON.
|
||||
- Оптимизировано распределение потока при чтении из распределенной таблицы.
|
||||
- Настройки можно настроить в режиме только для чтения, если значение не изменяется.
|
||||
- Добавлена возможность извлечения нецелочисленных гранул движка MergeTree для выполнения ограничений на размер блока, указанных в параметре preferred\_block\_size\_bytes. Цель состоит в том, чтобы уменьшить потребление оперативной памяти и увеличить локальность кэша при обработке запросов из таблиц с большими столбцами.
|
||||
- Эффективное использование индексов, содержащих такие выражения, как `toStartOfHour(x)` для таких условий, как `toStartOfHour(x) op сonstexpr.`
|
||||
- Добавлены новые настройки для движков MergeTree (раздел merge\_tree в config.XML):
|
||||
- replicated\_deduplication\_window\_seconds задает количество секунд, разрешенных для дедуплицирующих вставок в реплицируемые таблицы.
|
||||
- cleanup\_delay\_period устанавливает, как часто нужно запустить программу очистки, чтобы удалить устаревшие данные.
|
||||
- replicated\_can\_become\_leader может препятствовать тому, чтобы реплика становилась лидером (и назначала слияния).
|
||||
- Ускоренная очистка для удаления устаревших данных из ZooKeeper.
|
||||
- Множество улучшений и исправлений для кластеризованных DDL-запросов. Особый интерес представляет новая настройка distributed\_ddl\_task\_timeout, которая ограничивает время ожидания ответа от серверов в кластере. Если запрос ddl не был выполнен на всех хостах, ответ будет содержать ошибку таймаута, и запрос будет выполнен в асинхронном режиме.
|
||||
- Улучшено отображение трассировок стека в журналах сервера.
|
||||
- Добавил тот «none» значение для метода сжатия.
|
||||
- Вы можете использовать несколько разделов dictionaries\_config в config.XML.
|
||||
- Можно подключиться к MySQL через сокет в файловой системе.
|
||||
- Система.в таблице деталей появился новый столбец с информацией о размере меток, в байтах.
|
||||
|
||||
#### Устранение ошибок: {#bug-fixes-4}
|
||||
|
||||
- Распределенные таблицы, использующие таблицу слияния, теперь корректно работают для запроса SELECT с условием на `_table` поле.
|
||||
- Исправлено редкое состояние гонки в ReplicatedMergeTree при проверке частей данных.
|
||||
- Исправлена возможная заморозка на «leader election» при запуске сервера.
|
||||
- Параметр max\_replica\_delay\_for\_distributed\_queries был проигнорирован при использовании локальной реплики источника данных. Это было исправлено.
|
||||
- Исправлено некорректное поведение `ALTER TABLE CLEAR COLUMN IN PARTITION` при попытке очистить несуществующий столбец.
|
||||
- Исправлено исключение в функции multif при использовании пустых массивов или строк.
|
||||
- Исправлено чрезмерное выделение памяти при десериализации собственного формата.
|
||||
- Исправлено некорректное автоматическое обновление словарей Trie.
|
||||
- Исправлено исключение при выполнении запросов с предложением GROUP BY из таблицы слияния при использовании SAMPLE.
|
||||
- Исправлена ошибка, из группы при использовании distributed\_aggregation\_memory\_efficient=1.
|
||||
- Теперь вы можете указать базу данных.таблицы в правой стороне и присоединиться.
|
||||
- Слишком много потоков было использовано для параллельной агрегации. Это было исправлено.
|
||||
- Исправлено как то «if» функция работает с аргументами FixedString.
|
||||
- Выберите из распределенной таблицы неправильно сработавшие осколки с весом 0. Это было исправлено.
|
||||
- Бегущий `CREATE VIEW IF EXISTS no longer causes crashes.`
|
||||
- Исправлено некорректное поведение при установке input\_format\_skip\_unknown\_fields=1 и наличии отрицательных чисел.
|
||||
- Исправлен бесконечный цикл в `dictGetHierarchy()` функция, если в словаре есть какие-то недопустимые данные.
|
||||
- Исправлено `Syntax error: unexpected (...)` ошибки при выполнении распределенных запросов с вложенными запросами в предложении IN или JOIN и таблицах слияния.
|
||||
- Исправлена неправильная интерпретация запроса SELECT из таблиц справочника.
|
||||
- Исправлена ошибка «Cannot mremap» ошибка при использовании массивов в предложениях IN и JOIN с более чем 2 миллиардами элементов.
|
||||
- Исправлена ошибка отработки отказа для словарей с MySQL в качестве источника.
|
||||
|
||||
#### Улучшен рабочий процесс разработки и сборки ClickHouse: {#improved-workflow-for-developing-and-assembling-clickhouse-1}
|
||||
|
||||
- Сборки могут быть собраны в Аркадии.
|
||||
- Вы можете использовать gcc 7 для компиляции ClickHouse.
|
||||
- Параллельные сборки с использованием ccache+distcc теперь работают быстрее.
|
||||
|
||||
### ClickHouse релиз 1.1.54245, 2017-07-04 {#clickhouse-release-1-1-54245-2017-07-04}
|
||||
|
||||
#### Новые средства: {#new-features-5}
|
||||
|
||||
- Распределенный DDL (например, `CREATE TABLE ON CLUSTER`)
|
||||
- Реплицированный запрос `ALTER TABLE CLEAR COLUMN IN PARTITION.`
|
||||
- Движок для таблиц словаря (доступ к данным словаря в виде таблицы).
|
||||
- Компонент Dictionary database engine (этот тип базы данных автоматически содержит таблицы словарей, доступные для всех подключенных внешних словарей).
|
||||
- Вы можете проверить наличие обновлений в словаре, отправив запрос источнику.
|
||||
- Полные имена столбцов
|
||||
- Цитирование идентификаторов с использованием двойных кавычек.
|
||||
- Сеансы в интерфейсе HTTP.
|
||||
- Запрос оптимизации для реплицированной таблицы может выполняться не только на лидере.
|
||||
|
||||
#### Назад несовместимые изменения: {#backward-incompatible-changes-2}
|
||||
|
||||
- Удалить набор глобальных.
|
||||
|
||||
#### Несущественные изменения: {#minor-changes}
|
||||
|
||||
- Теперь после срабатывания предупреждения журнал печатает полную трассировку стека.
|
||||
- Ослаблена проверка количества поврежденных / лишних частей данных при запуске (было слишком много ложных срабатываний).
|
||||
|
||||
#### Устранение ошибок: {#bug-fixes-5}
|
||||
|
||||
- Исправлена плохая связь «sticking» при вставке в распределенную таблицу.
|
||||
- GLOBAL IN теперь работает для запроса из таблицы слияния, которая смотрит на распределенную таблицу.
|
||||
- Неверное количество ядер было обнаружено на виртуальной машине Google Compute Engine. Это было исправлено.
|
||||
- Изменения в том, как работает исполняемый источник кэшированных внешних словарей.
|
||||
- Исправлено сравнение строк, содержащих нулевые символы.
|
||||
- Исправлено сравнение полей первичного ключа Float32 с константами.
|
||||
- Ранее неверная оценка размера поля могла привести к чрезмерно большим распределениям.
|
||||
- Исправлена ошибка, при отправке запроса столбец допускает значения NULL в таблицу с помощью инструкции Alter.
|
||||
- Исправлена ошибка при сортировке по нулевому столбцу, если количество строк меньше предельного.
|
||||
- Исправлен порядок по подзапросу, состоящему только из постоянных значений.
|
||||
- Ранее реплицированная таблица могла оставаться в недопустимом состоянии после неудачного удаления таблицы.
|
||||
- Псевдонимы для скалярных подзапросов с пустыми результатами больше не теряются.
|
||||
- Теперь запрос, который использовал компиляцию, не завершается ошибкой, если файл .so поврежден.
|
||||
1
docs/ru/whats_new/changelog/2017.md
Symbolic link
1
docs/ru/whats_new/changelog/2017.md
Symbolic link
@ -0,0 +1 @@
|
||||
en/whats_new/changelog/2017.md
|
||||
File diff suppressed because it is too large
Load Diff
1
docs/ru/whats_new/changelog/2018.md
Symbolic link
1
docs/ru/whats_new/changelog/2018.md
Symbolic link
@ -0,0 +1 @@
|
||||
en/whats_new/changelog/2018.md
|
||||
File diff suppressed because it is too large
Load Diff
1
docs/ru/whats_new/changelog/2019.md
Symbolic link
1
docs/ru/whats_new/changelog/2019.md
Symbolic link
@ -0,0 +1 @@
|
||||
en/whats_new/changelog/2019.md
|
||||
@ -1,17 +0,0 @@
|
||||
---
|
||||
machine_translated: true
|
||||
machine_translated_rev: 1cd5f0028d917696daf71ac1c9ee849c99c1d5c8
|
||||
---
|
||||
|
||||
# Дорожная карта {#roadmap}
|
||||
|
||||
## Q1 2020 {#q1-2020}
|
||||
|
||||
- Управление доступом на основе ролей
|
||||
|
||||
## Q2 2020 {#q2-2020}
|
||||
|
||||
- Интеграция с внешними службами аутентификации
|
||||
- Пулы ресурсов для более точного распределения емкости кластера между пользователями
|
||||
|
||||
{## [Оригинальная статья](https://clickhouse.tech/docs/en/roadmap/) ##}
|
||||
1
docs/ru/whats_new/roadmap.md
Symbolic link
1
docs/ru/whats_new/roadmap.md
Symbolic link
@ -0,0 +1 @@
|
||||
en/whats_new/roadmap.md
|
||||
Loading…
Reference in New Issue
Block a user