mirror of
https://github.com/ClickHouse/ClickHouse.git
synced 2024-09-23 02:00:49 +00:00
88 lines
4.3 KiB
C
88 lines
4.3 KiB
C
|
#pragma once
|
|||
|
|
|
|||
|
|
#include <DB/Interpreters/Context.h>
|
|||
|
|
#include <DB/Storages/IStorage.h>
|
|||
|
|
|
|||
|
|
|
|||
|
|
namespace DB
|
|||
|
|
{
|
|||
|
|
|
|||
|
|
/** Движок, использующий merge tree для инкрементальной сортировки данных.
|
|||
|
|
* Таблица представлена набором сортированных кусков.
|
|||
|
|
* При вставке, данные сортируются по указанному выражению (первичному ключу) и пишутся в новый кусок.
|
|||
|
|
* Куски объединяются в фоне, согласно некоторой эвристике.
|
|||
|
|
* Для каждого куска, создаётся индексный файл, содержащий значение первичного ключа для каждой n-ой строки.
|
|||
|
|
* Таким образом, реализуется эффективная выборка по диапазону первичного ключа.
|
|||
|
|
*
|
|||
|
|
* Дополнительно:
|
|||
|
|
*
|
|||
|
|
* Указывается столбец, содержащий дату.
|
|||
|
|
* Для каждого куска пишется минимальная и максимальная дата.
|
|||
|
|
* (по сути - ещё один индекс)
|
|||
|
|
*
|
|||
|
|
* Данные разделяются по разным месяцам (пишутся в разные куски для разных месяцев).
|
|||
|
|
* Куски для разных месяцев не объединяются - для простоты эксплуатации.
|
|||
|
|
* (дают локальность обновлений, что удобно для синхронизации и бэкапа)
|
|||
|
|
*
|
|||
|
|
* Структура файлов:
|
|||
|
|
* / increment.txt - файл, содержащий одно число, увеличивающееся на 1 - для генерации идентификаторов кусков.
|
|||
|
|
* / min-date _ max-date _ min-id _ max-id _ level / - директория с куском.
|
|||
|
|
* / min-date _ max-date _ min-id _ max-id _ level . idx - индексный файл.
|
|||
|
|
* Внутри директории с куском:
|
|||
|
|
* Column.bin - данные столбца
|
|||
|
|
* Column.mrk - засечки, указывающие, откуда начинать чтение, чтобы пропустить n * k строк.
|
|||
|
|
*/
|
|||
|
|
class StorageMergeTree : public IStorage
|
|||
|
|
{
|
|||
|
|
public:
|
|||
|
|
/** Подцепить таблицу с соответствующим именем, по соответствующему пути (с / на конце),
|
|||
|
|
* (корректность имён и путей не проверяется)
|
|||
|
|
* состоящую из указанных столбцов.
|
|||
|
|
*
|
|||
|
|
* primary_expr - выражение для сортировки;
|
|||
|
|
* date_column_name - имя столбца с датой;
|
|||
|
|
* index_granularity - на сколько строчек пишется одно значение индекса.
|
|||
|
|
*/
|
|||
|
|
StorageMergeTree(const String & path_, const String & name_, NamesAndTypesListPtr columns_,
|
|||
|
|
ASTPtr & primary_expr_, const String & date_column_name_, size_t index_granularity_);
|
|||
|
|
|
|||
|
|
std::string getName() const { return "MergeTree"; }
|
|||
|
|
std::string getTableName() const { return name; }
|
|||
|
|
|
|||
|
|
const NamesAndTypesList & getColumnsList() const { return *columns; }
|
|||
|
|
|
|||
|
|
/** При чтении, выбирается набор кусков, покрывающий нужный диапазон индекса.
|
|||
|
|
*/
|
|||
|
|
BlockInputStreams read(
|
|||
|
|
const Names & column_names,
|
|||
|
|
ASTPtr query,
|
|||
|
|
QueryProcessingStage::Enum & processed_stage,
|
|||
|
|
size_t max_block_size = DEFAULT_BLOCK_SIZE,
|
|||
|
|
unsigned threads = 1);
|
|||
|
|
|
|||
|
|
/** При записи, данные сортируются и пишутся в новые куски.
|
|||
|
|
*/
|
|||
|
|
BlockOutputStreamPtr write(
|
|||
|
|
ASTPtr query);
|
|||
|
|
|
|||
|
|
/** Выполнить очередной шаг объединения кусков.
|
|||
|
|
* Для нормальной работы, этот метод требуется вызывать постоянно.
|
|||
|
|
* (С некоторой задержкой, если возвращено has_more_work = false.)
|
|||
|
|
*/
|
|||
|
|
void optimize(bool & done_something, bool & has_more_work);
|
|||
|
|
|
|||
|
|
void drop();
|
|||
|
|
|
|||
|
|
void rename(const String & new_path_to_db, const String & new_name);
|
|||
|
|
|
|||
|
|
private:
|
|||
|
|
String path;
|
|||
|
|
String name;
|
|||
|
|
NamesAndTypesListPtr columns;
|
|||
|
|
ASTPtr primary_expr;
|
|||
|
|
String date_column_name;
|
|||
|
|
size_t index_granularity;
|
|||
|
|
};
|
|||
|
|
|
|||
|
|
}
|