ClickHouse/dbms/include/DB/Storages/StorageChunkMerger.h

102 lines
3.6 KiB
C
Raw Normal View History

2013-02-08 17:06:29 +00:00
#pragma once
#include <statdaemons/OptimizedRegularExpression.h>
#include <DB/Interpreters/Context.h>
#include <DB/Storages/IStorage.h>
namespace DB
{
2013-05-15 12:32:40 +00:00
/** То и дело объединяет таблицы, подходящие под регэксп, в таблицы типа Chunks.
2013-02-08 17:06:29 +00:00
* После объндинения заменяет исходные таблицы таблицами типа ChunkRef.
* При чтении ведет себя как таблица типа Merge.
*/
class StorageChunkMerger : public IStorage
{
typedef std::vector<StoragePtr> Storages;
2013-02-08 17:06:29 +00:00
public:
static StoragePtr create(
const std::string & this_database_,/// Имя БД для этой таблицы.
const std::string & name_, /// Имя таблицы.
NamesAndTypesListPtr columns_, /// Список столбцов.
const NamesAndTypesList & materialized_columns_,
const NamesAndTypesList & alias_columns_,
const ColumnDefaults & column_defaults_,
2013-02-08 17:06:29 +00:00
const String & source_database_, /// В какой БД искать таблицы-источники.
const String & table_name_regexp_, /// Регексп имён таблиц-источников.
const std::string & destination_name_prefix_, /// Префикс имен создаваемых таблиц типа Chunks.
size_t chunks_to_merge_, /// Сколько чанков сливать в одну группу.
Context & context_); /// Известные таблицы.
std::string getName() const override { return "ChunkMerger"; }
std::string getTableName() const override { return name; }
bool supportsParallelReplicas() const override { return true; }
2014-11-12 10:37:47 +00:00
const NamesAndTypesList & getColumnsListImpl() const override { return *columns; }
NameAndTypePair getColumn(const String & column_name) const override;
bool hasColumn(const String & column_name) const override;
2014-01-16 14:52:13 +00:00
2013-02-08 17:06:29 +00:00
BlockInputStreams read(
const Names & column_names,
ASTPtr query,
const Context & context,
2013-02-08 17:06:29 +00:00
const Settings & settings,
QueryProcessingStage::Enum & processed_stage,
size_t max_block_size = DEFAULT_BLOCK_SIZE,
unsigned threads = 1) override;
2013-09-30 01:29:19 +00:00
void shutdown() override;
~StorageChunkMerger() override;
2013-02-08 17:06:29 +00:00
private:
String this_database;
String name;
NamesAndTypesListPtr columns;
String source_database;
OptimizedRegularExpression table_name_regexp;
std::string destination_name_prefix;
size_t chunks_to_merge;
Context & context;
2013-09-14 05:14:22 +00:00
Settings settings;
std::thread merge_thread;
2013-07-28 01:15:52 +00:00
Poco::Event cancel_merge_thread;
2013-02-08 17:06:29 +00:00
Logger * log;
2013-10-22 19:11:03 +00:00
volatile bool shutdown_called;
/// Название виртуального столбца, отвечающего за имя таблицы, из которой идет чтение. (Например "_table")
2014-01-16 14:52:13 +00:00
String _table_column_name;
2013-02-08 17:06:29 +00:00
StorageChunkMerger(
const std::string & this_database_,
const std::string & name_,
NamesAndTypesListPtr columns_,
const NamesAndTypesList & materialized_columns_,
const NamesAndTypesList & alias_columns_,
const ColumnDefaults & column_defaults_,
2013-02-08 17:06:29 +00:00
const String & source_database_,
const String & table_name_regexp_,
const std::string & destination_name_prefix_,
size_t chunks_to_merge_,
Context & context_);
2013-02-08 17:06:29 +00:00
void mergeThread();
bool maybeMergeSomething();
Storages selectChunksToMerge();
bool mergeChunks(const Storages & chunks);
2013-07-28 01:15:52 +00:00
Block getBlockWithVirtualColumns(const Storages & selected_tables) const;
2013-05-15 12:32:40 +00:00
typedef std::set<std::string> TableNames;
/// Какие таблицы типа Chunks сейчас пишет хоть один ChunkMerger.
/// Нужно смотреть, залочив mutex из контекста.
static TableNames currently_written_groups;
2013-02-08 17:06:29 +00:00
};
2013-02-08 17:06:29 +00:00
}