ClickHouse/dbms/include/DB/Storages/StorageChunkMerger.h

99 lines
3.6 KiB
C
Raw Normal View History

2013-02-08 17:06:29 +00:00
#pragma once
2015-10-05 01:11:12 +00:00
#include <DB/Common/OptimizedRegularExpression.h>
2013-02-08 17:06:29 +00:00
#include <DB/Interpreters/Context.h>
#include <DB/Storages/IStorage.h>
2015-04-16 06:12:35 +00:00
#include <DB/Storages/MergeTree/BackgroundProcessingPool.h>
2013-02-08 17:06:29 +00:00
namespace DB
{
2013-05-15 12:32:40 +00:00
/** То и дело объединяет таблицы, подходящие под регэксп, в таблицы типа Chunks.
2013-02-08 17:06:29 +00:00
* После объндинения заменяет исходные таблицы таблицами типа ChunkRef.
* При чтении ведет себя как таблица типа Merge.
*/
class StorageChunkMerger : public IStorage
{
typedef std::vector<StoragePtr> Storages;
2013-02-08 17:06:29 +00:00
public:
static StoragePtr create(
const std::string & this_database_,/// Имя БД для этой таблицы.
const std::string & name_, /// Имя таблицы.
NamesAndTypesListPtr columns_, /// Список столбцов.
const NamesAndTypesList & materialized_columns_,
const NamesAndTypesList & alias_columns_,
const ColumnDefaults & column_defaults_,
2013-02-08 17:06:29 +00:00
const String & source_database_, /// В какой БД искать таблицы-источники.
const String & table_name_regexp_, /// Регексп имён таблиц-источников.
const std::string & destination_name_prefix_, /// Префикс имен создаваемых таблиц типа Chunks.
size_t chunks_to_merge_, /// Сколько чанков сливать в одну группу.
Context & context_); /// Известные таблицы.
std::string getName() const override { return "ChunkMerger"; }
std::string getTableName() const override { return name; }
bool supportsParallelReplicas() const override { return true; }
2014-11-12 10:37:47 +00:00
const NamesAndTypesList & getColumnsListImpl() const override { return *columns; }
NameAndTypePair getColumn(const String & column_name) const override;
bool hasColumn(const String & column_name) const override;
2014-01-16 14:52:13 +00:00
2013-02-08 17:06:29 +00:00
BlockInputStreams read(
const Names & column_names,
ASTPtr query,
const Context & context,
2013-02-08 17:06:29 +00:00
const Settings & settings,
QueryProcessingStage::Enum & processed_stage,
size_t max_block_size = DEFAULT_BLOCK_SIZE,
unsigned threads = 1) override;
2013-09-30 01:29:19 +00:00
void shutdown() override;
~StorageChunkMerger() override;
2013-02-08 17:06:29 +00:00
private:
2015-03-23 08:42:29 +00:00
const String this_database;
const String name;
2013-02-08 17:06:29 +00:00
NamesAndTypesListPtr columns;
2015-03-23 08:42:29 +00:00
const String source_database;
2013-02-08 17:06:29 +00:00
OptimizedRegularExpression table_name_regexp;
std::string destination_name_prefix;
2015-03-23 08:42:29 +00:00
const size_t chunks_to_merge;
Context & context;
2013-09-14 05:14:22 +00:00
Settings settings;
2013-02-08 17:06:29 +00:00
Logger * log;
/// Название виртуального столбца, отвечающего за имя таблицы, из которой идет чтение. (Например "_table")
2014-01-16 14:52:13 +00:00
String _table_column_name;
2015-03-23 08:42:29 +00:00
class MergeTask;
using MergeTaskPtr = std::shared_ptr<MergeTask>;
MergeTaskPtr merge_task;
2015-04-16 06:12:35 +00:00
BackgroundProcessingPool::TaskHandle merge_task_handle;
2015-03-23 08:42:29 +00:00
2013-02-08 17:06:29 +00:00
StorageChunkMerger(
const std::string & this_database_,
const std::string & name_,
NamesAndTypesListPtr columns_,
const NamesAndTypesList & materialized_columns_,
const NamesAndTypesList & alias_columns_,
const ColumnDefaults & column_defaults_,
2013-02-08 17:06:29 +00:00
const String & source_database_,
const String & table_name_regexp_,
const std::string & destination_name_prefix_,
size_t chunks_to_merge_,
Context & context_);
Block getBlockWithVirtualColumns(const Storages & selected_tables) const;
2013-05-15 12:32:40 +00:00
typedef std::set<std::string> TableNames;
/// Какие таблицы типа Chunks сейчас пишет хоть один ChunkMerger.
/// Нужно смотреть, залочив mutex из контекста.
static TableNames currently_written_groups;
2013-02-08 17:06:29 +00:00
};
2013-02-08 17:06:29 +00:00
}