ClickHouse/dbms/include/DB/Storages/StorageDistributed.h

154 lines
6.1 KiB
C++
Raw Normal View History

2012-05-21 20:38:34 +00:00
#pragma once
#include <DB/Storages/IStorage.h>
#include <DB/Client/ConnectionPool.h>
#include <DB/Client/ConnectionPoolWithFailover.h>
2012-07-26 20:16:57 +00:00
#include <DB/Interpreters/Settings.h>
2013-09-23 12:01:19 +00:00
#include <DB/Interpreters/Context.h>
2015-04-16 06:12:35 +00:00
#include <DB/Interpreters/ExpressionActions.h>
2016-03-25 11:48:45 +00:00
#include <common/logger_useful.h>
2012-05-21 20:38:34 +00:00
namespace DB
{
/** Распределённая таблица, находящаяся на нескольких серверах.
* Использует данные заданной БД и таблицы на каждом сервере.
2012-05-30 04:45:49 +00:00
*
* Можно передать один адрес, а не несколько.
* В этом случае, таблицу можно считать удалённой, а не распределённой.
2012-05-21 20:38:34 +00:00
*/
class StorageDistributed : public IStorage
{
friend class DistributedBlockOutputStream;
friend class DirectoryMonitor;
2012-05-21 20:38:34 +00:00
public:
static StoragePtr create(
2012-05-21 20:38:34 +00:00
const std::string & name_, /// Имя таблицы.
NamesAndTypesListPtr columns_, /// Список столбцов.
const NamesAndTypesList & materialized_columns_,
const NamesAndTypesList & alias_columns_,
const ColumnDefaults & column_defaults_,
2012-05-21 20:38:34 +00:00
const String & remote_database_, /// БД на удалённых серверах.
const String & remote_table_, /// Имя таблицы на удалённых серверах.
const String & cluster_name,
Context & context_,
const ASTPtr & sharding_key_,
const String & data_path_);
static StoragePtr create(
const std::string & name_, /// Имя таблицы.
NamesAndTypesListPtr columns_, /// Список столбцов.
const String & remote_database_, /// БД на удалённых серверах.
const String & remote_table_, /// Имя таблицы на удалённых серверах.
std::shared_ptr<Cluster> & owned_cluster_,
Context & context_);
std::string getName() const override { return "Distributed"; }
std::string getTableName() const override { return name; }
bool supportsSampling() const override { return true; }
bool supportsFinal() const override { return true; }
bool supportsPrewhere() const override { return true; }
bool supportsParallelReplicas() const override { return true; }
2012-05-21 20:38:34 +00:00
const NamesAndTypesList & getColumnsListImpl() const override { return *columns; }
NameAndTypePair getColumn(const String & column_name) const override;
bool hasColumn(const String & column_name) const override;
2012-05-21 20:38:34 +00:00
bool isRemote() const override { return true; }
2012-05-21 20:38:34 +00:00
BlockInputStreams read(
const Names & column_names,
ASTPtr query,
const Context & context,
const Settings & settings,
2012-05-22 18:32:45 +00:00
QueryProcessingStage::Enum & processed_stage,
2012-05-21 20:38:34 +00:00
size_t max_block_size = DEFAULT_BLOCK_SIZE,
unsigned threads = 1) override;
2012-05-21 20:38:34 +00:00
BlockOutputStreamPtr write(ASTPtr query, const Settings & settings) override;
2014-03-20 13:28:49 +00:00
void drop() override {}
void rename(const String & new_path_to_db, const String & new_database_name, const String & new_table_name) override { name = new_table_name; }
2013-09-23 12:01:19 +00:00
/// в подтаблицах добавлять и удалять столбы нужно вручную
/// структура подтаблиц не проверяется
2016-01-28 01:00:27 +00:00
void alter(const AlterCommands & params, const String & database_name, const String & table_name, const Context & context) override;
2012-05-21 20:38:34 +00:00
2014-08-21 12:07:29 +00:00
void shutdown() override;
2016-03-01 17:47:53 +00:00
void reshardPartitions(ASTPtr query, const String & database_name,
const Field & first_partition, const Field & last_partition,
const WeightedZooKeeperPaths & weighted_zookeeper_paths,
2016-03-25 11:48:45 +00:00
const ASTPtr & sharding_key_expr, bool do_copy, const Field & coordinator,
2016-01-28 01:00:27 +00:00
const Settings & settings) override;
2015-10-12 14:53:16 +00:00
/// От каждой реплики получить описание соответствующей локальной таблицы.
BlockInputStreams describe(const Context & context, const Settings & settings);
const ExpressionActionsPtr & getShardingKeyExpr() const { return sharding_key_expr; }
const String & getShardingKeyColumnName() const { return sharding_key_column_name; }
2015-09-18 13:36:10 +00:00
size_t getShardCount() const;
const String & getPath() const { return path; }
2015-09-18 13:36:10 +00:00
std::string getRemoteDatabaseName() const { return remote_database; }
std::string getRemoteTableName() const { return remote_table; }
2012-05-21 20:38:34 +00:00
private:
StorageDistributed(
const std::string & name_,
NamesAndTypesListPtr columns_,
const String & remote_database_,
const String & remote_table_,
const Cluster & cluster_,
Context & context_,
const ASTPtr & sharding_key_ = nullptr,
const String & data_path_ = String{});
StorageDistributed(
const std::string & name_,
NamesAndTypesListPtr columns_,
const NamesAndTypesList & materialized_columns_,
const NamesAndTypesList & alias_columns_,
const ColumnDefaults & column_defaults_,
const String & remote_database_,
const String & remote_table_,
const Cluster & cluster_,
Context & context_,
const ASTPtr & sharding_key_ = nullptr,
const String & data_path_ = String{});
/// create directory monitor thread by subdirectory name
void createDirectoryMonitor(const std::string & name);
/// create directory monitors for each existing subdirectory
void createDirectoryMonitors();
2014-08-21 12:07:29 +00:00
/// ensure directory monitor creation
void requireDirectoryMonitor(const std::string & name);
2012-06-18 06:19:13 +00:00
String name;
2012-05-21 20:38:34 +00:00
NamesAndTypesListPtr columns;
String remote_database;
String remote_table;
Context & context;
2016-03-25 11:48:45 +00:00
Logger * log = &Logger::get("StorageDistributed");
/// Используется только, если таблица должна владеть объектом Cluster,
/// которым больше никто не владеет - для реализации TableFunctionRemote.
std::shared_ptr<Cluster> owned_cluster;
/// Соединения с удалёнными серверами.
const Cluster & cluster;
ExpressionActionsPtr sharding_key_expr;
String sharding_key_column_name;
bool write_enabled;
String path; /// Может быть пустым, если data_path_ пустой. В этом случае, директория для данных для отправки не создаётся.
class DirectoryMonitor;
std::unordered_map<std::string, std::unique_ptr<DirectoryMonitor>> directory_monitors;
2012-05-21 20:38:34 +00:00
};
}