ClickHouse/dbms/include/DB/Interpreters/Context.h

346 lines
17 KiB
C
Raw Normal View History

2011-08-09 19:19:25 +00:00
#pragma once
#include <map>
2011-08-18 20:33:20 +00:00
#include <set>
2011-08-09 19:19:25 +00:00
2011-08-19 18:31:14 +00:00
#include <Poco/SharedPtr.h>
#include <Poco/Mutex.h>
#include <Yandex/logger_useful.h>
2011-08-09 19:19:25 +00:00
#include <DB/Core/NamesAndTypes.h>
2014-08-11 15:59:01 +00:00
#include <DB/Common/Macros.h>
#include <DB/IO/UncompressedCache.h>
2014-02-11 13:30:42 +00:00
#include <DB/Storages/MarkCache.h>
2012-03-11 08:52:56 +00:00
#include <DB/DataStreams/FormatFactory.h>
2011-08-18 20:33:20 +00:00
#include <DB/Storages/IStorage.h>
2011-09-19 01:42:16 +00:00
#include <DB/AggregateFunctions/AggregateFunctionFactory.h>
2011-08-18 20:33:20 +00:00
#include <DB/DataTypes/DataTypeFactory.h>
2011-10-31 17:30:44 +00:00
#include <DB/Storages/StorageFactory.h>
2014-07-02 12:30:38 +00:00
#include <DB/Storages/MergeTree/BackgroundProcessingPool.h>
2014-09-10 11:34:26 +00:00
#include <DB/Storages/MergeTree/MergeList.h>
#include <DB/TableFunctions/TableFunctionFactory.h>
2012-03-05 00:09:41 +00:00
#include <DB/Interpreters/Settings.h>
#include <DB/Interpreters/Users.h>
#include <DB/Interpreters/Quota.h>
2012-12-19 20:15:15 +00:00
#include <DB/Interpreters/Dictionaries.h>
#include <DB/Interpreters/ProcessList.h>
2013-12-07 16:51:29 +00:00
#include <DB/Interpreters/Cluster.h>
2014-03-21 13:42:14 +00:00
#include <DB/Interpreters/InterserverIOHandler.h>
#include <DB/Interpreters/Compiler.h>
2013-12-07 16:51:29 +00:00
#include <DB/Client/ConnectionPool.h>
#include <statdaemons/ConfigProcessor.h>
2014-03-21 19:17:59 +00:00
#include <zkutil/ZooKeeper.h>
2011-08-09 19:19:25 +00:00
namespace DB
{
class TableFunctionFactory;
2011-08-19 18:31:14 +00:00
using Poco::SharedPtr;
2011-08-18 20:33:20 +00:00
/// имя таблицы -> таблица
typedef std::map<String, StoragePtr> Tables;
/// имя БД -> таблицы
typedef std::map<String, Tables> Databases;
/// (имя базы данных, имя таблицы)
typedef std::pair<String, String> DatabaseAndTableName;
/// Таблица -> множество таблиц-представлений, которые деляют SELECT из неё.
typedef std::map<DatabaseAndTableName, std::set<DatabaseAndTableName>> ViewDependencies;
typedef std::vector<DatabaseAndTableName> Dependencies;
2011-08-09 19:19:25 +00:00
/** Набор известных объектов, которые могут быть использованы в запросе.
2013-09-14 05:14:22 +00:00
* Разделяемая часть. Порядок членов (порядок их уничтожения) очень важен.
2011-08-09 19:19:25 +00:00
*/
2012-08-02 17:33:31 +00:00
struct ContextShared
2011-08-09 19:19:25 +00:00
{
Logger * log = &Logger::get("Context"); /// Логгер.
2013-09-14 05:14:22 +00:00
struct AfterDestroy
{
Logger * log;
AfterDestroy(Logger * log_) : log(log_) {}
~AfterDestroy()
{
#ifndef DBMS_CLIENT
2013-09-14 05:14:22 +00:00
LOG_INFO(log, "Uninitialized shared context.");
#endif
2013-09-14 05:14:22 +00:00
}
} after_destroy {log};
2013-09-14 05:14:22 +00:00
mutable Poco::Mutex mutex; /// Для доступа и модификации разделяемых объектов.
2014-04-25 13:55:15 +00:00
mutable zkutil::ZooKeeperPtr zookeeper; /// Клиент для ZooKeeper.
2014-03-21 19:17:59 +00:00
String interserver_io_host; /// Имя хоста по которым это сервер доступен для других серверов.
int interserver_io_port; /// и порт,
2011-09-19 01:42:16 +00:00
String path; /// Путь к директории с данными, со слешем на конце.
String tmp_path; /// Путь ко временным файлам, возникающим при обработке запроса.
2012-08-02 17:33:31 +00:00
Databases databases; /// Список БД и таблиц в них.
TableFunctionFactory table_function_factory; /// Табличные функции.
2012-08-02 17:33:31 +00:00
AggregateFunctionFactory aggregate_function_factory; /// Агрегатные функции.
DataTypeFactory data_type_factory; /// Типы данных.
StorageFactory storage_factory; /// Движки таблиц.
2012-08-02 17:33:31 +00:00
FormatFactory format_factory; /// Форматы.
mutable SharedPtr<Dictionaries> dictionaries; /// Словари Метрики. Инициализируются лениво.
Users users; /// Известные пользователи.
Quotas quotas; /// Известные квоты на использование ресурсов.
mutable UncompressedCachePtr uncompressed_cache; /// Кэш разжатых блоков.
2014-02-11 13:30:42 +00:00
mutable MarkCachePtr mark_cache; /// Кэш засечек в сжатых файлах.
2013-09-14 05:14:22 +00:00
ProcessList process_list; /// Исполняющиеся в данный момент запросы.
2014-09-10 11:34:26 +00:00
MergeList merge_list; /// Список выполняемых мерджей (для (Replicated)?MergeTree)
ViewDependencies view_dependencies; /// Текущие зависимости
ConfigurationPtr users_config; /// Конфиг с секциями users, profiles и quotas.
2014-03-21 13:42:14 +00:00
InterserverIOHandler interserver_io_handler; /// Обработчик для межсерверной передачи данных.
2014-07-02 12:30:38 +00:00
BackgroundProcessingPoolPtr background_pool; /// Пул потоков для фоновой работы, выполняемой таблицами.
2014-08-11 15:59:01 +00:00
Macros macros; /// Подстановки из конфига.
std::unique_ptr<Compiler> compiler; /// Для динамической компиляции частей запроса, при необходимости.
/// Кластеры для distributed таблиц
/// Создаются при создании Distributed таблиц, так как нужно дождаться пока будут выставлены Settings
Poco::SharedPtr<Clusters> clusters;
bool shutdown_called = false;
2013-09-14 05:14:22 +00:00
~ContextShared()
{
#ifndef DBMS_CLIENT
2013-09-14 05:14:22 +00:00
LOG_INFO(log, "Uninitializing shared context.");
#endif
2013-09-14 05:14:22 +00:00
try
{
shutdown();
}
catch (...)
{
tryLogCurrentException(__PRETTY_FUNCTION__);
}
}
/** Выполнить сложную работу по уничтожению объектов заранее.
*/
void shutdown()
{
if (shutdown_called)
return;
shutdown_called = true;
2013-09-30 01:29:19 +00:00
/** В этот момент, некоторые таблицы могут иметь потоки,
* которые модифицируют список таблиц, и блокируют наш mutex (см. StorageChunkMerger).
* Чтобы корректно их завершить, скопируем текущий список таблиц,
* и попросим их всех закончить свою работу.
* Потом удалим все объекты с таблицами.
2013-09-14 05:14:22 +00:00
*/
2013-09-30 01:29:19 +00:00
Databases current_databases;
{
Poco::ScopedLock<Poco::Mutex> lock(mutex);
current_databases = databases;
}
for (Databases::iterator it = current_databases.begin(); it != current_databases.end(); ++it)
for (Tables::iterator jt = it->second.begin(); jt != it->second.end(); ++jt)
jt->second->shutdown();
{
Poco::ScopedLock<Poco::Mutex> lock(mutex);
databases.clear();
}
2013-09-14 05:14:22 +00:00
}
2012-08-02 17:33:31 +00:00
};
2012-06-18 07:49:19 +00:00
2012-08-02 17:33:31 +00:00
/** Набор известных объектов, которые могут быть использованы в запросе.
* Состоит из разделяемой части (всегда общей для всех сессий и запросов)
* и копируемой части (которая может быть своей для каждой сессии или запроса).
*
* Всё инкапсулировано для всяких проверок и блокировок.
*/
class Context
{
private:
typedef SharedPtr<ContextShared> Shared;
2014-04-08 07:31:51 +00:00
Shared shared = new ContextShared;
2012-06-18 07:49:19 +00:00
String user; /// Текущий пользователь.
Poco::Net::IPAddress ip_address; /// IP-адрес, с которого задан запрос.
2014-04-08 07:31:51 +00:00
QuotaForIntervalsPtr quota = new QuotaForIntervals; /// Текущая квота. По-умолчанию - пустая квота, которая ничего не ограничивает.
String current_database; /// Текущая БД.
String current_query_id; /// Id текущего запроса.
NamesAndTypesList columns; /// Столбцы текущей обрабатываемой таблицы.
Settings settings; /// Настройки выполнения запроса.
ProgressCallback progress_callback; /// Колбек для отслеживания прогресса выполнения запроса.
2014-04-08 07:31:51 +00:00
ProcessList::Element * process_list_elem = nullptr; /// Для отслеживания общего количества потраченных на запрос ресурсов.
String default_format; /// Формат, используемый, если сервер сам форматирует данные, и если в запросе не задан FORMAT.
/// То есть, используется в HTTP-интерфейсе. Может быть не задан - тогда используется некоторый глобальный формат по-умолчанию.
Tables external_tables; /// Временные таблицы.
2014-04-08 07:58:53 +00:00
Context * session_context = nullptr; /// Контекст сессии или nullptr, если его нет. (Возможно, равен this.)
Context * global_context = nullptr; /// Глобальный контекст или nullptr, если его нет. (Возможно, равен this.)
2012-06-18 07:49:19 +00:00
2012-08-02 17:33:31 +00:00
public:
String getPath() const;
String getTemporaryPath() const;
2012-08-02 17:33:31 +00:00
void setPath(const String & path);
void setTemporaryPath(const String & path);
/** Забрать список пользователей, квот и профилей настроек из этого конфига.
* Список пользователей полностью заменяется.
* Накопленные значения у квоты не сбрасываются, если квота не удалена.
*/
void setUsersConfig(ConfigurationPtr config);
ConfigurationPtr getUsersConfig();
void setUser(const String & name, const String & password, const Poco::Net::IPAddress & address, const String & quota_key);
String getUser() const { return user; }
Poco::Net::IPAddress getIPAddress() const { return ip_address; }
void setQuota(const String & name, const String & quota_key, const String & user_name, const Poco::Net::IPAddress & address);
QuotaForIntervals & getQuota();
void addDependency(const DatabaseAndTableName & from, const DatabaseAndTableName & where);
void removeDependency(const DatabaseAndTableName & from, const DatabaseAndTableName & where);
Dependencies getDependencies(const String & database_name, const String & table_name) const;
2012-08-02 17:33:31 +00:00
/// Проверка существования таблицы/БД. database может быть пустой - в этом случае используется текущая БД.
bool isTableExist(const String & database_name, const String & table_name) const;
bool isDatabaseExist(const String & database_name) const;
void assertTableExists(const String & database_name, const String & table_name) const;
void assertTableDoesntExist(const String & database_name, const String & table_name) const;
void assertDatabaseExists(const String & database_name) const;
void assertDatabaseDoesntExist(const String & database_name) const;
Tables getExternalTables() const;
StoragePtr tryGetExternalTable(const String & table_name) const;
2012-08-02 17:33:31 +00:00
StoragePtr getTable(const String & database_name, const String & table_name) const;
StoragePtr tryGetTable(const String & database_name, const String & table_name) const;
void addExternalTable(const String & table_name, StoragePtr storage);
2012-08-02 17:33:31 +00:00
void addTable(const String & database_name, const String & table_name, StoragePtr table);
void addDatabase(const String & database_name);
2013-09-30 01:29:19 +00:00
/// Возвращает отцепленную таблицу.
StoragePtr detachTable(const String & database_name, const String & table_name);
2012-08-02 17:33:31 +00:00
void detachDatabase(const String & database_name);
String getCurrentDatabase() const;
String getCurrentQueryId() const;
2012-08-02 17:33:31 +00:00
void setCurrentDatabase(const String & name);
void setCurrentQueryId(const String & query_id);
2012-08-02 17:33:31 +00:00
String getDefaultFormat() const; /// Если default_format не задан - возвращается некоторый глобальный формат по-умолчанию.
void setDefaultFormat(const String & name);
2014-08-11 15:59:01 +00:00
const Macros & getMacros() const;
void setMacros(Macros && macros);
2012-08-02 17:33:31 +00:00
Settings getSettings() const;
void setSettings(const Settings & settings_);
2012-08-02 19:03:32 +00:00
Limits getLimits() const;
2012-08-02 19:03:32 +00:00
/// Установить настройку по имени.
void setSetting(const String & name, const Field & value);
2014-02-14 17:38:33 +00:00
/// Установить настройку по имени. Прочитать значение в текстовом виде из строки (например, из конфига, или из параметра URL).
void setSetting(const String & name, const std::string & value);
const TableFunctionFactory & getTableFunctionFactory() const { return shared->table_function_factory; }
const AggregateFunctionFactory & getAggregateFunctionFactory() const { return shared->aggregate_function_factory; }
2012-08-02 17:33:31 +00:00
const DataTypeFactory & getDataTypeFactory() const { return shared->data_type_factory; }
const StorageFactory & getStorageFactory() const { return shared->storage_factory; }
const FormatFactory & getFormatFactory() const { return shared->format_factory; }
const Dictionaries & getDictionaries() const;
2012-08-02 17:33:31 +00:00
2014-03-21 13:42:14 +00:00
InterserverIOHandler & getInterserverIOHandler() { return shared->interserver_io_handler; }
/// Как другие серверы могут обратиться к этому для скачивания реплицируемых данных.
void setInterserverIOAddress(const String & host, UInt16 port);
std::pair<String, UInt16> getInterserverIOAddress() const;
2012-08-17 19:53:11 +00:00
/// Получить запрос на CREATE таблицы.
ASTPtr getCreateQuery(const String & database_name, const String & table_name) const;
2012-08-02 17:33:31 +00:00
/// Для методов ниже может быть необходимо захватывать mutex самостоятельно.
Poco::Mutex & getMutex() const { return shared->mutex; }
/// Метод getDatabases не потокобезопасен. При работе со списком БД и таблиц, вы должны захватить mutex.
const Databases & getDatabases() const { return shared->databases; }
Databases & getDatabases() { return shared->databases; }
/// При работе со списком столбцов, используйте локальный контекст, чтобы никто больше его не менял.
const NamesAndTypesList & getColumns() const { return columns; }
NamesAndTypesList & getColumns() { return columns; }
void setColumns(const NamesAndTypesList & columns_) { columns = columns_; }
Context & getSessionContext();
Context & getGlobalContext();
void setSessionContext(Context & context_) { session_context = &context_; }
void setGlobalContext(Context & context_) { global_context = &context_; }
const Settings & getSettingsRef() const { return settings; };
Settings & getSettingsRef() { return settings; };
void setProgressCallback(ProgressCallback callback);
/// Используется в InterpreterSelectQuery, чтобы передать его в IProfilingBlockInputStream.
ProgressCallback getProgressCallback() const;
/** Устанавливается в executeQuery и InterpreterSelectQuery. Затем используется в IProfilingBlockInputStream,
* чтобы обновлять и контролировать информацию об общем количестве потраченных на запрос ресурсов.
*/
void setProcessListElement(ProcessList::Element * elem);
2014-04-08 07:58:53 +00:00
/// Может вернуть nullptr, если запрос не был вставлен в ProcessList.
ProcessList::Element * getProcessListElement();
/// Список всех запросов.
ProcessList & getProcessList() { return shared->process_list; }
const ProcessList & getProcessList() const { return shared->process_list; }
2014-09-10 11:34:26 +00:00
MergeList & getMergeList() { return shared->merge_list; }
const MergeList & getMergeList() const { return shared->merge_list; }
/// Создать кэш разжатых блоков указанного размера. Это можно сделать только один раз.
2014-03-28 14:36:24 +00:00
void setUncompressedCache(size_t max_size_in_bytes);
UncompressedCachePtr getUncompressedCache() const;
2013-12-07 16:51:29 +00:00
2014-04-25 13:55:15 +00:00
void setZooKeeper(zkutil::ZooKeeperPtr zookeeper);
/// Если в момент вызова текущая сессия просрочена, синхронно создает и возвращает новую вызовом startNewSession().
zkutil::ZooKeeperPtr getZooKeeper() const;
2013-12-07 16:51:29 +00:00
2014-02-11 13:30:42 +00:00
/// Создать кэш засечек указанного размера. Это можно сделать только один раз.
void setMarkCache(size_t cache_size_in_bytes);
MarkCachePtr getMarkCache() const;
2014-07-02 12:30:38 +00:00
BackgroundProcessingPool & getBackgroundPool();
/** Очистить кэши разжатых блоков и засечек.
* Обычно это делается при переименовании таблиц, изменении типа столбцов, удалении таблицы.
* - так как кэши привязаны к именам файлов, и становятся некорректными.
* (при удалении таблицы - нужно, так как на её месте может появиться другая)
* const - потому что изменение кэша не считается существенным.
*/
void resetCaches() const;
void initClusters();
2013-12-07 16:51:29 +00:00
Cluster & getCluster(const std::string & cluster_name);
Compiler & getCompiler();
void shutdown() { shared->shutdown(); }
2011-08-09 19:19:25 +00:00
};
}