mirror of
https://github.com/ClickHouse/ClickHouse.git
synced 2024-11-05 15:21:43 +00:00
58e5dad1a1
commite712f469a5
Author: Alexey Milovidov <milovidov@yandex-team.ru> Date: Sat Jan 14 11:59:13 2017 +0300 Less dependencies [#CLICKHOUSE-2] commit2a00282308
Author: Alexey Milovidov <milovidov@yandex-team.ru> Date: Sat Jan 14 11:58:30 2017 +0300 Less dependencies [#CLICKHOUSE-2] commit9e06f407c8
Author: Alexey Milovidov <milovidov@yandex-team.ru> Date: Sat Jan 14 11:55:14 2017 +0300 Less dependencies [#CLICKHOUSE-2] commit9581620f1e
Author: Alexey Milovidov <milovidov@yandex-team.ru> Date: Sat Jan 14 11:54:22 2017 +0300 Less dependencies [#CLICKHOUSE-2] commit2a8564c68c
Author: Alexey Milovidov <milovidov@yandex-team.ru> Date: Sat Jan 14 11:47:34 2017 +0300 Less dependencies [#CLICKHOUSE-2] commitcf60632d78
Author: Alexey Milovidov <milovidov@yandex-team.ru> Date: Sat Jan 14 11:40:09 2017 +0300 Less dependencies [#CLICKHOUSE-2] commitee3d1dc6e0
Author: Alexey Milovidov <milovidov@yandex-team.ru> Date: Sat Jan 14 11:22:49 2017 +0300 Less dependencies [#CLICKHOUSE-2] commit65592ef711
Author: Alexey Milovidov <milovidov@yandex-team.ru> Date: Sat Jan 14 11:18:17 2017 +0300 Less dependencies [#CLICKHOUSE-2] commit37972c2573
Author: Alexey Milovidov <milovidov@yandex-team.ru> Date: Sat Jan 14 11:17:06 2017 +0300 Less dependencies [#CLICKHOUSE-2] commitdd909d1499
Author: Alexey Milovidov <milovidov@yandex-team.ru> Date: Sat Jan 14 11:16:28 2017 +0300 Less dependencies [#CLICKHOUSE-2] commit3cf43266ca
Author: Alexey Milovidov <milovidov@yandex-team.ru> Date: Sat Jan 14 11:15:42 2017 +0300 Less dependencies [#CLICKHOUSE-2] commit6731a3df96
Author: Alexey Milovidov <milovidov@yandex-team.ru> Date: Sat Jan 14 11:13:35 2017 +0300 Less dependencies [#CLICKHOUSE-2] commit1b5727e0d5
Author: Alexey Milovidov <milovidov@yandex-team.ru> Date: Sat Jan 14 11:11:18 2017 +0300 Less dependencies [#CLICKHOUSE-2] commitbbcf726a55
Author: Alexey Milovidov <milovidov@yandex-team.ru> Date: Sat Jan 14 11:09:04 2017 +0300 Less dependencies [#CLICKHOUSE-2] commitc03b477d5e
Author: Alexey Milovidov <milovidov@yandex-team.ru> Date: Sat Jan 14 11:06:30 2017 +0300 Less dependencies [#CLICKHOUSE-2] commit2986e2fb04
Author: Alexey Milovidov <milovidov@yandex-team.ru> Date: Sat Jan 14 11:05:44 2017 +0300 Less dependencies [#CLICKHOUSE-2] commit5d6cdef13d
Author: Alexey Milovidov <milovidov@yandex-team.ru> Date: Sat Jan 14 11:04:53 2017 +0300 Less dependencies [#CLICKHOUSE-2] commitf2b819b25c
Author: Alexey Milovidov <milovidov@yandex-team.ru> Date: Sat Jan 14 11:01:47 2017 +0300 Less dependencies [#CLICKHOUSE-2]
317 lines
16 KiB
C++
317 lines
16 KiB
C++
#pragma once
|
||
|
||
#include <DB/Interpreters/AggregateDescription.h>
|
||
#include <DB/Interpreters/Settings.h>
|
||
#include <DB/Core/Block.h>
|
||
|
||
|
||
namespace DB
|
||
{
|
||
|
||
class Context;
|
||
|
||
class ExpressionActions;
|
||
struct ExpressionActionsChain;
|
||
|
||
class Set;
|
||
using SetPtr = std::shared_ptr<Set>;
|
||
|
||
class Join;
|
||
using JoinPtr = std::shared_ptr<Join>;
|
||
|
||
class IAST;
|
||
using ASTPtr = std::shared_ptr<IAST>;
|
||
|
||
class IBlockInputStream;
|
||
using BlockInputStreamPtr = std::shared_ptr<IBlockInputStream>;
|
||
|
||
class IStorage;
|
||
using StoragePtr = std::shared_ptr<IStorage>;
|
||
using Tables = std::map<String, StoragePtr>;
|
||
|
||
class ASTFunction;
|
||
class ASTExpressionList;
|
||
class ASTSelectQuery;
|
||
|
||
|
||
/** Информация о том, что делать при выполнении подзапроса в секции [GLOBAL] IN/JOIN.
|
||
*/
|
||
struct SubqueryForSet
|
||
{
|
||
/// Источник - получен с помощью InterpreterSelectQuery подзапроса.
|
||
BlockInputStreamPtr source;
|
||
Block source_sample;
|
||
|
||
/// Если задано - создать из результата Set.
|
||
SetPtr set;
|
||
|
||
/// Если задано - создать из результата Join.
|
||
JoinPtr join;
|
||
|
||
/// Если задано - положить результат в таблицу.
|
||
/// Это - временная таблица для передачи на удалённые серверы при распределённой обработке запроса.
|
||
StoragePtr table;
|
||
};
|
||
|
||
/// ID подзапроса -> что с ним делать.
|
||
using SubqueriesForSets = std::unordered_map<String, SubqueryForSet>;
|
||
|
||
|
||
/** Превращает выражение из синтаксического дерева в последовательность действий для его выполнения.
|
||
*
|
||
* NOTE: если ast - запрос SELECT из таблицы, структура этой таблицы не должна меняться во все время жизни ExpressionAnalyzer-а.
|
||
*/
|
||
class ExpressionAnalyzer : private boost::noncopyable
|
||
{
|
||
private:
|
||
using ExpressionActionsPtr = std::shared_ptr<ExpressionActions>;
|
||
|
||
public:
|
||
ExpressionAnalyzer(
|
||
const ASTPtr & ast_,
|
||
const Context & context_,
|
||
StoragePtr storage_,
|
||
const NamesAndTypesList & columns_,
|
||
size_t subquery_depth_ = 0,
|
||
bool do_global_ = false);
|
||
|
||
/// Есть ли в выражении агрегатные функции или секция GROUP BY или HAVING.
|
||
bool hasAggregation() const { return has_aggregation; }
|
||
|
||
/// Получить список ключей агрегирования и описаний агрегатных функций, если в запросе есть GROUP BY.
|
||
void getAggregateInfo(Names & key_names, AggregateDescriptions & aggregates) const;
|
||
|
||
/** Получить набор столбцов, которых достаточно прочитать из таблицы для вычисления выражения.
|
||
* Не учитываются столбцы, добавляемые из другой таблицы путём JOIN-а.
|
||
*/
|
||
Names getRequiredColumns();
|
||
|
||
/** Эти методы позволяют собрать цепочку преобразований над блоком, получающую значения в нужных секциях запроса.
|
||
*
|
||
* Пример использования:
|
||
* ExpressionActionsChain chain;
|
||
* analyzer.appendWhere(chain);
|
||
* chain.addStep();
|
||
* analyzer.appendSelect(chain);
|
||
* analyzer.appendOrderBy(chain);
|
||
* chain.finalize();
|
||
*
|
||
* Если указано only_types = true, не выполняет подзапросы в соответствующих частях запроса. Полученные таким
|
||
* образом действия не следует выполнять, они нужны только чтобы получить список столбцов с их типами.
|
||
*/
|
||
|
||
/// До агрегации:
|
||
bool appendArrayJoin(ExpressionActionsChain & chain, bool only_types);
|
||
bool appendJoin(ExpressionActionsChain & chain, bool only_types);
|
||
bool appendWhere(ExpressionActionsChain & chain, bool only_types);
|
||
bool appendGroupBy(ExpressionActionsChain & chain, bool only_types);
|
||
void appendAggregateFunctionsArguments(ExpressionActionsChain & chain, bool only_types);
|
||
|
||
/// После агрегации:
|
||
bool appendHaving(ExpressionActionsChain & chain, bool only_types);
|
||
void appendSelect(ExpressionActionsChain & chain, bool only_types);
|
||
bool appendOrderBy(ExpressionActionsChain & chain, bool only_types);
|
||
/// Удаляет все столбцы кроме выбираемых SELECT, упорядочивает оставшиеся столбцы и переименовывает их в алиасы.
|
||
void appendProjectResult(ExpressionActionsChain & chain, bool only_types) const;
|
||
|
||
/// Если ast не запрос SELECT, просто получает все действия для вычисления выражения.
|
||
/// Если project_result, в выходном блоке останутся только вычисленные значения в нужном порядке, переименованные в алиасы.
|
||
/// Иначе, из блока будут удаляться только временные столбцы.
|
||
ExpressionActionsPtr getActions(bool project_result);
|
||
|
||
/// Действия, которые можно сделать над пустым блоком: добавление констант и применение функций, зависящих только от констант.
|
||
/// Не выполняет подзапросы.
|
||
ExpressionActionsPtr getConstActions();
|
||
|
||
/** Множества, для создания которых нужно будет выполнить подзапрос.
|
||
* Только множества, нужные для выполнения действий, возвращенных из уже вызванных append* или getActions.
|
||
* То есть, нужно вызвать getSetsWithSubqueries после всех вызовов append* или getActions
|
||
* и создать все возвращенные множества перед выполнением действий.
|
||
*/
|
||
SubqueriesForSets getSubqueriesForSets() { return subqueries_for_sets; }
|
||
|
||
/** Таблицы, которые надо будет отправить на удалённые серверы при распределённой обработке запроса.
|
||
*/
|
||
const Tables & getExternalTables() const { return external_tables; }
|
||
|
||
/// Если ast - запрос SELECT, получает имена (алиасы) и типы столбцов из секции SELECT.
|
||
Block getSelectSampleBlock();
|
||
|
||
/// Создаем какие сможем Set из секции IN для использования индекса по ним.
|
||
void makeSetsForIndex();
|
||
|
||
private:
|
||
ASTPtr ast;
|
||
ASTSelectQuery * select_query;
|
||
const Context & context;
|
||
Settings settings;
|
||
size_t subquery_depth;
|
||
|
||
/// Столбцы, которые упоминаются в выражении, но не были заданы в конструкторе.
|
||
NameSet unknown_required_columns;
|
||
|
||
/** Исходные столбцы.
|
||
* Сначала сюда помещаются все доступные столбцы таблицы. Затем (при разборе запроса) удаляются неиспользуемые столбцы.
|
||
*/
|
||
NamesAndTypesList columns;
|
||
|
||
/// Столбцы после ARRAY JOIN, JOIN и/или агрегации.
|
||
NamesAndTypesList aggregated_columns;
|
||
|
||
/// Таблица, из которой делается запрос.
|
||
const StoragePtr storage;
|
||
|
||
bool has_aggregation = false;
|
||
NamesAndTypesList aggregation_keys;
|
||
AggregateDescriptions aggregate_descriptions;
|
||
|
||
SubqueriesForSets subqueries_for_sets;
|
||
|
||
/// NOTE: Пока поддерживается только один JOIN на запрос.
|
||
|
||
/** Запрос вида SELECT expr(x) AS k FROM t1 ANY LEFT JOIN (SELECT expr(x) AS k FROM t2) USING k
|
||
* Соединение делается по столбцу k.
|
||
* Во время JOIN-а,
|
||
* - в "правой" таблице, он будет доступен по алиасу k, так как было выполнено действие Project для подзапроса.
|
||
* - в "левой" таблице, он будет доступен по имени expr(x), так как ещё не было выполнено действие Project.
|
||
* Надо запомнить оба этих варианта.
|
||
*/
|
||
Names join_key_names_left;
|
||
Names join_key_names_right;
|
||
|
||
NamesAndTypesList columns_added_by_join;
|
||
|
||
using Aliases = std::unordered_map<String, ASTPtr>;
|
||
Aliases aliases;
|
||
|
||
using SetOfASTs = std::set<const IAST *>;
|
||
using MapOfASTs = std::map<ASTPtr, ASTPtr>;
|
||
|
||
/// Какой столбец нужно по-ARRAY-JOIN-ить, чтобы получить указанный.
|
||
/// Например, для SELECT s.v ... ARRAY JOIN a AS s сюда попадет "s.v" -> "a.v".
|
||
NameToNameMap array_join_result_to_source;
|
||
|
||
/// Для секции ARRAY JOIN отображение из алиаса в полное имя столбца.
|
||
/// Например, для ARRAY JOIN [1,2] AS b сюда попадет "b" -> "array(1,2)".
|
||
NameToNameMap array_join_alias_to_name;
|
||
|
||
/// Обратное отображение для array_join_alias_to_name.
|
||
NameToNameMap array_join_name_to_alias;
|
||
|
||
/// Нужно ли подготавливать к выполнению глобальные подзапросы при анализировании запроса.
|
||
bool do_global;
|
||
|
||
/// Все новые временные таблицы, полученные при выполнении подзапросов GLOBAL IN/JOIN.
|
||
Tables external_tables;
|
||
size_t external_table_id = 1;
|
||
|
||
|
||
void init();
|
||
|
||
static NamesAndTypesList::iterator findColumn(const String & name, NamesAndTypesList & cols);
|
||
NamesAndTypesList::iterator findColumn(const String & name) { return findColumn(name, columns); }
|
||
|
||
/** Из списка всех доступных столбцов таблицы (columns) удалить все ненужные.
|
||
* Заодно, сформировать множество неизвестных столбцов (unknown_required_columns),
|
||
* а также столбцов, добавленных JOIN-ом (columns_added_by_join).
|
||
*/
|
||
void collectUsedColumns();
|
||
|
||
/** Найти столбцы, получаемые путём JOIN-а.
|
||
*/
|
||
void collectJoinedColumns(NameSet & joined_columns, NamesAndTypesList & joined_columns_name_type);
|
||
|
||
/** Создать словарь алиасов.
|
||
*/
|
||
void addASTAliases(ASTPtr & ast, int ignore_levels = 0);
|
||
|
||
/** Для узлов-звёздочек - раскрыть их в список всех столбцов.
|
||
* Для узлов-литералов - подставить алиасы.
|
||
*/
|
||
void normalizeTree();
|
||
void normalizeTreeImpl(ASTPtr & ast, MapOfASTs & finished_asts, SetOfASTs & current_asts, std::string current_alias, size_t level);
|
||
|
||
/// Eliminates injective function calls and constant expressions from group by statement
|
||
void optimizeGroupBy();
|
||
|
||
/// Удалить из ORDER BY повторяющиеся элементы.
|
||
void optimizeOrderBy();
|
||
|
||
void optimizeLimitBy();
|
||
|
||
/// remove Function_if AST if condition is constant
|
||
void optimizeIfWithConstantCondition();
|
||
void optimizeIfWithConstantConditionImpl(ASTPtr & current_ast, Aliases & aliases) const;
|
||
bool tryExtractConstValueFromCondition(const ASTPtr & condition, bool & value) const;
|
||
|
||
/// Превратить перечисление значений или подзапрос в ASTSet. node - функция in или notIn.
|
||
void makeSet(ASTFunction * node, const Block & sample_block);
|
||
|
||
/// Добавляет список ALIAS столбцов из таблицы
|
||
void addAliasColumns();
|
||
|
||
/// Замена скалярных подзапросов на значения-константы.
|
||
void executeScalarSubqueries();
|
||
void executeScalarSubqueriesImpl(ASTPtr & ast);
|
||
|
||
/// Находит глобальные подзапросы в секциях GLOBAL IN/JOIN. Заполняет external_tables.
|
||
void initGlobalSubqueriesAndExternalTables();
|
||
void initGlobalSubqueries(ASTPtr & ast);
|
||
|
||
/// Находит в запросе использования внешних таблиц (в виде идентификаторов таблиц). Заполняет external_tables.
|
||
void findExternalTables(ASTPtr & ast);
|
||
|
||
/** Инициализировать InterpreterSelectQuery для подзапроса в секции GLOBAL IN/JOIN,
|
||
* создать временную таблицу типа Memory и запомнить это в словаре external_tables.
|
||
*/
|
||
void addExternalStorage(ASTPtr & subquery_or_table_name);
|
||
|
||
void getArrayJoinedColumns();
|
||
void getArrayJoinedColumnsImpl(ASTPtr ast);
|
||
void addMultipleArrayJoinAction(ExpressionActionsPtr & actions) const;
|
||
|
||
void addJoinAction(ExpressionActionsPtr & actions, bool only_types) const;
|
||
|
||
struct ScopeStack;
|
||
void getActionsImpl(ASTPtr ast, bool no_subqueries, bool only_consts, ScopeStack & actions_stack);
|
||
|
||
void getRootActions(ASTPtr ast, bool no_subqueries, bool only_consts, ExpressionActionsPtr & actions);
|
||
|
||
void getActionsBeforeAggregation(ASTPtr ast, ExpressionActionsPtr & actions, bool no_subqueries);
|
||
|
||
/** Добавить ключи агрегации в aggregation_keys, агрегатные функции в aggregate_descriptions,
|
||
* Создать набор столбцов aggregated_columns, получаемых после агрегации, если она есть,
|
||
* или после всех действий, которые обычно выполняются до агрегации.
|
||
* Установить has_aggregation = true, если есть GROUP BY или хотя бы одна агрегатная функция.
|
||
*/
|
||
void analyzeAggregation();
|
||
void getAggregates(const ASTPtr & ast, ExpressionActionsPtr & actions);
|
||
void assertNoAggregates(const ASTPtr & ast, const char * description);
|
||
|
||
/** Получить множество нужных столбцов для чтения из таблицы.
|
||
* При этом, столбцы, указанные в ignored_names, считаются ненужными. И параметр ignored_names может модифицироваться.
|
||
* Множество столбцов available_joined_columns - столбцы, доступные из JOIN-а, они не нужны для чтения из основной таблицы.
|
||
* Положить в required_joined_columns множество столбцов, доступных из JOIN-а и востребованных.
|
||
*/
|
||
void getRequiredColumnsImpl(ASTPtr ast,
|
||
NameSet & required_columns, NameSet & ignored_names,
|
||
const NameSet & available_joined_columns, NameSet & required_joined_columns);
|
||
|
||
/// Получить таблицу, из которой идет запрос
|
||
StoragePtr getTable();
|
||
|
||
/// columns - столбцы, присутствующие до начала преобразований.
|
||
void initChain(ExpressionActionsChain & chain, const NamesAndTypesList & columns) const;
|
||
|
||
void assertSelect() const;
|
||
void assertAggregation() const;
|
||
|
||
/** Создать Set из явного перечисления значений в запросе.
|
||
* Если create_ordered_set = true - создать структуру данных, подходящую для использования индекса.
|
||
*/
|
||
void makeExplicitSet(ASTFunction * node, const Block & sample_block, bool create_ordered_set);
|
||
void makeSetsForIndexImpl(ASTPtr & node, const Block & sample_block);
|
||
};
|
||
|
||
}
|