2013-05-24 10:49:19 +00:00
|
|
|
|
#pragma once
|
|
|
|
|
|
2013-05-28 12:19:25 +00:00
|
|
|
|
#include <DB/Interpreters/Settings.h>
|
2013-06-04 13:34:46 +00:00
|
|
|
|
#include <DB/Core/Names.h>
|
2015-07-17 01:27:35 +00:00
|
|
|
|
#include <DB/Core/ColumnWithTypeAndName.h>
|
2013-06-04 13:34:46 +00:00
|
|
|
|
#include <DB/Core/Block.h>
|
2014-06-12 21:12:47 +00:00
|
|
|
|
|
|
|
|
|
#include <unordered_set>
|
|
|
|
|
#include <unordered_map>
|
2013-05-24 10:49:19 +00:00
|
|
|
|
|
|
|
|
|
|
|
|
|
|
namespace DB
|
|
|
|
|
{
|
2013-05-28 14:24:20 +00:00
|
|
|
|
|
2016-01-11 21:46:36 +00:00
|
|
|
|
namespace ErrorCodes
|
|
|
|
|
{
|
|
|
|
|
extern const int LOGICAL_ERROR;
|
|
|
|
|
}
|
|
|
|
|
|
|
|
|
|
using NameWithAlias = std::pair<std::string, std::string>;
|
|
|
|
|
using NamesWithAliases = std::vector<NameWithAlias>;
|
2013-06-11 16:21:25 +00:00
|
|
|
|
|
2014-06-13 02:05:05 +00:00
|
|
|
|
class Join;
|
|
|
|
|
|
2017-01-14 09:00:19 +00:00
|
|
|
|
class IFunction;
|
|
|
|
|
using FunctionPtr = std::shared_ptr<IFunction>;
|
|
|
|
|
|
|
|
|
|
class IDataType;
|
|
|
|
|
using DataTypePtr = std::shared_ptr<IDataType>;
|
|
|
|
|
|
|
|
|
|
class IBlockInputStream;
|
|
|
|
|
using BlockInputStreamPtr = std::shared_ptr<IBlockInputStream>;
|
|
|
|
|
|
2014-06-12 18:41:09 +00:00
|
|
|
|
|
|
|
|
|
/** Действие над блоком.
|
2013-05-24 10:49:19 +00:00
|
|
|
|
*/
|
2014-06-12 18:41:09 +00:00
|
|
|
|
struct ExpressionAction
|
2013-05-24 10:49:19 +00:00
|
|
|
|
{
|
|
|
|
|
public:
|
2014-06-12 18:41:09 +00:00
|
|
|
|
enum Type
|
2013-05-24 10:49:19 +00:00
|
|
|
|
{
|
2014-06-12 18:41:09 +00:00
|
|
|
|
ADD_COLUMN,
|
|
|
|
|
REMOVE_COLUMN,
|
|
|
|
|
COPY_COLUMN,
|
|
|
|
|
|
|
|
|
|
APPLY_FUNCTION,
|
|
|
|
|
|
|
|
|
|
/** Заменяет указанные столбцы с массивами на столбцы с элементами.
|
|
|
|
|
* Размножает значения в остальных столбцах по количеству элементов в массивах.
|
|
|
|
|
* Массивы должны быть параллельными (иметь одинаковые длины).
|
|
|
|
|
*/
|
|
|
|
|
ARRAY_JOIN,
|
|
|
|
|
|
|
|
|
|
/// INNER|LEFT JOIN.
|
|
|
|
|
JOIN,
|
|
|
|
|
|
|
|
|
|
/// Переупорядочить и переименовать столбцы, удалить лишние. Допускаются одинаковые имена столбцов в результате.
|
|
|
|
|
PROJECT,
|
2013-05-24 10:49:19 +00:00
|
|
|
|
};
|
2014-06-12 18:41:09 +00:00
|
|
|
|
|
|
|
|
|
Type type;
|
|
|
|
|
|
2016-11-20 12:43:20 +00:00
|
|
|
|
/// For ADD/REMOVE/COPY_COLUMN.
|
2014-06-12 18:41:09 +00:00
|
|
|
|
std::string source_name;
|
|
|
|
|
std::string result_name;
|
|
|
|
|
DataTypePtr result_type;
|
|
|
|
|
|
2016-11-20 12:43:20 +00:00
|
|
|
|
/// For ADD_COLUMN.
|
2014-06-12 18:41:09 +00:00
|
|
|
|
ColumnPtr added_column;
|
|
|
|
|
|
2017-01-14 09:00:19 +00:00
|
|
|
|
/// For APPLY_FUNCTION and LEFT ARRAY JOIN.
|
|
|
|
|
mutable FunctionPtr function; /// mutable - to allow execute.
|
2014-06-12 18:41:09 +00:00
|
|
|
|
Names argument_names;
|
|
|
|
|
Names prerequisite_names;
|
|
|
|
|
|
2016-11-20 12:43:20 +00:00
|
|
|
|
/// For ARRAY_JOIN
|
2014-06-12 19:23:06 +00:00
|
|
|
|
NameSet array_joined_columns;
|
2016-07-31 05:56:36 +00:00
|
|
|
|
bool array_join_is_left = false;
|
2014-06-12 19:23:06 +00:00
|
|
|
|
|
2016-11-20 12:43:20 +00:00
|
|
|
|
/// For JOIN
|
2015-11-02 19:19:29 +00:00
|
|
|
|
std::shared_ptr<const Join> join;
|
2014-06-13 02:05:05 +00:00
|
|
|
|
NamesAndTypesList columns_added_by_join;
|
2014-06-12 19:23:06 +00:00
|
|
|
|
|
2016-11-20 12:43:20 +00:00
|
|
|
|
/// For PROJECT.
|
2014-06-12 18:41:09 +00:00
|
|
|
|
NamesWithAliases projection;
|
|
|
|
|
|
|
|
|
|
/// Если result_name_ == "", в качестве имени используется "имя_функции(аргументы через запятую)".
|
2016-01-07 19:52:21 +00:00
|
|
|
|
static ExpressionAction applyFunction(
|
|
|
|
|
const FunctionPtr & function_, const std::vector<std::string> & argument_names_, std::string result_name_ = "");
|
2014-06-12 18:41:09 +00:00
|
|
|
|
|
2017-01-14 09:00:19 +00:00
|
|
|
|
static ExpressionAction addColumn(const ColumnWithTypeAndName & added_column_);
|
|
|
|
|
static ExpressionAction removeColumn(const std::string & removed_name);
|
|
|
|
|
static ExpressionAction copyColumn(const std::string & from_name, const std::string & to_name);
|
|
|
|
|
static ExpressionAction project(const NamesWithAliases & projected_columns_);
|
|
|
|
|
static ExpressionAction project(const Names & projected_columns_);
|
|
|
|
|
static ExpressionAction arrayJoin(const NameSet & array_joined_columns, bool array_join_is_left, const Context & context);
|
|
|
|
|
static ExpressionAction ordinaryJoin(std::shared_ptr<const Join> join_, const NamesAndTypesList & columns_added_by_join_);
|
2014-06-13 02:05:05 +00:00
|
|
|
|
|
2014-06-12 18:41:09 +00:00
|
|
|
|
/// Какие столбцы нужны, чтобы выполнить это действие.
|
|
|
|
|
/// Если этот Action еще не добавлен в ExpressionActions, возвращаемый список может быть неполным, потому что не учтены prerequisites.
|
|
|
|
|
Names getNeededColumns() const;
|
|
|
|
|
|
|
|
|
|
std::string toString() const;
|
|
|
|
|
|
|
|
|
|
private:
|
|
|
|
|
friend class ExpressionActions;
|
|
|
|
|
|
|
|
|
|
std::vector<ExpressionAction> getPrerequisites(Block & sample_block);
|
|
|
|
|
void prepare(Block & sample_block);
|
|
|
|
|
void execute(Block & block) const;
|
2015-04-16 09:55:24 +00:00
|
|
|
|
void executeOnTotals(Block & block) const;
|
2014-06-12 18:41:09 +00:00
|
|
|
|
};
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
/** Содержит последовательность действий над блоком.
|
|
|
|
|
*/
|
|
|
|
|
class ExpressionActions
|
|
|
|
|
{
|
|
|
|
|
public:
|
2016-05-28 10:35:44 +00:00
|
|
|
|
using Actions = std::vector<ExpressionAction>;
|
2014-06-12 18:41:09 +00:00
|
|
|
|
|
2013-05-28 12:19:25 +00:00
|
|
|
|
ExpressionActions(const NamesAndTypesList & input_columns_, const Settings & settings_)
|
|
|
|
|
: input_columns(input_columns_), settings(settings_)
|
2013-05-24 10:49:19 +00:00
|
|
|
|
{
|
2015-04-18 22:30:43 +00:00
|
|
|
|
for (const auto & input_elem : input_columns)
|
2015-07-17 01:27:35 +00:00
|
|
|
|
sample_block.insert(ColumnWithTypeAndName(nullptr, input_elem.type, input_elem.name));
|
2013-05-24 10:49:19 +00:00
|
|
|
|
}
|
2014-06-12 18:41:09 +00:00
|
|
|
|
|
2013-06-04 13:34:46 +00:00
|
|
|
|
/// Для константных столбцов в input_columns_ могут содержаться сами столбцы.
|
2015-07-17 01:27:35 +00:00
|
|
|
|
ExpressionActions(const ColumnsWithTypeAndName & input_columns_, const Settings & settings_)
|
2015-04-16 06:12:35 +00:00
|
|
|
|
: settings(settings_)
|
2013-06-04 13:34:46 +00:00
|
|
|
|
{
|
2015-04-18 22:30:43 +00:00
|
|
|
|
for (const auto & input_elem : input_columns_)
|
2013-06-04 13:34:46 +00:00
|
|
|
|
{
|
2015-04-18 22:30:43 +00:00
|
|
|
|
input_columns.emplace_back(input_elem.name, input_elem.type);
|
|
|
|
|
sample_block.insert(input_elem);
|
2013-06-04 13:34:46 +00:00
|
|
|
|
}
|
|
|
|
|
}
|
2014-06-12 18:41:09 +00:00
|
|
|
|
|
2013-06-11 16:21:25 +00:00
|
|
|
|
/// Добавить входной столбец.
|
|
|
|
|
/// Название столбца не должно совпадать с названиями промежуточных столбцов, возникающих при вычислении выражения.
|
|
|
|
|
/// В выражении не должно быть действий PROJECT.
|
2015-07-17 01:27:35 +00:00
|
|
|
|
void addInput(const ColumnWithTypeAndName & column);
|
2013-06-11 16:21:25 +00:00
|
|
|
|
void addInput(const NameAndTypePair & column);
|
2014-06-12 18:41:09 +00:00
|
|
|
|
|
|
|
|
|
void add(const ExpressionAction & action);
|
|
|
|
|
|
2013-06-11 16:21:25 +00:00
|
|
|
|
/// Кладет в out_new_columns названия новых столбцов
|
|
|
|
|
/// (образовавшихся в результате добавляемого действия и его rerequisites).
|
2014-06-12 18:41:09 +00:00
|
|
|
|
void add(const ExpressionAction & action, Names & out_new_columns);
|
|
|
|
|
|
2013-05-28 14:47:37 +00:00
|
|
|
|
/// Добавляет в начало удаление всех лишних столбцов.
|
|
|
|
|
void prependProjectInput();
|
2014-04-30 19:19:29 +00:00
|
|
|
|
|
|
|
|
|
/// Добавить в начало указанное действие типа ARRAY JOIN. Поменять соответствующие входные типы на массивы.
|
|
|
|
|
/// Если в списке ARRAY JOIN есть неизвестные столбцы, взять их типы из sample_block, а сразу после ARRAY JOIN удалить.
|
2014-06-12 18:41:09 +00:00
|
|
|
|
void prependArrayJoin(const ExpressionAction & action, const Block & sample_block);
|
2014-04-30 19:19:29 +00:00
|
|
|
|
|
|
|
|
|
/// Если последнее действие - ARRAY JOIN, и оно не влияет на столбцы из required_columns, выбросить и вернуть его.
|
|
|
|
|
/// Поменять соответствующие выходные типы на массивы.
|
2014-06-12 18:41:09 +00:00
|
|
|
|
bool popUnusedArrayJoin(const Names & required_columns, ExpressionAction & out_action);
|
|
|
|
|
|
2013-05-28 11:54:37 +00:00
|
|
|
|
/// - Добавляет действия для удаления всех столбцов, кроме указанных.
|
|
|
|
|
/// - Убирает неиспользуемые входные столбцы.
|
2013-06-11 16:21:25 +00:00
|
|
|
|
/// - Может как-нибудь оптимизировать выражение.
|
2013-05-28 11:54:37 +00:00
|
|
|
|
/// - Не переупорядочивает столбцы.
|
|
|
|
|
/// - Не удаляет "неожиданные" столбцы (например, добавленные функциями).
|
2013-06-03 10:18:41 +00:00
|
|
|
|
/// - Если output_columns пуст, оставляет один произвольный столбец (чтобы не потерялось количество строк в блоке).
|
2013-05-28 11:54:37 +00:00
|
|
|
|
void finalize(const Names & output_columns);
|
2014-06-12 18:41:09 +00:00
|
|
|
|
|
2013-05-24 10:49:19 +00:00
|
|
|
|
/// Получить список входных столбцов.
|
2013-05-28 11:54:37 +00:00
|
|
|
|
Names getRequiredColumns() const
|
|
|
|
|
{
|
|
|
|
|
Names names;
|
|
|
|
|
for (NamesAndTypesList::const_iterator it = input_columns.begin(); it != input_columns.end(); ++it)
|
2014-07-09 11:45:51 +00:00
|
|
|
|
names.push_back(it->name);
|
2013-05-28 11:54:37 +00:00
|
|
|
|
return names;
|
|
|
|
|
}
|
2014-06-12 18:41:09 +00:00
|
|
|
|
|
2013-05-28 11:54:37 +00:00
|
|
|
|
const NamesAndTypesList & getRequiredColumnsWithTypes() const { return input_columns; }
|
2013-05-24 10:49:19 +00:00
|
|
|
|
|
|
|
|
|
/// Выполнить выражение над блоком. Блок должен содержать все столбцы , возвращаемые getRequiredColumns.
|
2013-06-05 10:34:59 +00:00
|
|
|
|
void execute(Block & block) const;
|
2013-05-24 10:49:19 +00:00
|
|
|
|
|
2015-04-16 09:55:24 +00:00
|
|
|
|
/** Выполнить выражение над блоком тотальных значений.
|
|
|
|
|
* Почти не отличается от execute. Разница лишь при выполнении JOIN-а.
|
|
|
|
|
*/
|
|
|
|
|
void executeOnTotals(Block & block) const;
|
|
|
|
|
|
2013-05-24 10:49:19 +00:00
|
|
|
|
/// Получить блок-образец, содержащий имена и типы столбцов результата.
|
2013-06-05 10:34:59 +00:00
|
|
|
|
const Block & getSampleBlock() const { return sample_block; }
|
2014-06-12 18:41:09 +00:00
|
|
|
|
|
2013-05-30 16:52:21 +00:00
|
|
|
|
std::string getID() const;
|
2014-06-12 18:41:09 +00:00
|
|
|
|
|
2013-05-24 10:49:19 +00:00
|
|
|
|
std::string dumpActions() const;
|
2014-06-12 18:41:09 +00:00
|
|
|
|
|
2013-06-20 13:50:55 +00:00
|
|
|
|
static std::string getSmallestColumn(const NamesAndTypesList & columns);
|
2013-05-24 10:49:19 +00:00
|
|
|
|
|
2015-04-18 22:30:43 +00:00
|
|
|
|
BlockInputStreamPtr createStreamWithNonJoinedDataIfFullOrRightJoin(size_t max_block_size) const;
|
|
|
|
|
|
2013-05-24 10:49:19 +00:00
|
|
|
|
private:
|
|
|
|
|
NamesAndTypesList input_columns;
|
|
|
|
|
Actions actions;
|
|
|
|
|
Block sample_block;
|
2013-05-28 12:19:25 +00:00
|
|
|
|
Settings settings;
|
2014-06-12 18:41:09 +00:00
|
|
|
|
|
2013-06-05 10:34:59 +00:00
|
|
|
|
void checkLimits(Block & block) const;
|
2014-06-12 18:41:09 +00:00
|
|
|
|
|
2013-06-04 13:34:46 +00:00
|
|
|
|
/// Добавляет сначала все prerequisites, потом само действие.
|
|
|
|
|
/// current_names - столбцы, prerequisites которых сейчас обрабатываются.
|
2014-06-12 18:41:09 +00:00
|
|
|
|
void addImpl(ExpressionAction action, NameSet & current_names, Names & new_names);
|
|
|
|
|
|
2013-06-10 16:03:23 +00:00
|
|
|
|
/// Попробовать что-нибудь улучшить, не меняя списки входных и выходных столбцов.
|
|
|
|
|
void optimize();
|
|
|
|
|
/// Переместить все arrayJoin как можно ближе к концу.
|
|
|
|
|
void optimizeArrayJoin();
|
2013-05-24 10:49:19 +00:00
|
|
|
|
};
|
|
|
|
|
|
2016-01-13 00:32:59 +00:00
|
|
|
|
using ExpressionActionsPtr = std::shared_ptr<ExpressionActions>;
|
2013-05-24 10:49:19 +00:00
|
|
|
|
|
|
|
|
|
|
2013-06-20 12:27:33 +00:00
|
|
|
|
/** Последовательность преобразований над блоком.
|
|
|
|
|
* Предполагается, что результат каждого шага подается на вход следующего шага.
|
|
|
|
|
* Используется для выполнения некоторых частей запроса по отдельности.
|
2014-06-12 18:41:09 +00:00
|
|
|
|
*
|
2013-06-20 12:27:33 +00:00
|
|
|
|
* Например, можно составить цепочку из двух шагов:
|
|
|
|
|
* 1) вычислить выражение в секции WHERE,
|
|
|
|
|
* 2) вычислить выражение в секции SELECT,
|
|
|
|
|
* и между двумя шагами делать фильтрацию по значению в секции WHERE.
|
|
|
|
|
*/
|
2013-05-28 14:24:20 +00:00
|
|
|
|
struct ExpressionActionsChain
|
|
|
|
|
{
|
|
|
|
|
struct Step
|
|
|
|
|
{
|
|
|
|
|
ExpressionActionsPtr actions;
|
|
|
|
|
Names required_output;
|
2014-06-12 18:41:09 +00:00
|
|
|
|
|
2014-04-08 07:31:51 +00:00
|
|
|
|
Step(ExpressionActionsPtr actions_ = nullptr, Names required_output_ = Names())
|
2013-05-28 14:24:20 +00:00
|
|
|
|
: actions(actions_), required_output(required_output_) {}
|
|
|
|
|
};
|
2014-06-12 18:41:09 +00:00
|
|
|
|
|
2016-05-28 10:35:44 +00:00
|
|
|
|
using Steps = std::vector<Step>;
|
2014-06-12 18:41:09 +00:00
|
|
|
|
|
2013-05-28 14:24:20 +00:00
|
|
|
|
Settings settings;
|
|
|
|
|
Steps steps;
|
2014-06-12 18:41:09 +00:00
|
|
|
|
|
2014-04-30 19:19:29 +00:00
|
|
|
|
void addStep();
|
2014-06-12 18:41:09 +00:00
|
|
|
|
|
2014-04-30 19:19:29 +00:00
|
|
|
|
void finalize();
|
2014-06-12 18:41:09 +00:00
|
|
|
|
|
2013-06-03 10:18:41 +00:00
|
|
|
|
void clear()
|
|
|
|
|
{
|
|
|
|
|
steps.clear();
|
|
|
|
|
}
|
2014-06-12 18:41:09 +00:00
|
|
|
|
|
2013-06-05 12:46:41 +00:00
|
|
|
|
ExpressionActionsPtr getLastActions()
|
2013-06-03 10:18:41 +00:00
|
|
|
|
{
|
|
|
|
|
if (steps.empty())
|
|
|
|
|
throw Exception("Empty ExpressionActionsChain", ErrorCodes::LOGICAL_ERROR);
|
2014-06-12 18:41:09 +00:00
|
|
|
|
|
2013-06-03 10:18:41 +00:00
|
|
|
|
return steps.back().actions;
|
|
|
|
|
}
|
2014-06-12 18:41:09 +00:00
|
|
|
|
|
2013-06-05 12:46:41 +00:00
|
|
|
|
Step & getLastStep()
|
2013-06-03 10:18:41 +00:00
|
|
|
|
{
|
|
|
|
|
if (steps.empty())
|
|
|
|
|
throw Exception("Empty ExpressionActionsChain", ErrorCodes::LOGICAL_ERROR);
|
2014-06-12 18:41:09 +00:00
|
|
|
|
|
2013-06-03 10:18:41 +00:00
|
|
|
|
return steps.back();
|
|
|
|
|
}
|
2014-04-30 19:19:29 +00:00
|
|
|
|
|
|
|
|
|
std::string dumpChain();
|
2013-05-28 14:24:20 +00:00
|
|
|
|
};
|
|
|
|
|
|
2013-05-24 10:49:19 +00:00
|
|
|
|
}
|