mirror of
https://github.com/ClickHouse/ClickHouse.git
synced 2024-11-21 23:21:59 +00:00
Apply required fixes [#METR-14099]
This commit is contained in:
Alexey Arno
parent
f8cb28cf07
commit
d29f019981
@ -10,120 +10,149 @@
|
||||
namespace DB
|
||||
{
|
||||
|
||||
struct InterpreterSelectQueryWithContext;
|
||||
|
||||
/** Интерпретирует запрос SELECT. Возвращает поток блоков с результатами выполнения запроса до стадии to_stage.
|
||||
*/
|
||||
class InterpreterSelectQuery
|
||||
{
|
||||
public:
|
||||
/** to_stage
|
||||
* - стадия, до которой нужно выполнить запрос. По-умолчанию - до конца.
|
||||
* Можно выполнить до промежуточного состояния агрегации, которые объединяются с разных серверов при распределённой обработке запроса.
|
||||
*
|
||||
* subquery_depth
|
||||
* - для контроля ограничений на глубину вложенности подзапросов. Для подзапросов передаётся значение, увеличенное на единицу.
|
||||
*
|
||||
* input
|
||||
* - если задан - читать не из таблицы, указанной в запросе, а из готового источника.
|
||||
*
|
||||
* required_column_names
|
||||
* - удалить из запроса все столбцы кроме указанных - используется для удаления ненужных столбцов из подзапросов.
|
||||
*
|
||||
* table_column_names
|
||||
* - поместить в контекст в качестве известных столбцов только указанные столбцы, а не все столбцы таблицы.
|
||||
* Используется, например, совместно с указанием input.
|
||||
*/
|
||||
/** to_stage
|
||||
* - стадия, до которой нужно выполнить запрос. По-умолчанию - до конца.
|
||||
* Можно выполнить до промежуточного состояния агрегации, которые объединяются с разных серверов при распределённой обработке запроса.
|
||||
*
|
||||
* subquery_depth
|
||||
* - для контроля ограничений на глубину вложенности подзапросов. Для подзапросов передаётся значение, увеличенное на единицу.
|
||||
*
|
||||
* input
|
||||
* - если задан - читать не из таблицы, указанной в запросе, а из готового источника.
|
||||
*
|
||||
* required_column_names
|
||||
* - удалить из запроса все столбцы кроме указанных - используется для удаления ненужных столбцов из подзапросов.
|
||||
*
|
||||
* table_column_names
|
||||
* - поместить в контекст в качестве известных столбцов только указанные столбцы, а не все столбцы таблицы.
|
||||
* Используется, например, совместно с указанием input.
|
||||
*/
|
||||
|
||||
InterpreterSelectQuery(
|
||||
ASTPtr query_ptr_,
|
||||
const Context & context_,
|
||||
QueryProcessingStage::Enum to_stage_ = QueryProcessingStage::Complete,
|
||||
size_t subquery_depth_ = 0,
|
||||
BlockInputStreamPtr input = nullptr,
|
||||
bool is_union_all_head_ = true);
|
||||
InterpreterSelectQuery(
|
||||
ASTPtr query_ptr_,
|
||||
const Context & context_,
|
||||
QueryProcessingStage::Enum to_stage_ = QueryProcessingStage::Complete,
|
||||
size_t subquery_depth_ = 0,
|
||||
BlockInputStreamPtr input = nullptr,
|
||||
bool is_union_all_head_ = true);
|
||||
|
||||
InterpreterSelectQuery(
|
||||
ASTPtr query_ptr_,
|
||||
const Context & context_,
|
||||
const Names & required_column_names,
|
||||
QueryProcessingStage::Enum to_stage_ = QueryProcessingStage::Complete,
|
||||
size_t subquery_depth_ = 0,
|
||||
BlockInputStreamPtr input = nullptr);
|
||||
InterpreterSelectQuery(
|
||||
ASTPtr query_ptr_,
|
||||
const Context & context_,
|
||||
const Names & required_column_names,
|
||||
QueryProcessingStage::Enum to_stage_ = QueryProcessingStage::Complete,
|
||||
size_t subquery_depth_ = 0,
|
||||
BlockInputStreamPtr input = nullptr);
|
||||
|
||||
InterpreterSelectQuery(
|
||||
ASTPtr query_ptr_,
|
||||
const Context & context_,
|
||||
const Names & required_column_names,
|
||||
const NamesAndTypesList & table_column_names,
|
||||
QueryProcessingStage::Enum to_stage_ = QueryProcessingStage::Complete,
|
||||
size_t subquery_depth_ = 0,
|
||||
BlockInputStreamPtr input = nullptr);
|
||||
InterpreterSelectQuery(
|
||||
ASTPtr query_ptr_,
|
||||
const Context & context_,
|
||||
const Names & required_column_names,
|
||||
const NamesAndTypesList & table_column_names,
|
||||
QueryProcessingStage::Enum to_stage_ = QueryProcessingStage::Complete,
|
||||
size_t subquery_depth_ = 0,
|
||||
BlockInputStreamPtr input = nullptr);
|
||||
|
||||
/** Выполнить запрос, возможно являющиийся цепочкой UNION ALL.
|
||||
* Получить поток блоков для чтения
|
||||
*/
|
||||
BlockInputStreamPtr execute();
|
||||
/** Выполнить запрос, возможно являющиийся цепочкой UNION ALL.
|
||||
* Получить поток блоков для чтения
|
||||
*/
|
||||
BlockInputStreamPtr execute();
|
||||
|
||||
/** Выполнить запрос, записать результат в нужном формате в buf.
|
||||
* BlockInputStreamPtr возвращается, чтобы можно было потом получить информацию о плане выполнения запроса.
|
||||
*/
|
||||
BlockInputStreamPtr executeAndFormat(WriteBuffer & buf);
|
||||
/** Выполнить запрос, записать результат в нужном формате в buf.
|
||||
* BlockInputStreamPtr возвращается, чтобы можно было потом получить информацию о плане выполнения запроса.
|
||||
*/
|
||||
BlockInputStreamPtr executeAndFormat(WriteBuffer & buf);
|
||||
|
||||
DataTypes getReturnTypes();
|
||||
Block getSampleBlock();
|
||||
DataTypes getReturnTypes();
|
||||
Block getSampleBlock();
|
||||
|
||||
private:
|
||||
typedef Poco::SharedPtr<ExpressionAnalyzer> ExpressionAnalyzerPtr;
|
||||
typedef Poco::SharedPtr<ExpressionAnalyzer> ExpressionAnalyzerPtr;
|
||||
|
||||
void init(BlockInputStreamPtr input, const NamesAndTypesList & table_column_names = NamesAndTypesList());
|
||||
void init(BlockInputStreamPtr input, const NamesAndTypesList & table_column_names = NamesAndTypesList());
|
||||
|
||||
/** Из какой таблицы читать. JOIN-ы не поддерживаются.
|
||||
*/
|
||||
void getDatabaseAndTableNames(String & database_name, String & table_name);
|
||||
/// Выполнить один запрос SELECT из цепочки UNION ALL.
|
||||
void executeSingleQuery(bool should_perform_union_hint = true);
|
||||
|
||||
/** Выбрать из списка столбцов какой-нибудь, лучше - минимального размера.
|
||||
*/
|
||||
String getAnyColumn();
|
||||
/// Является ли это первым запросом цепочки UNION ALL имеющей длниу >= 2.
|
||||
bool isFirstSelectInsideUnionAll() const;
|
||||
|
||||
/// Разные стадии выполнения запроса.
|
||||
/** Из какой таблицы читать. JOIN-ы не поддерживаются.
|
||||
*/
|
||||
void getDatabaseAndTableNames(String & database_name, String & table_name);
|
||||
|
||||
/// Вынимает данные из таблицы. Возвращает стадию, до которой запрос был обработан в Storage.
|
||||
QueryProcessingStage::Enum executeFetchColumns(BlockInputStreams & streams);
|
||||
|
||||
void executeWhere( BlockInputStreams & streams, ExpressionActionsPtr expression);
|
||||
void executeAggregation( BlockInputStreams & streams, ExpressionActionsPtr expression,
|
||||
bool overflow_row, bool final);
|
||||
void executeMergeAggregated( BlockInputStreams & streams, bool overflow_row, bool final);
|
||||
void executeTotalsAndHaving( BlockInputStreams & streams, bool has_having, ExpressionActionsPtr expression,
|
||||
bool overflow_row);
|
||||
void executeHaving( BlockInputStreams & streams, ExpressionActionsPtr expression);
|
||||
void executeExpression( BlockInputStreams & streams, ExpressionActionsPtr expression);
|
||||
void executeOrder( BlockInputStreams & streams);
|
||||
void executePreLimit( BlockInputStreams & streams);
|
||||
void executeUnion( BlockInputStreams & streams);
|
||||
void executeLimit( BlockInputStreams & streams);
|
||||
void executeProjection( BlockInputStreams & streams, ExpressionActionsPtr expression);
|
||||
void executeDistinct( BlockInputStreams & streams, bool before_order, Names columns);
|
||||
void executeSubqueriesInSetsAndJoins(BlockInputStreams & streams, SubqueriesForSets & subqueries_for_sets);
|
||||
/** Выбрать из списка столбцов какой-нибудь, лучше - минимального размера.
|
||||
*/
|
||||
String getAnyColumn();
|
||||
|
||||
ASTPtr query_ptr;
|
||||
ASTSelectQuery & query;
|
||||
Context context;
|
||||
Settings settings;
|
||||
QueryProcessingStage::Enum to_stage;
|
||||
size_t subquery_depth;
|
||||
ExpressionAnalyzerPtr query_analyzer;
|
||||
BlockInputStreams streams;
|
||||
|
||||
/// Проверить, что запрос SELECT - первый элемент цепочки UNION ALL.
|
||||
bool is_union_all_head;
|
||||
/// Разные стадии выполнения запроса.
|
||||
|
||||
/// Таблица, откуда читать данные, если не подзапрос.
|
||||
StoragePtr storage;
|
||||
IStorage::TableStructureReadLockPtr table_lock;
|
||||
/// Вынимает данные из таблицы. Возвращает стадию, до которой запрос был обработан в Storage.
|
||||
QueryProcessingStage::Enum executeFetchColumns(BlockInputStreams & streams);
|
||||
|
||||
Logger * log;
|
||||
void executeWhere( BlockInputStreams & streams, ExpressionActionsPtr expression);
|
||||
void executeAggregation( BlockInputStreams & streams, ExpressionActionsPtr expression,
|
||||
bool overflow_row, bool final);
|
||||
void executeMergeAggregated( BlockInputStreams & streams, bool overflow_row, bool final);
|
||||
void executeTotalsAndHaving( BlockInputStreams & streams, bool has_having, ExpressionActionsPtr expression,
|
||||
bool overflow_row);
|
||||
void executeHaving( BlockInputStreams & streams, ExpressionActionsPtr expression);
|
||||
void executeExpression( BlockInputStreams & streams, ExpressionActionsPtr expression);
|
||||
void executeOrder( BlockInputStreams & streams);
|
||||
void executePreLimit( BlockInputStreams & streams);
|
||||
void executeUnion( BlockInputStreams & streams);
|
||||
void executeLimit( BlockInputStreams & streams);
|
||||
void executeProjection( BlockInputStreams & streams, ExpressionActionsPtr expression);
|
||||
void executeDistinct( BlockInputStreams & streams, bool before_order, Names columns);
|
||||
void executeSubqueriesInSetsAndJoins(BlockInputStreams & streams, SubqueriesForSets & subqueries_for_sets);
|
||||
|
||||
ASTPtr query_ptr;
|
||||
ASTSelectQuery & query;
|
||||
Context context;
|
||||
Settings settings;
|
||||
QueryProcessingStage::Enum to_stage;
|
||||
size_t subquery_depth;
|
||||
ExpressionAnalyzerPtr query_analyzer;
|
||||
BlockInputStreams streams;
|
||||
|
||||
/** Цепочка UNION ALL может иметь длину 1 (в таком случае имеется просто один запрос SELECT)
|
||||
* или больше. Этот флаг установлен, если это первый запрос, возможно единственный, этой цепочки.
|
||||
*/
|
||||
bool is_union_all_head;
|
||||
|
||||
/// Следующий запрос SELECT в цепочке UNION ALL.
|
||||
std::unique_ptr<InterpreterSelectQueryWithContext> next_select_in_union_all;
|
||||
|
||||
/// Таблица, откуда читать данные, если не подзапрос.
|
||||
StoragePtr storage;
|
||||
IStorage::TableStructureReadLockPtr table_lock;
|
||||
|
||||
Logger * log;
|
||||
};
|
||||
|
||||
/** Интерпретатор SELECT вместе с контекстом.
|
||||
*/
|
||||
struct InterpreterSelectQueryWithContext
|
||||
{
|
||||
InterpreterSelectQueryWithContext(
|
||||
ASTPtr query_ptr_,
|
||||
Context & context_,
|
||||
QueryProcessingStage::Enum to_stage_ = QueryProcessingStage::Complete,
|
||||
size_t subquery_depth_ = 0,
|
||||
BlockInputStreamPtr input = nullptr,
|
||||
bool is_union_all_head_ = true) : context(context_), query(query_ptr_, context, to_stage_, subquery_depth_, input, is_union_all_head_)
|
||||
{
|
||||
}
|
||||
|
||||
Context context;
|
||||
InterpreterSelectQuery query;
|
||||
};
|
||||
|
||||
}
|
||||
|
||||
@ -596,7 +596,9 @@ QueryProcessingStage::Enum InterpreterSelectQuery::executeFetchColumns(BlockInpu
|
||||
if (storage && storage->isRemote())
|
||||
storage->storeExternalTables(query_analyzer->getExternalTables());
|
||||
|
||||
streams = storage->read(required_columns, query_ptr, settings_for_storage, from_stage, settings.max_block_size, settings.max_threads);
|
||||
streams = storage->read(required_columns, query_ptr,
|
||||
context, settings_for_storage, from_stage,
|
||||
settings.max_block_size, settings.max_threads);
|
||||
|
||||
for (auto & stream : streams)
|
||||
stream->addTableLock(table_lock);
|
||||
|
||||
Loading…
Reference in New Issue
Block a user