ClickHouse/dbms/include/DB/Storages/MergeTree/MergeTreeBlockInputStream.h

83 lines
3.4 KiB
C++
Raw Normal View History

2013-04-24 10:31:32 +00:00
#pragma once
#include <DB/DataStreams/IProfilingBlockInputStream.h>
2014-03-09 17:36:01 +00:00
#include <DB/Storages/MergeTree/MergeTreeData.h>
2016-11-20 12:43:20 +00:00
#include <DB/Storages/MergeTree/MarkRange.h>
2013-04-24 10:31:32 +00:00
namespace DB
{
2016-11-20 12:43:20 +00:00
class MergeTreeReader;
class UncompressedCache;
class MarkCache;
2013-04-24 10:31:32 +00:00
/// Для чтения из одного куска. Для чтения сразу из многих, Storage использует сразу много таких объектов.
class MergeTreeBlockInputStream : public IProfilingBlockInputStream
{
public:
MergeTreeBlockInputStream(const String & path_, /// Путь к куску
2014-07-17 13:41:47 +00:00
size_t block_size_, Names column_names,
2014-03-09 17:36:01 +00:00
MergeTreeData & storage_, const MergeTreeData::DataPartPtr & owned_data_part_,
const MarkRanges & mark_ranges_, bool use_uncompressed_cache_,
2015-04-12 04:39:20 +00:00
ExpressionActionsPtr prewhere_actions_, String prewhere_column_, bool check_columns,
size_t min_bytes_to_use_direct_io_, size_t max_read_buffer_size_,
bool save_marks_in_cache_, bool quiet = false);
2016-11-20 12:43:20 +00:00
~MergeTreeBlockInputStream() override;
String getName() const override { return "MergeTree"; }
2016-11-20 12:43:20 +00:00
String getID() const override;
2013-04-24 10:31:32 +00:00
protected:
/// Будем вызывать progressImpl самостоятельно.
void progress(const Progress & value) override {}
2015-04-02 03:08:43 +00:00
/** Если некоторых запрошенных столбцов нет в куске,
* то выясняем, какие столбцы может быть необходимо дополнительно прочитать,
* чтобы можно было вычислить DEFAULT выражение для этих столбцов.
2015-04-02 03:17:10 +00:00
* Добавляет их в columns.
2015-04-02 03:08:43 +00:00
*/
2016-11-20 12:43:20 +00:00
NameSet injectRequiredColumns(Names & columns) const;
2013-11-26 11:55:11 +00:00
2016-11-20 12:43:20 +00:00
Block readImpl() override;
2013-04-24 10:31:32 +00:00
private:
const String path;
size_t block_size;
2014-07-17 13:41:47 +00:00
NamesAndTypesList columns;
NameSet column_name_set;
2014-07-17 13:41:47 +00:00
NamesAndTypesList pre_columns;
2014-03-09 17:36:01 +00:00
MergeTreeData & storage;
MergeTreeData::DataPartPtr owned_data_part; /// Кусок не будет удалён, пока им владеет этот объект.
2014-07-14 14:07:47 +00:00
std::unique_ptr<Poco::ScopedReadRWLock> part_columns_lock; /// Не дадим изменить список столбцов куска, пока мы из него читаем.
2013-11-26 11:55:11 +00:00
MarkRanges all_mark_ranges; /// В каких диапазонах засечек читать. В порядке возрастания номеров.
MarkRanges remaining_mark_ranges; /// В каких диапазонах засечек еще не прочли.
/// В порядке убывания номеров, чтобы можно было выбрасывать из конца.
bool use_uncompressed_cache;
2014-04-22 22:58:05 +00:00
std::unique_ptr<MergeTreeReader> reader;
std::unique_ptr<MergeTreeReader> pre_reader;
ExpressionActionsPtr prewhere_actions;
String prewhere_column;
bool remove_prewhere_column;
2014-03-13 12:48:07 +00:00
Logger * log;
2015-02-16 17:01:38 +00:00
2015-04-01 11:44:42 +00:00
/// column names in specific order as expected by other stages
Names ordered_names;
2015-09-14 20:02:39 +00:00
bool should_reorder{false};
2015-04-12 04:39:20 +00:00
size_t min_bytes_to_use_direct_io;
size_t max_read_buffer_size;
2015-04-16 06:12:35 +00:00
2016-11-20 12:43:20 +00:00
std::shared_ptr<UncompressedCache> owned_uncompressed_cache;
std::shared_ptr<MarkCache> owned_mark_cache;
/// Если выставлено в false - при отсутствии засечек в кэше, считавать засечки, но не сохранять их в кэш, чтобы не вымывать оттуда другие данные.
bool save_marks_in_cache;
2013-04-24 10:31:32 +00:00
};
}