2013-04-24 10:31:32 +00:00
|
|
|
|
#pragma once
|
|
|
|
|
|
2013-05-03 10:20:53 +00:00
|
|
|
|
#include <DB/DataStreams/IProfilingBlockInputStream.h>
|
2014-03-09 17:36:01 +00:00
|
|
|
|
#include <DB/Storages/MergeTree/MergeTreeData.h>
|
2016-11-20 12:43:20 +00:00
|
|
|
|
#include <DB/Storages/MergeTree/MarkRange.h>
|
2013-09-08 05:53:10 +00:00
|
|
|
|
|
2013-04-24 10:31:32 +00:00
|
|
|
|
|
|
|
|
|
namespace DB
|
|
|
|
|
{
|
|
|
|
|
|
2016-01-11 21:46:36 +00:00
|
|
|
|
|
2016-11-20 12:43:20 +00:00
|
|
|
|
class MergeTreeReader;
|
|
|
|
|
class UncompressedCache;
|
|
|
|
|
class MarkCache;
|
2016-01-11 21:46:36 +00:00
|
|
|
|
|
2013-04-24 10:31:32 +00:00
|
|
|
|
/// Для чтения из одного куска. Для чтения сразу из многих, Storage использует сразу много таких объектов.
|
|
|
|
|
class MergeTreeBlockInputStream : public IProfilingBlockInputStream
|
|
|
|
|
{
|
|
|
|
|
public:
|
|
|
|
|
MergeTreeBlockInputStream(const String & path_, /// Путь к куску
|
2014-07-17 13:41:47 +00:00
|
|
|
|
size_t block_size_, Names column_names,
|
2014-03-09 17:36:01 +00:00
|
|
|
|
MergeTreeData & storage_, const MergeTreeData::DataPartPtr & owned_data_part_,
|
2014-03-19 10:45:13 +00:00
|
|
|
|
const MarkRanges & mark_ranges_, bool use_uncompressed_cache_,
|
2015-04-12 04:39:20 +00:00
|
|
|
|
ExpressionActionsPtr prewhere_actions_, String prewhere_column_, bool check_columns,
|
2015-12-26 00:59:09 +00:00
|
|
|
|
size_t min_bytes_to_use_direct_io_, size_t max_read_buffer_size_,
|
2016-11-03 12:00:44 +00:00
|
|
|
|
bool save_marks_in_cache_, bool quiet = false);
|
2016-03-30 19:59:43 +00:00
|
|
|
|
|
2016-11-20 12:43:20 +00:00
|
|
|
|
~MergeTreeBlockInputStream() override;
|
2014-06-26 00:58:14 +00:00
|
|
|
|
|
2015-06-08 20:22:02 +00:00
|
|
|
|
String getName() const override { return "MergeTree"; }
|
2013-05-03 10:20:53 +00:00
|
|
|
|
|
2016-11-20 12:43:20 +00:00
|
|
|
|
String getID() const override;
|
2014-06-26 00:58:14 +00:00
|
|
|
|
|
2013-04-24 10:31:32 +00:00
|
|
|
|
protected:
|
2014-02-10 09:15:38 +00:00
|
|
|
|
/// Будем вызывать progressImpl самостоятельно.
|
2014-10-25 18:33:52 +00:00
|
|
|
|
void progress(const Progress & value) override {}
|
2014-02-10 09:15:38 +00:00
|
|
|
|
|
2015-04-02 03:08:43 +00:00
|
|
|
|
|
|
|
|
|
/** Если некоторых запрошенных столбцов нет в куске,
|
|
|
|
|
* то выясняем, какие столбцы может быть необходимо дополнительно прочитать,
|
|
|
|
|
* чтобы можно было вычислить DEFAULT выражение для этих столбцов.
|
2015-04-02 03:17:10 +00:00
|
|
|
|
* Добавляет их в columns.
|
2015-04-02 03:08:43 +00:00
|
|
|
|
*/
|
2016-11-20 12:43:20 +00:00
|
|
|
|
NameSet injectRequiredColumns(Names & columns) const;
|
2013-11-26 11:55:11 +00:00
|
|
|
|
|
2016-11-20 12:43:20 +00:00
|
|
|
|
Block readImpl() override;
|
2014-06-26 00:58:14 +00:00
|
|
|
|
|
2013-04-24 10:31:32 +00:00
|
|
|
|
private:
|
|
|
|
|
const String path;
|
|
|
|
|
size_t block_size;
|
2014-07-17 13:41:47 +00:00
|
|
|
|
NamesAndTypesList columns;
|
2013-12-02 12:15:39 +00:00
|
|
|
|
NameSet column_name_set;
|
2014-07-17 13:41:47 +00:00
|
|
|
|
NamesAndTypesList pre_columns;
|
2014-03-09 17:36:01 +00:00
|
|
|
|
MergeTreeData & storage;
|
2014-07-14 15:49:03 +00:00
|
|
|
|
MergeTreeData::DataPartPtr owned_data_part; /// Кусок не будет удалён, пока им владеет этот объект.
|
2014-07-14 14:07:47 +00:00
|
|
|
|
std::unique_ptr<Poco::ScopedReadRWLock> part_columns_lock; /// Не дадим изменить список столбцов куска, пока мы из него читаем.
|
2013-11-26 11:55:11 +00:00
|
|
|
|
MarkRanges all_mark_ranges; /// В каких диапазонах засечек читать. В порядке возрастания номеров.
|
|
|
|
|
MarkRanges remaining_mark_ranges; /// В каких диапазонах засечек еще не прочли.
|
|
|
|
|
/// В порядке убывания номеров, чтобы можно было выбрасывать из конца.
|
2013-09-08 05:53:10 +00:00
|
|
|
|
bool use_uncompressed_cache;
|
2014-04-22 22:58:05 +00:00
|
|
|
|
std::unique_ptr<MergeTreeReader> reader;
|
|
|
|
|
std::unique_ptr<MergeTreeReader> pre_reader;
|
2013-11-28 13:16:46 +00:00
|
|
|
|
ExpressionActionsPtr prewhere_actions;
|
|
|
|
|
String prewhere_column;
|
2013-12-05 13:07:55 +00:00
|
|
|
|
bool remove_prewhere_column;
|
2014-03-13 12:48:07 +00:00
|
|
|
|
|
|
|
|
|
Logger * log;
|
2015-02-16 17:01:38 +00:00
|
|
|
|
|
2015-04-01 11:44:42 +00:00
|
|
|
|
/// column names in specific order as expected by other stages
|
|
|
|
|
Names ordered_names;
|
2015-09-14 20:02:39 +00:00
|
|
|
|
bool should_reorder{false};
|
2015-04-12 04:39:20 +00:00
|
|
|
|
|
|
|
|
|
size_t min_bytes_to_use_direct_io;
|
|
|
|
|
size_t max_read_buffer_size;
|
2015-04-16 06:12:35 +00:00
|
|
|
|
|
2016-11-20 12:43:20 +00:00
|
|
|
|
std::shared_ptr<UncompressedCache> owned_uncompressed_cache;
|
|
|
|
|
std::shared_ptr<MarkCache> owned_mark_cache;
|
2015-12-26 00:59:09 +00:00
|
|
|
|
/// Если выставлено в false - при отсутствии засечек в кэше, считавать засечки, но не сохранять их в кэш, чтобы не вымывать оттуда другие данные.
|
|
|
|
|
bool save_marks_in_cache;
|
2013-04-24 10:31:32 +00:00
|
|
|
|
};
|
|
|
|
|
|
|
|
|
|
}
|