2011-08-19 19:18:15 +00:00
|
|
|
|
#pragma once
|
|
|
|
|
|
2011-09-04 21:23:19 +00:00
|
|
|
|
#include <DB/DataStreams/IProfilingBlockInputStream.h>
|
2015-08-16 07:01:41 +00:00
|
|
|
|
#include <DB/DataStreams/MarkInCompressedFile.h>
|
2011-08-19 19:18:15 +00:00
|
|
|
|
|
|
|
|
|
|
|
|
|
|
namespace DB
|
|
|
|
|
{
|
|
|
|
|
|
2015-08-16 07:01:41 +00:00
|
|
|
|
class CompressedReadBufferFromFile;
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
/** Формат Native может содержать отдельно расположенный индекс,
|
|
|
|
|
* который позволяет понять, где какой столбец расположен,
|
|
|
|
|
* и пропускать ненужные столбцы.
|
|
|
|
|
*/
|
|
|
|
|
|
|
|
|
|
/** Позиция одного кусочка одного столбца. */
|
|
|
|
|
struct IndexOfOneColumnForNativeFormat
|
|
|
|
|
{
|
|
|
|
|
String name;
|
|
|
|
|
String type;
|
|
|
|
|
MarkInCompressedFile location;
|
|
|
|
|
};
|
|
|
|
|
|
|
|
|
|
/** Индекс для блока данных. */
|
|
|
|
|
struct IndexOfBlockForNativeFormat
|
|
|
|
|
{
|
|
|
|
|
using Columns = std::vector<IndexOfOneColumnForNativeFormat>;
|
|
|
|
|
|
|
|
|
|
size_t num_columns;
|
|
|
|
|
size_t num_rows;
|
|
|
|
|
Columns columns;
|
|
|
|
|
};
|
|
|
|
|
|
|
|
|
|
/** Весь индекс. */
|
|
|
|
|
struct IndexForNativeFormat
|
|
|
|
|
{
|
|
|
|
|
using Blocks = std::vector<IndexOfBlockForNativeFormat>;
|
|
|
|
|
Blocks blocks;
|
|
|
|
|
|
|
|
|
|
IndexForNativeFormat() {}
|
|
|
|
|
|
|
|
|
|
IndexForNativeFormat(ReadBuffer & istr, const NameSet & required_columns)
|
|
|
|
|
{
|
|
|
|
|
read(istr, required_columns);
|
|
|
|
|
}
|
|
|
|
|
|
|
|
|
|
/// Прочитать индекс, только для нужных столбцов.
|
|
|
|
|
void read(ReadBuffer & istr, const NameSet & required_columns);
|
|
|
|
|
};
|
|
|
|
|
|
|
|
|
|
|
2011-08-19 19:18:15 +00:00
|
|
|
|
/** Десериализует поток блоков из родного бинарного формата (с именами и типами столбцов).
|
|
|
|
|
* Предназначено для взаимодействия между серверами.
|
2015-08-16 07:01:41 +00:00
|
|
|
|
*
|
|
|
|
|
* Также может использоваться для хранения данных на диске.
|
|
|
|
|
* В этом случае, может использовать индекс.
|
2011-08-19 19:18:15 +00:00
|
|
|
|
*/
|
2011-09-04 21:23:19 +00:00
|
|
|
|
class NativeBlockInputStream : public IProfilingBlockInputStream
|
2011-08-19 19:18:15 +00:00
|
|
|
|
{
|
|
|
|
|
public:
|
2015-01-03 03:18:49 +00:00
|
|
|
|
/** В случае указания ненулевой server_revision, может ожидаться и считываться дополнительная информация о блоке,
|
|
|
|
|
* в зависимости от поддерживаемой для указанной ревизии.
|
2015-08-16 07:01:41 +00:00
|
|
|
|
*
|
|
|
|
|
* index - не обязательный параметр. Если задан, то будут читаться только указанные в индексе кусочки столбцов.
|
2015-01-03 03:18:49 +00:00
|
|
|
|
*/
|
2015-08-16 07:01:41 +00:00
|
|
|
|
NativeBlockInputStream(
|
|
|
|
|
ReadBuffer & istr_, UInt64 server_revision_ = 0,
|
2015-08-16 08:18:34 +00:00
|
|
|
|
bool use_index_ = false,
|
|
|
|
|
IndexForNativeFormat::Blocks::const_iterator index_block_it_ = IndexForNativeFormat::Blocks::const_iterator{},
|
|
|
|
|
IndexForNativeFormat::Blocks::const_iterator index_block_end_ = IndexForNativeFormat::Blocks::const_iterator{});
|
2011-08-19 19:18:15 +00:00
|
|
|
|
|
2015-06-08 20:22:02 +00:00
|
|
|
|
String getName() const override { return "Native"; }
|
2014-11-08 23:52:18 +00:00
|
|
|
|
|
|
|
|
|
String getID() const override
|
2013-05-03 10:20:53 +00:00
|
|
|
|
{
|
|
|
|
|
std::stringstream res;
|
|
|
|
|
res << this;
|
|
|
|
|
return res.str();
|
|
|
|
|
}
|
|
|
|
|
|
2015-04-16 10:48:35 +00:00
|
|
|
|
static void readData(const IDataType & type, IColumn & column, ReadBuffer & istr, size_t rows);
|
|
|
|
|
|
2012-10-20 02:10:47 +00:00
|
|
|
|
protected:
|
2014-11-08 23:52:18 +00:00
|
|
|
|
Block readImpl() override;
|
2012-10-20 02:10:47 +00:00
|
|
|
|
|
2011-08-19 19:18:15 +00:00
|
|
|
|
private:
|
|
|
|
|
ReadBuffer & istr;
|
2015-01-03 03:18:49 +00:00
|
|
|
|
UInt64 server_revision;
|
2015-08-16 07:01:41 +00:00
|
|
|
|
|
2015-08-16 08:18:34 +00:00
|
|
|
|
bool use_index;
|
2015-08-16 07:01:41 +00:00
|
|
|
|
IndexForNativeFormat::Blocks::const_iterator index_block_it;
|
2015-08-16 08:18:34 +00:00
|
|
|
|
IndexForNativeFormat::Blocks::const_iterator index_block_end;
|
2015-08-16 07:01:41 +00:00
|
|
|
|
IndexOfBlockForNativeFormat::Columns::const_iterator index_column_it;
|
|
|
|
|
|
|
|
|
|
/// Если задан индекс, то istr должен быть CompressedReadBufferFromFile.
|
|
|
|
|
CompressedReadBufferFromFile * istr_concrete;
|
2011-08-19 19:18:15 +00:00
|
|
|
|
};
|
|
|
|
|
|
|
|
|
|
}
|