ClickHouse/dbms/include/DB/DataStreams/SummingSortedBlockInputStream.h

111 lines
4.1 KiB
C
Raw Normal View History

2013-10-01 18:09:31 +00:00
#pragma once
#include <Yandex/logger_useful.h>
#include <DB/Core/Row.h>
#include <DB/Core/ColumnNumbers.h>
#include <DB/DataStreams/MergingSortedBlockInputStream.h>
namespace DB
{
/** Соединяет несколько сортированных потоков в один.
* При этом, для каждой группы идущих подряд одинаковых значений первичного ключа (столбцов, по которым сортируются данные),
* схлопывает их в одну строку, суммируя все числовые столбцы кроме первичного ключа.
2013-11-30 18:43:59 +00:00
* Если во всех числовых столбцах кроме первичного ключа получился ноль, то удаляет строчку.
2013-10-01 18:09:31 +00:00
*/
class SummingSortedBlockInputStream : public MergingSortedBlockInputStream
{
public:
2014-03-14 17:03:52 +00:00
SummingSortedBlockInputStream(BlockInputStreams inputs_, const SortDescription & description_, size_t max_block_size_)
2013-10-01 18:09:31 +00:00
: MergingSortedBlockInputStream(inputs_, description_, max_block_size_),
2013-11-30 18:43:59 +00:00
log(&Logger::get("SummingSortedBlockInputStream")), current_row_is_zero(false)
2013-10-01 18:09:31 +00:00
{
}
String getName() const { return "SummingSortedBlockInputStream"; }
String getID() const
{
std::stringstream res;
res << "SummingSorted(inputs";
for (size_t i = 0; i < children.size(); ++i)
res << ", " << children[i]->getID();
res << ", description";
for (size_t i = 0; i < description.size(); ++i)
res << ", " << description[i].getID();
res << ")";
return res.str();
}
protected:
/// Может возвращаться на 1 больше записей, чем max_block_size.
Block readImpl();
private:
Logger * log;
/// Столбцы с какими номерами надо суммировать.
ColumnNumbers column_numbers_to_sum;
Row current_key; /// Текущий первичный ключ.
Row next_key; /// Первичный ключ следующей строки.
Row current_row;
2013-11-30 18:43:59 +00:00
bool current_row_is_zero; /// Текущая строчка просуммировалась в ноль, и её следует удалить.
2013-10-01 18:09:31 +00:00
/** Делаем поддержку двух разных курсоров - с Collation и без.
* Шаблоны используем вместо полиморфных SortCursor'ов и вызовов виртуальных функций.
*/
template<class TSortCursor>
void merge(Block & merged_block, ColumnPlainPtrs & merged_columns, std::priority_queue<TSortCursor> & queue);
/// Вставить в результат просуммированную строку для текущей группы.
void insertCurrentRow(ColumnPlainPtrs & merged_columns);
2013-11-30 18:43:59 +00:00
/** Реализует операцию +=.
* Возвращает false, если результат получился нулевым.
*/
class FieldVisitorSum : public StaticVisitor<bool>
2013-10-01 18:09:31 +00:00
{
private:
const Field & rhs;
public:
FieldVisitorSum(const Field & rhs_) : rhs(rhs_) {}
2013-11-30 18:43:59 +00:00
bool operator() (UInt64 & x) const { x += get<UInt64>(rhs); return x != 0; }
bool operator() (Int64 & x) const { x += get<Int64>(rhs); return x != 0; }
bool operator() (Float64 & x) const { x += get<Float64>(rhs); return x != 0; }
2013-10-01 18:09:31 +00:00
2013-11-30 18:43:59 +00:00
bool operator() (Null & x) const { throw Exception("Cannot sum Nulls", ErrorCodes::LOGICAL_ERROR); }
bool operator() (String & x) const { throw Exception("Cannot sum Strings", ErrorCodes::LOGICAL_ERROR); }
bool operator() (Array & x) const { throw Exception("Cannot sum Arrays", ErrorCodes::LOGICAL_ERROR); }
2013-10-01 18:09:31 +00:00
};
2013-11-30 18:43:59 +00:00
/** Прибавить строчку под курсором к row.
* Возвращает false, если результат получился нулевым.
*/
2013-10-01 18:09:31 +00:00
template<class TSortCursor>
2013-11-30 18:43:59 +00:00
bool addRow(Row & row, TSortCursor & cursor)
2013-10-01 18:09:31 +00:00
{
2013-11-30 18:43:59 +00:00
bool res = false; /// Есть ли хотя бы одно ненулевое число.
2013-10-01 18:09:31 +00:00
for (size_t i = 0, size = column_numbers_to_sum.size(); i < size; ++i)
{
size_t j = column_numbers_to_sum[i];
2013-11-30 18:43:59 +00:00
if (apply_visitor(FieldVisitorSum((*cursor->all_columns[j])[cursor->pos]), row[j]))
res = true;
2013-10-01 18:09:31 +00:00
}
2013-11-30 18:43:59 +00:00
return res;
2013-10-01 18:09:31 +00:00
}
};
}