ClickHouse/dbms/include/DB/DataStreams/SummingSortedBlockInputStream.h

113 lines
5.2 KiB
C
Raw Normal View History

2013-10-01 18:09:31 +00:00
#pragma once
2015-09-29 19:19:54 +00:00
#include <common/logger_useful.h>
2013-10-01 18:09:31 +00:00
#include <DB/Core/FieldVisitors.h>
2013-10-01 18:09:31 +00:00
#include <DB/Core/Row.h>
#include <DB/Core/ColumnNumbers.h>
#include <DB/DataStreams/MergingSortedBlockInputStream.h>
2015-04-08 16:38:38 +00:00
#include <DB/Storages/MergeTree/PKCondition.h>
2015-10-05 00:33:43 +00:00
#include <ext/range.hpp>
#include <ext/map.hpp>
2013-10-01 18:09:31 +00:00
namespace DB
{
namespace ErrorCodes
{
extern const int LOGICAL_ERROR;
}
2013-10-01 18:09:31 +00:00
/** Соединяет несколько сортированных потоков в один.
* При этом, для каждой группы идущих подряд одинаковых значений первичного ключа (столбцов, по которым сортируются данные),
* схлопывает их в одну строку, суммируя все числовые столбцы кроме первичного ключа.
2013-11-30 18:43:59 +00:00
* Если во всех числовых столбцах кроме первичного ключа получился ноль, то удаляет строчку.
2013-10-01 18:09:31 +00:00
*/
class SummingSortedBlockInputStream : public MergingSortedBlockInputStream
{
public:
2014-11-22 02:22:30 +00:00
SummingSortedBlockInputStream(BlockInputStreams inputs_,
const SortDescription & description_,
/// Список столбцов, которых нужно суммировать. Если пустое - берутся все числовые столбцы, не входящие в description.
const Names & column_names_to_sum_,
size_t max_block_size_)
: MergingSortedBlockInputStream(inputs_, description_, max_block_size_), column_names_to_sum(column_names_to_sum_)
2013-10-01 18:09:31 +00:00
{
}
String getName() const override { return "SummingSorted"; }
2013-10-01 18:09:31 +00:00
String getID() const override;
2013-10-01 18:09:31 +00:00
protected:
/// Может возвращаться на 1 больше записей, чем max_block_size.
Block readImpl() override;
2013-10-01 18:09:31 +00:00
private:
2014-11-22 02:22:30 +00:00
Logger * log = &Logger::get("SummingSortedBlockInputStream");
2013-10-01 18:09:31 +00:00
2015-01-18 08:25:56 +00:00
/// Прочитали до конца.
bool finished = false;
2013-10-01 18:09:31 +00:00
/// Столбцы с какими номерами надо суммировать.
2014-11-22 02:22:30 +00:00
Names column_names_to_sum; /// Если задано - преобразуется в column_numbers_to_sum при инициализации.
2013-10-01 18:09:31 +00:00
ColumnNumbers column_numbers_to_sum;
/** Таблица может иметь вложенные таблицы, обрабатываемые особым образом.
* Если название вложенной таблицы заканчинвается на `Map` и она содержит не менее двух столбцов,
* удовлетворяющих следующим критериям:
* - первый столбец - числовой ((U)IntN, Date, DateTime), назовем его условно key,
* - остальные столбцы - арифметические ((U)IntN, Float32/64), условно (values...).
* Такая вложенная таблица воспринимается как отображение key => (values...) и при слиянии
* ее строк выполняется слияние элементов двух множеств по key со сложением соответствующих (values...).
* Пример:
* [(1, 100)] + [(2, 150)] -> [(1, 100), (2, 150)]
* [(1, 100)] + [(1, 150)] -> [(1, 250)]
* [(1, 100)] + [(1, 150), (2, 150)] -> [(1, 250), (2, 150)]
* [(1, 100), (2, 150)] + [(1, -100)] -> [(2, 150)]
*/
/// Хранит номера столбца-ключа и столбцов-значений
2015-04-08 16:38:38 +00:00
struct map_description
{
std::size_t key_col_num;
2015-04-09 17:01:02 +00:00
std::vector<std::size_t> val_col_nums;
2015-04-08 16:38:38 +00:00
};
/// Найденные вложенные Map таблицы
2015-04-08 16:38:38 +00:00
std::vector<map_description> maps_to_sum;
2013-10-01 18:09:31 +00:00
Row current_key; /// Текущий первичный ключ.
Row next_key; /// Первичный ключ следующей строки.
2013-10-01 18:09:31 +00:00
Row current_row;
2014-11-22 02:22:30 +00:00
bool current_row_is_zero = false; /// Текущая строчка просуммировалась в ноль, и её следует удалить.
2013-10-01 18:09:31 +00:00
2014-11-22 02:22:30 +00:00
bool output_is_non_empty = false; /// Отдали ли мы наружу хоть одну строку.
2014-05-07 11:44:14 +00:00
2013-10-01 18:09:31 +00:00
/** Делаем поддержку двух разных курсоров - с Collation и без.
* Шаблоны используем вместо полиморфных SortCursor'ов и вызовов виртуальных функций.
*/
template <class TSortCursor>
void merge(ColumnPlainPtrs & merged_columns, std::priority_queue<TSortCursor> & queue);
2013-10-01 18:09:31 +00:00
/// Вставить в результат просуммированную строку для текущей группы.
void insertCurrentRow(ColumnPlainPtrs & merged_columns);
2015-04-10 15:54:51 +00:00
/** Для вложенных Map выполняется слияние по ключу с выбрасыванием строк вложенных массивов, в которых
2015-04-10 15:13:26 +00:00
* все элементы - нулевые.
2013-11-30 18:43:59 +00:00
*/
template <class TSortCursor>
bool mergeMaps(Row & row, TSortCursor & cursor);
2015-04-10 15:54:51 +00:00
/** Прибавить строчку под курсором к row.
* Возвращает false, если результат получился нулевым.
*/
template <class TSortCursor>
bool addRow(Row & row, TSortCursor & cursor);
2013-10-01 18:09:31 +00:00
};
}