2011-09-19 01:42:16 +00:00
|
|
|
|
#pragma once
|
|
|
|
|
|
2011-09-26 07:25:22 +00:00
|
|
|
|
#include <map>
|
|
|
|
|
#include <tr1/unordered_map>
|
|
|
|
|
|
2012-03-05 07:58:34 +00:00
|
|
|
|
#include <Poco/Mutex.h>
|
|
|
|
|
|
2012-09-05 19:51:09 +00:00
|
|
|
|
#include <Yandex/logger_useful.h>
|
|
|
|
|
|
2011-09-19 01:42:16 +00:00
|
|
|
|
#include <DB/Core/ColumnNumbers.h>
|
2011-09-24 20:32:41 +00:00
|
|
|
|
#include <DB/Core/Names.h>
|
2012-05-31 05:41:56 +00:00
|
|
|
|
#include <DB/Core/StringRef.h>
|
|
|
|
|
#include <DB/Core/StringPool.h>
|
|
|
|
|
|
2011-09-19 01:42:16 +00:00
|
|
|
|
#include <DB/DataStreams/IBlockInputStream.h>
|
2012-05-31 05:41:56 +00:00
|
|
|
|
|
2011-09-19 01:42:16 +00:00
|
|
|
|
#include <DB/AggregateFunctions/IAggregateFunction.h>
|
2012-05-31 05:41:56 +00:00
|
|
|
|
|
2012-08-23 23:49:28 +00:00
|
|
|
|
#include <DB/Interpreters/AggregationCommon.h>
|
2012-12-25 19:28:59 +00:00
|
|
|
|
#include <DB/Interpreters/Limits.h>
|
2011-09-19 01:42:16 +00:00
|
|
|
|
|
|
|
|
|
|
|
|
|
|
namespace DB
|
|
|
|
|
{
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
struct AggregateDescription
|
|
|
|
|
{
|
|
|
|
|
AggregateFunctionPtr function;
|
|
|
|
|
ColumnNumbers arguments;
|
2011-09-24 20:32:41 +00:00
|
|
|
|
Names argument_names; /// Используются, если arguments не заданы.
|
2011-09-25 03:37:09 +00:00
|
|
|
|
String column_name; /// Какое имя использовать для столбца со значениями агрегатной функции
|
2011-09-19 01:42:16 +00:00
|
|
|
|
};
|
|
|
|
|
|
|
|
|
|
typedef std::vector<AggregateDescription> AggregateDescriptions;
|
|
|
|
|
|
2011-09-26 07:25:22 +00:00
|
|
|
|
|
2011-12-19 08:06:31 +00:00
|
|
|
|
/** Разные структуры данных, которые могут использоваться для агрегации
|
|
|
|
|
* Для эффективности используются "голые" указатели на IAggregateFunction,
|
|
|
|
|
* владение будет захвачено после агрегации (в AggregatingBlockInputStream).
|
|
|
|
|
*/
|
|
|
|
|
typedef std::map<Row, AggregateFunctionsPlainPtrs> AggregatedData;
|
|
|
|
|
typedef AggregateFunctionsPlainPtrs AggregatedDataWithoutKey;
|
|
|
|
|
typedef HashMap<UInt64, AggregateFunctionsPlainPtrs> AggregatedDataWithUInt64Key;
|
2012-05-31 05:41:56 +00:00
|
|
|
|
typedef HashMap<StringRef, AggregateFunctionsPlainPtrs, StringRefHash, StringRefZeroTraits> AggregatedDataWithStringKey;
|
2011-12-19 08:06:31 +00:00
|
|
|
|
typedef HashMap<UInt128, std::pair<Row, AggregateFunctionsPlainPtrs>, UInt128Hash, UInt128ZeroTraits> AggregatedDataHashed;
|
2011-09-26 07:25:22 +00:00
|
|
|
|
|
|
|
|
|
|
|
|
|
|
struct AggregatedDataVariants
|
|
|
|
|
{
|
2011-09-26 15:45:31 +00:00
|
|
|
|
/// Наиболее общий вариант. Самый медленный. На данный момент, не используется.
|
2011-09-26 07:25:22 +00:00
|
|
|
|
AggregatedData generic;
|
2011-09-26 15:45:31 +00:00
|
|
|
|
|
|
|
|
|
/// Специализация для случая, когда ключи отсутствуют.
|
2011-09-26 07:25:22 +00:00
|
|
|
|
AggregatedDataWithoutKey without_key;
|
2011-09-26 15:45:31 +00:00
|
|
|
|
|
|
|
|
|
/// Специализация для случая, когда есть один числовой ключ (не с плавающей запятой).
|
2011-09-26 07:25:22 +00:00
|
|
|
|
AggregatedDataWithUInt64Key key64;
|
2011-09-26 15:45:31 +00:00
|
|
|
|
|
|
|
|
|
/// Специализация для случая, когда есть один строковый ключ.
|
2011-09-26 15:22:25 +00:00
|
|
|
|
AggregatedDataWithStringKey key_string;
|
2012-05-31 05:41:56 +00:00
|
|
|
|
StringPool string_pool;
|
2011-09-26 15:45:31 +00:00
|
|
|
|
|
|
|
|
|
/** Агрегирует по 128 битному хэшу от ключа.
|
|
|
|
|
* Если все ключи фиксированной длины, влезающие целиком в 128 бит, то укладывает их без изменений в 128 бит.
|
2012-10-07 06:30:10 +00:00
|
|
|
|
* Иначе - вычисляет SipHash от набора из всех ключей.
|
2011-09-28 05:24:38 +00:00
|
|
|
|
* (При этом, строки, содержащие нули посередине, могут склеиться.)
|
2011-09-26 15:45:31 +00:00
|
|
|
|
*/
|
2011-09-26 07:25:22 +00:00
|
|
|
|
AggregatedDataHashed hashed;
|
2012-02-27 06:28:20 +00:00
|
|
|
|
|
|
|
|
|
enum Type
|
|
|
|
|
{
|
2012-05-10 07:47:13 +00:00
|
|
|
|
EMPTY = 0,
|
|
|
|
|
GENERIC = 1,
|
|
|
|
|
WITHOUT_KEY = 2,
|
|
|
|
|
KEY_64 = 3,
|
|
|
|
|
KEY_STRING = 4,
|
|
|
|
|
HASHED = 5,
|
2012-02-27 06:28:20 +00:00
|
|
|
|
};
|
|
|
|
|
Type type;
|
2012-05-10 07:47:13 +00:00
|
|
|
|
|
|
|
|
|
AggregatedDataVariants() : type(EMPTY) {}
|
2012-12-25 19:28:59 +00:00
|
|
|
|
bool empty() const { return type == EMPTY; }
|
|
|
|
|
|
|
|
|
|
size_t size() const
|
|
|
|
|
{
|
|
|
|
|
switch (type)
|
|
|
|
|
{
|
|
|
|
|
case EMPTY: return 0;
|
|
|
|
|
case GENERIC: return generic.size();
|
|
|
|
|
case WITHOUT_KEY: return 1;
|
|
|
|
|
case KEY_64: return key64.size();
|
|
|
|
|
case KEY_STRING: return key_string.size();
|
|
|
|
|
case HASHED: return hashed.size();
|
|
|
|
|
|
|
|
|
|
default:
|
|
|
|
|
throw Exception("Unknown aggregated data variant.", ErrorCodes::UNKNOWN_AGGREGATED_DATA_VARIANT);
|
|
|
|
|
}
|
|
|
|
|
}
|
2011-09-26 07:25:22 +00:00
|
|
|
|
};
|
|
|
|
|
|
2012-02-27 06:28:20 +00:00
|
|
|
|
typedef SharedPtr<AggregatedDataVariants> AggregatedDataVariantsPtr;
|
|
|
|
|
typedef std::vector<AggregatedDataVariantsPtr> ManyAggregatedDataVariants;
|
|
|
|
|
|
2011-09-19 01:42:16 +00:00
|
|
|
|
|
2012-03-05 07:58:34 +00:00
|
|
|
|
/** Агрегирует источник блоков.
|
2011-09-19 01:42:16 +00:00
|
|
|
|
*/
|
2011-09-19 03:34:23 +00:00
|
|
|
|
class Aggregator
|
2011-09-19 01:42:16 +00:00
|
|
|
|
{
|
|
|
|
|
public:
|
2012-12-25 19:28:59 +00:00
|
|
|
|
Aggregator(const ColumnNumbers & keys_, AggregateDescriptions & aggregates_,
|
|
|
|
|
size_t max_rows_to_group_by_ = 0, Limits::OverflowMode group_by_overflow_mode_ = Limits::THROW)
|
|
|
|
|
: keys(keys_), aggregates(aggregates_), keys_size(keys.size()), initialized(false),
|
|
|
|
|
max_rows_to_group_by(max_rows_to_group_by_), group_by_overflow_mode(group_by_overflow_mode_),
|
|
|
|
|
log(&Logger::get("Aggregator"))
|
2012-09-12 18:49:21 +00:00
|
|
|
|
{
|
|
|
|
|
}
|
2012-05-31 00:33:42 +00:00
|
|
|
|
|
2012-12-25 19:28:59 +00:00
|
|
|
|
Aggregator(const Names & key_names_, AggregateDescriptions & aggregates_,
|
|
|
|
|
size_t max_rows_to_group_by_ = 0, Limits::OverflowMode group_by_overflow_mode_ = Limits::THROW)
|
|
|
|
|
: key_names(key_names_), aggregates(aggregates_), keys_size(key_names.size()), initialized(false),
|
|
|
|
|
max_rows_to_group_by(max_rows_to_group_by_), group_by_overflow_mode(group_by_overflow_mode_),
|
|
|
|
|
log(&Logger::get("Aggregator"))
|
2012-09-12 18:49:21 +00:00
|
|
|
|
{
|
|
|
|
|
}
|
2011-09-19 01:42:16 +00:00
|
|
|
|
|
2012-03-05 07:58:34 +00:00
|
|
|
|
/// Агрегировать источник. Получить результат в виде одной из структур данных.
|
2011-09-26 07:25:22 +00:00
|
|
|
|
void execute(BlockInputStreamPtr stream, AggregatedDataVariants & result);
|
2011-09-19 01:42:16 +00:00
|
|
|
|
|
2011-09-19 03:34:23 +00:00
|
|
|
|
/// Получить пример блока, описывающего результат. Следует вызывать только после execute.
|
|
|
|
|
Block getSampleBlock() { return sample; }
|
|
|
|
|
|
2012-02-27 06:28:20 +00:00
|
|
|
|
/// Преобразовать структуру данных агрегации в блок.
|
|
|
|
|
Block convertToBlock(AggregatedDataVariants & data_variants);
|
|
|
|
|
|
2012-05-30 01:38:02 +00:00
|
|
|
|
/// Объединить несколько структур данных агрегации в одну. (В первый элемент массива.) Все варианты агрегации должны быть одинаковыми!
|
2012-02-27 06:28:20 +00:00
|
|
|
|
AggregatedDataVariantsPtr merge(ManyAggregatedDataVariants & data_variants);
|
|
|
|
|
|
2012-05-30 01:38:02 +00:00
|
|
|
|
/** Объединить несколько агрегированных блоков в одну структуру данных.
|
|
|
|
|
* (Доагрегировать несколько блоков, которые представляют собой результат независимых агрегаций.)
|
|
|
|
|
*/
|
|
|
|
|
void merge(BlockInputStreamPtr stream, AggregatedDataVariants & result);
|
|
|
|
|
|
2011-09-19 01:42:16 +00:00
|
|
|
|
private:
|
|
|
|
|
ColumnNumbers keys;
|
2011-09-24 20:32:41 +00:00
|
|
|
|
Names key_names;
|
2011-09-19 01:42:16 +00:00
|
|
|
|
AggregateDescriptions aggregates;
|
2012-09-12 18:49:21 +00:00
|
|
|
|
size_t keys_size;
|
2011-09-19 03:34:23 +00:00
|
|
|
|
|
2012-03-05 07:58:34 +00:00
|
|
|
|
/// Для инициализации от первого блока при конкуррентном использовании.
|
|
|
|
|
bool initialized;
|
|
|
|
|
Poco::FastMutex mutex;
|
|
|
|
|
|
2012-12-25 19:28:59 +00:00
|
|
|
|
size_t max_rows_to_group_by;
|
|
|
|
|
Limits::OverflowMode group_by_overflow_mode;
|
|
|
|
|
|
2011-09-19 03:34:23 +00:00
|
|
|
|
Block sample;
|
2012-03-05 07:58:34 +00:00
|
|
|
|
|
2012-05-31 00:33:42 +00:00
|
|
|
|
Logger * log;
|
|
|
|
|
|
2012-03-05 07:58:34 +00:00
|
|
|
|
/** Если заданы только имена столбцов (key_names, а также aggregates[i].column_name), то вычислить номера столбцов.
|
|
|
|
|
* Сформировать блок - пример результата.
|
|
|
|
|
*/
|
|
|
|
|
void initialize(Block & block);
|
2012-05-30 01:38:02 +00:00
|
|
|
|
|
|
|
|
|
/** Выбрать способ агрегации на основе количества и типов ключей. */
|
|
|
|
|
AggregatedDataVariants::Type chooseAggregationMethod(Columns & key_columns, bool & keys_fit_128_bits, Sizes & key_sizes);
|
2011-09-19 01:42:16 +00:00
|
|
|
|
};
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
}
|