#pragma once #include #include #include #include #include #include #include #include #include #include namespace DB { template struct AggregateFunctionUniqTraits { static UInt64 hash(T x) { return x; } }; template <> struct AggregateFunctionUniqTraits { static UInt64 hash(Float32 x) { UInt64 res = 0; memcpy(reinterpret_cast(&res), reinterpret_cast(&x), sizeof(x)); return res; } }; template <> struct AggregateFunctionUniqTraits { static UInt64 hash(Float64 x) { UInt64 res = 0; memcpy(reinterpret_cast(&res), reinterpret_cast(&x), sizeof(x)); return res; } }; struct AggregateFunctionUniqUniquesHashSetData { typedef UniquesHashSet Set; Set set; static String getName() { return "uniq"; } }; struct AggregateFunctionUniqHLL12Data { typedef HLL12 Set; Set set; static String getName() { return "uniqHLL12"; } }; /// Приближённо вычисляет количество различных значений. template class AggregateFunctionUniq : public IUnaryAggregateFunction { public: AggregateFunctionUniq() {} String getName() const { return Data::getName(); } DataTypePtr getReturnType() const { return new DataTypeUInt64; } void setArgument(const DataTypePtr & argument) { } void addOne(AggregateDataPtr place, const IColumn & column, size_t row_num) const { OneAdder::addOne(*this, place, column, row_num); } void merge(AggregateDataPtr place, ConstAggregateDataPtr rhs) const { this->data(place).set.merge(this->data(rhs).set); } void serialize(ConstAggregateDataPtr place, WriteBuffer & buf) const { this->data(place).set.write(buf); } void deserializeMerge(AggregateDataPtr place, ReadBuffer & buf) const { typename Data::Set tmp_set; tmp_set.read(buf); this->data(place).set.merge(tmp_set); } void insertResultInto(ConstAggregateDataPtr place, IColumn & to) const { static_cast(to).getData().push_back(this->data(place).set.size()); } private: /// Структура для делегации работы по добавлению одного элемента /// в аггрегатную функцию uniq. Используется для частичной специализации /// для добавления строк. template struct OneAdder { static void addOne(const AggregateFunctionUniq & aggregate_function, AggregateDataPtr place, const IColumn & column, size_t row_num) { aggregate_function.data(place).set.insert( AggregateFunctionUniqTraits::hash(static_cast &>(column).getData()[row_num])); } }; template struct OneAdder { static void addOne(const AggregateFunctionUniq & aggregate_function, AggregateDataPtr place, const IColumn & column, size_t row_num) { /// Имейте ввиду, что вычисление приближённое. StringRef value = column.getDataAt(row_num); aggregate_function.data(place).set.insert(CityHash64(value.data, value.size)); } }; }; /** То же самое, но выводит состояние вычислений в строке в текстовом виде. * Используется, если какой-то внешней программе (сейчас это ███████████) * надо получить это состояние и потом использовать по-своему. */ template class AggregateFunctionUniqState : public AggregateFunctionUniq { public: String getName() const { return Data::getName() + "State"; } DataTypePtr getReturnType() const { return new DataTypeString; } void insertResultInto(ConstAggregateDataPtr place, IColumn & to) const { String res; { WriteBufferFromString wb(res); this->data(place).set.writeText(wb); } static_cast(to).insertDataWithTerminatingZero(res.data(), res.size() + 1); } }; }