ClickHouse/dbms/include/DB/DataStreams/DistinctBlockInputStream.h

59 lines
1.5 KiB
C++
Raw Normal View History

2013-06-01 07:43:57 +00:00
#pragma once
#include <DB/DataStreams/IProfilingBlockInputStream.h>
#include <DB/Common/HashTable/HashSet.h>
2013-06-01 07:43:57 +00:00
#include <DB/Interpreters/AggregationCommon.h>
#include <DB/Interpreters/Limits.h>
2013-06-01 07:43:57 +00:00
namespace DB
{
/** Из потока блоков оставляет только уникальные строки.
* Для реализации SELECT DISTINCT ... .
* Если указан ненулевой limit - прекращает выдавать строки после того, как накопилось limit строк
* - для оптимизации SELECT DISTINCT ... LIMIT ... .
*/
class DistinctBlockInputStream : public IProfilingBlockInputStream
{
public:
/// Пустой columns_ значит все столбцы.
DistinctBlockInputStream(BlockInputStreamPtr input_, const Limits & limits, size_t limit_, Names columns_);
2013-06-01 07:43:57 +00:00
String getName() const override { return "Distinct"; }
2013-06-01 07:43:57 +00:00
String getID() const override
2013-06-01 07:43:57 +00:00
{
std::stringstream res;
res << "Distinct(" << children.back()->getID() << ")";
return res.str();
}
protected:
Block readImpl() override;
2013-06-01 07:43:57 +00:00
private:
bool checkLimits() const
{
if (max_rows && set.size() > max_rows)
return false;
if (max_bytes && set.getBufferSizeInBytes() > max_bytes)
return false;
return true;
}
Names columns_names;
2013-06-01 07:43:57 +00:00
size_t limit;
/// Ограничения на максимальный размер множества
size_t max_rows;
size_t max_bytes;
OverflowMode overflow_mode;
2013-06-01 07:43:57 +00:00
using SetHashed = HashSet<UInt128, UInt128TrivialHash>;
2013-06-01 07:43:57 +00:00
SetHashed set;
};
}