2011-08-22 08:43:52 +00:00
|
|
|
|
#pragma once
|
2010-03-12 18:25:35 +00:00
|
|
|
|
|
2010-05-21 19:52:50 +00:00
|
|
|
|
#include <Poco/SharedPtr.h>
|
|
|
|
|
|
2013-12-08 02:29:40 +00:00
|
|
|
|
#include <DB/Common/PODArray.h>
|
2014-06-26 00:58:14 +00:00
|
|
|
|
#include <DB/Common/typeid_cast.h>
|
2013-12-08 02:29:40 +00:00
|
|
|
|
|
2010-03-12 18:25:35 +00:00
|
|
|
|
#include <DB/Core/Field.h>
|
2011-09-26 12:50:50 +00:00
|
|
|
|
#include <DB/Core/Exception.h>
|
|
|
|
|
#include <DB/Core/ErrorCodes.h>
|
2012-10-07 06:30:10 +00:00
|
|
|
|
#include <DB/Core/StringRef.h>
|
2010-03-12 18:25:35 +00:00
|
|
|
|
|
2011-08-22 08:43:52 +00:00
|
|
|
|
|
2010-03-12 18:25:35 +00:00
|
|
|
|
namespace DB
|
|
|
|
|
{
|
|
|
|
|
|
2010-05-21 19:52:50 +00:00
|
|
|
|
using Poco::SharedPtr;
|
|
|
|
|
|
2011-08-22 08:43:52 +00:00
|
|
|
|
class IColumn;
|
|
|
|
|
typedef SharedPtr<IColumn> ColumnPtr;
|
|
|
|
|
typedef std::vector<ColumnPtr> Columns;
|
2012-07-25 19:53:43 +00:00
|
|
|
|
typedef std::vector<IColumn *> ColumnPlainPtrs;
|
|
|
|
|
typedef std::vector<const IColumn *> ConstColumnPlainPtrs;
|
2011-08-22 08:43:52 +00:00
|
|
|
|
|
|
|
|
|
|
2010-03-12 18:25:35 +00:00
|
|
|
|
/** Интерфейс для хранения столбцов значений в оперативке.
|
|
|
|
|
*/
|
2013-05-03 02:25:50 +00:00
|
|
|
|
class IColumn : private boost::noncopyable
|
2010-03-12 18:25:35 +00:00
|
|
|
|
{
|
|
|
|
|
public:
|
2011-08-28 00:31:30 +00:00
|
|
|
|
/** Имя столбца. Для информационных сообщений.
|
|
|
|
|
*/
|
|
|
|
|
virtual std::string getName() const = 0;
|
2014-06-26 00:58:14 +00:00
|
|
|
|
|
|
|
|
|
/** Столбец представляет собой вектор чисел или числовую константу.
|
2011-08-21 03:41:37 +00:00
|
|
|
|
*/
|
|
|
|
|
virtual bool isNumeric() const { return false; }
|
2011-09-26 01:50:32 +00:00
|
|
|
|
|
2013-07-19 20:12:02 +00:00
|
|
|
|
/** Столбец представляет собой константу.
|
2011-09-26 01:50:32 +00:00
|
|
|
|
*/
|
|
|
|
|
virtual bool isConst() const { return false; }
|
2011-09-26 12:50:50 +00:00
|
|
|
|
|
2013-07-19 20:12:02 +00:00
|
|
|
|
/** Значения имеют фиксированную длину.
|
|
|
|
|
*/
|
|
|
|
|
virtual bool isFixed() const { return false; }
|
|
|
|
|
|
|
|
|
|
/** Для столбцов фиксированной длины - вернуть длину значения.
|
2011-09-26 12:50:50 +00:00
|
|
|
|
*/
|
|
|
|
|
virtual size_t sizeOfField() const { throw Exception("Cannot get sizeOfField() for column " + getName(), ErrorCodes::CANNOT_GET_SIZE_OF_FIELD); }
|
2014-06-26 00:58:14 +00:00
|
|
|
|
|
2010-05-21 19:52:50 +00:00
|
|
|
|
/** Создать пустой столбец такого же типа */
|
2013-05-24 10:49:19 +00:00
|
|
|
|
virtual SharedPtr<IColumn> cloneEmpty() const { return cloneResized(0); }
|
2014-06-26 00:58:14 +00:00
|
|
|
|
|
2013-05-24 10:49:19 +00:00
|
|
|
|
/** Создать столбец такого же типа и указанного размера.
|
|
|
|
|
* Если размер меньше текущего, данные обрезаются.
|
|
|
|
|
* Если больше - добавляются значения по умолчанию.
|
|
|
|
|
*/
|
|
|
|
|
virtual SharedPtr<IColumn> cloneResized(size_t size) const { throw Exception("Cannot cloneResized() column " + getName(), ErrorCodes::NOT_IMPLEMENTED); }
|
2010-05-21 19:52:50 +00:00
|
|
|
|
|
2010-05-20 19:29:04 +00:00
|
|
|
|
/** Количество значений в столбце. */
|
2010-03-12 18:25:35 +00:00
|
|
|
|
virtual size_t size() const = 0;
|
|
|
|
|
|
2011-08-28 08:02:11 +00:00
|
|
|
|
bool empty() const { return size() == 0; }
|
|
|
|
|
|
2010-05-20 19:29:04 +00:00
|
|
|
|
/** Получить значение n-го элемента.
|
|
|
|
|
* Используется для преобразования из блоков в строки (например, при выводе значений в текстовый дамп)
|
|
|
|
|
*/
|
2010-03-12 18:25:35 +00:00
|
|
|
|
virtual Field operator[](size_t n) const = 0;
|
|
|
|
|
|
2013-01-07 06:47:15 +00:00
|
|
|
|
/** То же самое, но позволяет избежать лишнего копирования, если Field, например, кладётся в контейнер.
|
|
|
|
|
*/
|
|
|
|
|
virtual void get(size_t n, Field & res) const = 0;
|
|
|
|
|
|
2012-10-07 06:30:10 +00:00
|
|
|
|
/** Получить кусок памяти, в котором хранится значение, если возможно.
|
|
|
|
|
* (если не реализуемо - кидает исключение)
|
|
|
|
|
* Используется для оптимизации некоторых вычислений (например, агрегации).
|
|
|
|
|
*/
|
|
|
|
|
virtual StringRef getDataAt(size_t n) const = 0;
|
|
|
|
|
|
2013-04-13 00:56:07 +00:00
|
|
|
|
/** Отличется от функции getDataAt только для строк переменной длины.
|
|
|
|
|
* Для них возвращаются данные с нулём на конце (то есть, size на единицу больше длины строки).
|
|
|
|
|
*/
|
|
|
|
|
virtual StringRef getDataAtWithTerminatingZero(size_t n) const
|
|
|
|
|
{
|
|
|
|
|
return getDataAt(n);
|
|
|
|
|
}
|
|
|
|
|
|
2014-10-06 22:46:18 +00:00
|
|
|
|
/** Для целых чисел - преобразовать в UInt64 static_cast-ом.
|
|
|
|
|
* Для чисел с плавающей запятой - преобразовать в младшие байты UInt64 как memcpy; остальные байты, если есть - нулевые.
|
2014-05-01 00:17:02 +00:00
|
|
|
|
* Используется для оптимизации некоторых вычислений (например, агрегации).
|
|
|
|
|
*/
|
|
|
|
|
virtual UInt64 get64(size_t n) const
|
|
|
|
|
{
|
|
|
|
|
throw Exception("Method get64 is not supported for " + getName(), ErrorCodes::NOT_IMPLEMENTED);
|
|
|
|
|
}
|
|
|
|
|
|
2010-05-20 19:29:04 +00:00
|
|
|
|
/** Удалить всё кроме диапазона элементов.
|
|
|
|
|
* Используется, например, для операции LIMIT.
|
|
|
|
|
*/
|
2013-05-03 05:23:14 +00:00
|
|
|
|
virtual SharedPtr<IColumn> cut(size_t start, size_t length) const = 0;
|
2010-03-12 18:25:35 +00:00
|
|
|
|
|
2010-05-20 19:29:04 +00:00
|
|
|
|
/** Вставить значение в конец столбца (количество значений увеличится на 1).
|
|
|
|
|
* Используется для преобразования из строк в блоки (например, при чтении значений из текстового дампа)
|
|
|
|
|
*/
|
|
|
|
|
virtual void insert(const Field & x) = 0;
|
|
|
|
|
|
2012-12-16 00:52:06 +00:00
|
|
|
|
/** Вставить значение в конец столбца из другого столбца такого же типа, по заданному индексу.
|
|
|
|
|
* Используется для merge-sort. Может быть реализована оптимальнее, чем реализация по-умолчанию.
|
|
|
|
|
*/
|
|
|
|
|
virtual void insertFrom(const IColumn & src, size_t n) { insert(src[n]); }
|
|
|
|
|
|
2013-02-16 20:15:45 +00:00
|
|
|
|
/** Вставить данные, расположенные в указанном куске памяти, если возможно.
|
|
|
|
|
* (если не реализуемо - кидает исключение)
|
|
|
|
|
* Используется для оптимизации некоторых вычислений (например, агрегации).
|
|
|
|
|
* В случае данных постоянной длины, параметр length может игнорироваться.
|
|
|
|
|
*/
|
|
|
|
|
virtual void insertData(const char * pos, size_t length) = 0;
|
|
|
|
|
|
2013-04-13 00:56:07 +00:00
|
|
|
|
/** Отличется от функции insertData только для строк переменной длины.
|
|
|
|
|
* Для них принимаются данные уже с нулём на конце (то есть, length на единицу больше длины строки).
|
|
|
|
|
* В переданном куске памяти обязательно должен быть ноль на конце.
|
|
|
|
|
*/
|
|
|
|
|
virtual void insertDataWithTerminatingZero(const char * pos, size_t length)
|
|
|
|
|
{
|
|
|
|
|
insertData(pos, length);
|
|
|
|
|
}
|
|
|
|
|
|
2010-05-20 19:29:04 +00:00
|
|
|
|
/** Вставить значение "по умолчанию".
|
|
|
|
|
* Используется, когда нужно увеличить размер столбца, но значение не имеет смысла.
|
|
|
|
|
* Например, для ColumnNullable, если взведён флаг null, то соответствующее значение во вложенном столбце игнорируется.
|
|
|
|
|
*/
|
|
|
|
|
virtual void insertDefault() = 0;
|
|
|
|
|
|
2011-08-22 08:43:52 +00:00
|
|
|
|
/** Соединить столбец с одним или несколькими другими.
|
|
|
|
|
* Используется при склейке маленьких блоков.
|
|
|
|
|
*/
|
|
|
|
|
//virtual void merge(const Columns & columns) = 0;
|
|
|
|
|
|
|
|
|
|
/** Оставить только значения, соответствующие фильтру.
|
|
|
|
|
* Используется для операции WHERE / HAVING.
|
|
|
|
|
*/
|
2013-12-08 02:29:40 +00:00
|
|
|
|
typedef PODArray<UInt8> Filter;
|
2013-05-03 05:23:14 +00:00
|
|
|
|
virtual SharedPtr<IColumn> filter(const Filter & filt) const = 0;
|
2011-08-22 08:43:52 +00:00
|
|
|
|
|
2011-09-04 00:22:19 +00:00
|
|
|
|
/** Переставить значения местами, используя указанную перестановку.
|
|
|
|
|
* Используется при сортировке.
|
2013-09-16 05:44:47 +00:00
|
|
|
|
* limit - если не равно 0 - положить в результат только первые limit значений.
|
2011-09-04 00:22:19 +00:00
|
|
|
|
*/
|
2013-12-08 02:29:40 +00:00
|
|
|
|
typedef PODArray<size_t> Permutation;
|
2013-09-16 05:44:47 +00:00
|
|
|
|
virtual SharedPtr<IColumn> permute(const Permutation & perm, size_t limit) const = 0;
|
2011-09-04 00:22:19 +00:00
|
|
|
|
|
|
|
|
|
/** Сравнить (*this)[n] и rhs[m].
|
|
|
|
|
* Вернуть отрицательное число, 0, или положительное число, если меньше, равно, или больше, соответственно.
|
|
|
|
|
* Используется при сортировке.
|
2013-11-01 20:10:43 +00:00
|
|
|
|
*
|
|
|
|
|
* Если одно из значений является NaN, то:
|
|
|
|
|
* - если nan_direction_hint == -1 - NaN считаются меньше всех чисел;
|
|
|
|
|
* - если nan_direction_hint == 1 - NaN считаются больше всех чисел;
|
|
|
|
|
* По-сути: nan_direction_hint == -1 говорит, что сравнение идёт для сортировки по убыванию,
|
|
|
|
|
* чтобы NaN-ы были в конце.
|
|
|
|
|
*
|
|
|
|
|
* Для чисел не с плавающей запятой, nan_direction_hint игнорируется.
|
2011-09-04 00:22:19 +00:00
|
|
|
|
*/
|
2013-11-01 20:10:43 +00:00
|
|
|
|
virtual int compareAt(size_t n, size_t m, const IColumn & rhs, int nan_direction_hint) const = 0;
|
2011-09-04 00:22:19 +00:00
|
|
|
|
|
2013-09-16 05:44:47 +00:00
|
|
|
|
/** Получить перестановку чисел, такую, что для упорядочивания значений в столбце,
|
|
|
|
|
* надо применить эту сортировку - то есть, поставить на i-е место значение по индексу perm[i].
|
2011-09-26 11:05:38 +00:00
|
|
|
|
* Используется при сортировке.
|
2013-09-16 05:44:47 +00:00
|
|
|
|
* reverse - обратный порядок (по возрастанию). limit - если не равно 0 - для частичной сортировки только первых значений.
|
2013-11-01 20:10:43 +00:00
|
|
|
|
* Независимо от порядка, NaN-ы располагаются в конце.
|
2011-09-26 11:05:38 +00:00
|
|
|
|
*/
|
2013-12-08 02:29:40 +00:00
|
|
|
|
virtual void getPermutation(bool reverse, size_t limit, Permutation & res) const = 0;
|
2011-09-26 11:05:38 +00:00
|
|
|
|
|
2012-08-27 05:13:14 +00:00
|
|
|
|
/** Размножить все значения столько раз, сколько прописано в offsets.
|
|
|
|
|
* (i-е значение размножается в offsets[i] - offsets[i - 1] значений.)
|
|
|
|
|
*/
|
2012-09-17 04:31:25 +00:00
|
|
|
|
typedef UInt64 Offset_t;
|
2013-12-08 02:29:40 +00:00
|
|
|
|
typedef PODArray<Offset_t> Offsets_t;
|
2013-05-03 05:23:14 +00:00
|
|
|
|
virtual SharedPtr<IColumn> replicate(const Offsets_t & offsets) const = 0;
|
2012-08-27 05:13:14 +00:00
|
|
|
|
|
2013-09-06 20:28:22 +00:00
|
|
|
|
/** Посчитать минимум и максимум по столбцу.
|
|
|
|
|
* Функция должна быть реализована полноценно только для числовых столбцов, а также дат/дат-с-временем.
|
|
|
|
|
* Для строк и массивов функция должна возвращать значения по-умолчанию
|
|
|
|
|
* (за исключением константных столбцов, для которых можно возвращать значение константы).
|
|
|
|
|
* Если столбец пустой - функция должна возвращать значения по-умолчанию.
|
|
|
|
|
*/
|
|
|
|
|
virtual void getExtremes(Field & min, Field & max) const = 0;
|
|
|
|
|
|
2013-02-03 18:39:09 +00:00
|
|
|
|
/** Если возможно - зарезервировать место для указанного количества элементов. Если невозможно или не поддерживается - ничего не делать.
|
|
|
|
|
* Функция влияет только на производительность.
|
|
|
|
|
*/
|
|
|
|
|
virtual void reserve(size_t n) {};
|
|
|
|
|
|
2011-08-27 22:43:31 +00:00
|
|
|
|
/** Приблизительный размер столбца в оперативке в байтах - для профайлинга. 0 - если неизвестно. */
|
2012-05-17 19:15:53 +00:00
|
|
|
|
virtual size_t byteSize() const = 0;
|
2011-08-27 22:43:31 +00:00
|
|
|
|
|
2010-03-12 18:25:35 +00:00
|
|
|
|
virtual ~IColumn() {}
|
|
|
|
|
};
|
|
|
|
|
|
|
|
|
|
|
2014-08-16 23:18:37 +00:00
|
|
|
|
/// Считает, сколько байт в filt больше нуля.
|
|
|
|
|
size_t countBytesInFilter(const IColumn::Filter & filt);
|
|
|
|
|
|
|
|
|
|
|
2010-03-12 18:25:35 +00:00
|
|
|
|
}
|