#pragma once #include #include #include #include #include #include #include #include #include #include #include #include #include #include #include #include #include #include #include namespace DB { /** Вспомогательные функции: * * visibleWidth(x) - вычисляет приблизительную ширину при выводе значения в текстовом (tab-separated) виде на консоль. * * toTypeName(x) - получить имя типа * blockSize() - получить размер блока * materialize(x) - материализовать константу * ignore(...) - функция, принимающая любые аргументы, и всегда возвращающая 0. * sleep(seconds) - спит указанное количество секунд каждый блок. * * in(x, set) - функция для вычисления оператора IN * notIn(x, set) - и NOT IN. * * tuple(x, y, ...) - функция, позволяющая сгруппировать несколько столбцов * tupleElement(tuple, n) - функция, позволяющая достать столбец из tuple. * * arrayJoin(arr) - особая функция - выполнить её напрямую нельзя; * используется только чтобы получить тип результата соответствующего выражения. * * replicate(x, arr) - копирует x столько раз, сколько элементов в массиве arr; * например: replicate(1, ['a', 'b', 'c']) = 1, 1, 1. * не предназначена для пользователя, а используется только как prerequisites для функций высшего порядка. * * sleep(n) - спит n секунд каждый блок. * * bar(x, min, max, width) - рисует полосу из количества символов, пропорционального (x - min) и равного width при x == max. */ static inline UInt64 stringWidth(const UInt8 * pos, const UInt8 * end) { UInt64 res = 0; for (; pos < end; ++pos) { if (*pos == '\b' || *pos == '\f' || *pos == '\n' || *pos == '\r' || *pos == '\t' || *pos == '\0' || *pos == '\'' || *pos == '\\') ++res; if (*pos <= 0x7F || *pos >= 0xC0) ++res; } return res; } static inline void stringWidthConstant(const String & data, UInt64 & res) { res = stringWidth(reinterpret_cast(data.data()), reinterpret_cast(data.data()) + data.size()); } class FunctionCurrentDatabase : public IFunction { const String name; public: explicit FunctionCurrentDatabase(const String & name) : name(name) {} String getName() const { return "currentDatabase"; } DataTypePtr getReturnType(const DataTypes & arguments) const { if (arguments.size() != 0) throw Exception("Number of arguments for function " + getName() + " doesn't match: passed " + toString(arguments.size()) + ", should be 0.", ErrorCodes::NUMBER_OF_ARGUMENTS_DOESNT_MATCH); return new DataTypeString; } void execute(Block & block, const ColumnNumbers & arguments, const size_t result) { block.getByPosition(result).column = new ColumnConstString{ block.rowsInFirstColumn(), name }; } }; /// Получить имя хоста. (Оно - константа, вычисляется один раз за весь запрос.) class FunctionHostName : public IFunction { public: /// Получить имя функции. String getName() const { return "hostName"; } /// Получить тип результата по типам аргументов. Если функция неприменима для данных аргументов - кинуть исключение. DataTypePtr getReturnType(const DataTypes & arguments) const { if (arguments.size() != 0) throw Exception("Number of arguments for function " + getName() + " doesn't match: passed " + toString(arguments.size()) + ", should be 0.", ErrorCodes::NUMBER_OF_ARGUMENTS_DOESNT_MATCH); return new DataTypeString; } /** Выполнить функцию над блоком. convertToFullColumn вызывается для того, чтобы в случае * распределенного выполнения запроса каждый сервер возвращал свое имя хоста. */ void execute(Block & block, const ColumnNumbers & arguments, size_t result) { block.getByPosition(result).column = ColumnConstString( block.rowsInFirstColumn(), Poco::Net::DNS::hostName()).convertToFullColumn(); } }; class FunctionVisibleWidth : public IFunction { public: /// Получить имя функции. String getName() const { return "visibleWidth"; } /// Получить тип результата по типам аргументов. Если функция неприменима для данных аргументов - кинуть исключение. DataTypePtr getReturnType(const DataTypes & arguments) const { if (arguments.size() != 1) throw Exception("Number of arguments for function " + getName() + " doesn't match: passed " + toString(arguments.size()) + ", should be 1.", ErrorCodes::NUMBER_OF_ARGUMENTS_DOESNT_MATCH); return new DataTypeUInt64; } /// Выполнить функцию над блоком. void execute(Block & block, const ColumnNumbers & arguments, size_t result); }; class FunctionToTypeName : public IFunction { public: /// Получить имя функции. String getName() const { return "toTypeName"; } /// Получить тип результата по типам аргументов. Если функция неприменима для данных аргументов - кинуть исключение. DataTypePtr getReturnType(const DataTypes & arguments) const { if (arguments.size() != 1) throw Exception("Number of arguments for function " + getName() + " doesn't match: passed " + toString(arguments.size()) + ", should be 1.", ErrorCodes::NUMBER_OF_ARGUMENTS_DOESNT_MATCH); return new DataTypeString; } /// Выполнить функцию над блоком. void execute(Block & block, const ColumnNumbers & arguments, size_t result) { block.getByPosition(result).column = new ColumnConstString(block.rowsInFirstColumn(), block.getByPosition(arguments[0]).type->getName()); } }; class FunctionBlockSize : public IFunction { public: /// Получить имя функции. String getName() const { return "blockSize"; } /// Получить тип результата по типам аргументов. Если функция неприменима для данных аргументов - кинуть исключение. DataTypePtr getReturnType(const DataTypes & arguments) const { if (!arguments.empty()) throw Exception("Number of arguments for function " + getName() + " doesn't match: passed " + toString(arguments.size()) + ", should be 0.", ErrorCodes::NUMBER_OF_ARGUMENTS_DOESNT_MATCH); return new DataTypeUInt64; } /// Выполнить функцию над блоком. void execute(Block & block, const ColumnNumbers & arguments, size_t result) { size_t size = block.rowsInFirstColumn(); block.getByPosition(result).column = ColumnConstUInt64(size, size).convertToFullColumn(); } }; class FunctionSleep : public IFunction { public: /// Получить имя функции. String getName() const { return "sleep"; } /// Получить тип результата по типам аргументов. Если функция неприменима для данных аргументов - кинуть исключение. DataTypePtr getReturnType(const DataTypes & arguments) const { if (arguments.size() != 1) throw Exception("Number of arguments for function " + getName() + " doesn't match: passed " + toString(arguments.size()) + ", should be 1.", ErrorCodes::NUMBER_OF_ARGUMENTS_DOESNT_MATCH); if (!typeid_cast(&*arguments[0]) && !typeid_cast(&*arguments[0]) && !typeid_cast(&*arguments[0]) && !typeid_cast(&*arguments[0]) && !typeid_cast(&*arguments[0]) && !typeid_cast(&*arguments[0])) throw Exception("Illegal type " + arguments[0]->getName() + " of argument of function " + getName() + ", expected Float64", ErrorCodes::ILLEGAL_TYPE_OF_ARGUMENT); return new DataTypeUInt8; } /// Выполнить функцию над блоком. void execute(Block & block, const ColumnNumbers & arguments, size_t result) { IColumn * col = &*block.getByPosition(arguments[0]).column; double seconds; size_t size = col->size(); if (ColumnConst * column = typeid_cast *>(col)) seconds = column->getData(); else if (ColumnConst * column = typeid_cast *>(col)) seconds = static_cast(column->getData()); else if (ColumnConst * column = typeid_cast *>(col)) seconds = static_cast(column->getData()); else if (ColumnConst * column = typeid_cast *>(col)) seconds = static_cast(column->getData()); else if (ColumnConst * column = typeid_cast *>(col)) seconds = static_cast(column->getData()); else if (ColumnConst * column = typeid_cast *>(col)) seconds = static_cast(column->getData()); else throw Exception("The argument of function " + getName() + " must be constant.", ErrorCodes::ILLEGAL_COLUMN); /// Не спим, если блок пустой. if (size > 0) usleep(static_cast(seconds * 1e6)); block.getByPosition(result).column = ColumnConst(size, 0).convertToFullColumn(); } }; class FunctionMaterialize : public IFunction { public: /// Получить имя функции. String getName() const { return "materialize"; } /// Получить тип результата по типам аргументов. Если функция неприменима для данных аргументов - кинуть исключение. DataTypePtr getReturnType(const DataTypes & arguments) const { if (arguments.size() != 1) throw Exception("Number of arguments for function " + getName() + " doesn't match: passed " + toString(arguments.size()) + ", should be 1.", ErrorCodes::NUMBER_OF_ARGUMENTS_DOESNT_MATCH); return arguments[0]; } /// Выполнить функцию над блоком. void execute(Block & block, const ColumnNumbers & arguments, size_t result) { const IColumn & argument = *block.getByPosition(arguments[0]).column; if (!argument.isConst()) throw Exception("Argument for function " + getName() + " must be constant.", ErrorCodes::ILLEGAL_COLUMN); block.getByPosition(result).column = dynamic_cast(argument).convertToFullColumn(); } }; class FunctionIn : public IFunction { private: bool negative; bool global; public: FunctionIn(bool negative_ = false, bool global_ = false) : negative(negative_), global(global_) {} /// Получить имя функции. String getName() const { if (global) return negative ? "globalNotIn" : "globalIn"; else return negative ? "notIn" : "in"; } /// Получить тип результата по типам аргументов. Если функция неприменима для данных аргументов - кинуть исключение. DataTypePtr getReturnType(const DataTypes & arguments) const { if (arguments.size() != 2) throw Exception("Number of arguments for function '" + getName() + "' doesn't match: passed " + toString(arguments.size()) + ", should be 2.", ErrorCodes::NUMBER_OF_ARGUMENTS_DOESNT_MATCH); return new DataTypeUInt8; } /// Выполнить функцию над блоком. void execute(Block & block, const ColumnNumbers & arguments, size_t result) { /// Второй аргумент - обязательно ColumnSet. ColumnPtr column_set_ptr = block.getByPosition(arguments[1]).column; const ColumnSet * column_set = typeid_cast(&*column_set_ptr); if (!column_set) throw Exception("Second argument for function '" + getName() + "' must be Set; found " + column_set_ptr->getName(), ErrorCodes::ILLEGAL_COLUMN); /// Столбцы, которые проверяются на принадлежность множеству. ColumnNumbers left_arguments; /// Первый аргумент может быть tuple или одиночным столбцом. const ColumnTuple * tuple = typeid_cast(&*block.getByPosition(arguments[0]).column); if (tuple) { /// Находим в блоке столбцы из tuple. const Block & tuple_elems = tuple->getData(); size_t tuple_size = tuple_elems.columns(); for (size_t i = 0; i < tuple_size; ++i) left_arguments.push_back(block.getPositionByName(tuple_elems.getByPosition(i).name)); } else left_arguments.push_back(arguments[0]); column_set->getData()->execute(block, left_arguments, result, negative); } }; class FunctionTuple : public IFunction { public: /// Получить имя функции. String getName() const { return "tuple"; } /// Получить тип результата по типам аргументов. Если функция неприменима для данных аргументов - кинуть исключение. DataTypePtr getReturnType(const DataTypes & arguments) const { if (arguments.size() < 2) throw Exception("Function " + getName() + " requires at least two arguments.", ErrorCodes::NUMBER_OF_ARGUMENTS_DOESNT_MATCH); return new DataTypeTuple(arguments); } /// Выполнить функцию над блоком. void execute(Block & block, const ColumnNumbers & arguments, size_t result) { Block tuple_block; for (ColumnNumbers::const_iterator it = arguments.begin(); it != arguments.end(); ++it) tuple_block.insert(block.getByPosition(*it)); block.getByPosition(result).column = new ColumnTuple(tuple_block); } }; class FunctionTupleElement : public IFunction { public: /// Получить имя функции. String getName() const { return "tupleElement"; } void getReturnTypeAndPrerequisites(const ColumnsWithNameAndType & arguments, DataTypePtr & out_return_type, ExpressionActions::Actions & out_prerequisites) { if (arguments.size() != 2) throw Exception("Function " + getName() + " requires exactly two arguments: tuple and element index.", ErrorCodes::NUMBER_OF_ARGUMENTS_DOESNT_MATCH); const ColumnConstUInt8 * index_col = typeid_cast(&*arguments[1].column); if (!index_col) throw Exception("Second argument to " + getName() + " must be a constant UInt8", ErrorCodes::ILLEGAL_TYPE_OF_ARGUMENT); size_t index = index_col->getData(); const DataTypeTuple * tuple = typeid_cast(&*arguments[0].type); if (!tuple) throw Exception("First argument for function " + getName() + " must be tuple.", ErrorCodes::ILLEGAL_TYPE_OF_ARGUMENT); if (index == 0) throw Exception("Indices in tuples are 1-based.", ErrorCodes::ILLEGAL_INDEX); const DataTypes & elems = tuple->getElements(); if (index > elems.size()) throw Exception("Index for tuple element is out of range.", ErrorCodes::ILLEGAL_INDEX); out_return_type = elems[index - 1]->clone(); } /// Выполнить функцию над блоком. void execute(Block & block, const ColumnNumbers & arguments, size_t result) { const ColumnTuple * tuple_col = typeid_cast(&*block.getByPosition(arguments[0]).column); const ColumnConstUInt8 * index_col = typeid_cast(&*block.getByPosition(arguments[1]).column); if (!tuple_col) throw Exception("First argument for function " + getName() + " must be tuple.", ErrorCodes::ILLEGAL_COLUMN); if (!index_col) throw Exception("Second argument for function " + getName() + " must be UInt8 constant literal.", ErrorCodes::ILLEGAL_COLUMN); size_t index = index_col->getData(); if (index == 0) throw Exception("Indices in tuples is 1-based.", ErrorCodes::ILLEGAL_INDEX); const Block & tuple_block = tuple_col->getData(); if (index > tuple_block.columns()) throw Exception("Index for tuple element is out of range.", ErrorCodes::ILLEGAL_INDEX); block.getByPosition(result).column = tuple_block.getByPosition(index - 1).column; } }; class FunctionIgnore : public IFunction { public: /// Получить имя функции. String getName() const { return "ignore"; } /// Получить тип результата по типам аргументов. Если функция неприменима для данных аргументов - кинуть исключение. DataTypePtr getReturnType(const DataTypes & arguments) const { return new DataTypeUInt8; } /// Выполнить функцию над блоком. void execute(Block & block, const ColumnNumbers & arguments, size_t result) { block.getByPosition(result).column = new ColumnConstUInt8(block.rowsInFirstColumn(), 0); } }; class FunctionArrayJoin : public IFunction { public: /// Получить имя функции. String getName() const { return "arrayJoin"; } /// Получить тип результата по типам аргументов. Если функция неприменима для данных аргументов - кинуть исключение. DataTypePtr getReturnType(const DataTypes & arguments) const { if (arguments.size() != 1) throw Exception("Function " + getName() + " requires exactly one argument.", ErrorCodes::NUMBER_OF_ARGUMENTS_DOESNT_MATCH); const DataTypeArray * arr = typeid_cast(&*arguments[0]); if (!arr) throw Exception("Argument for function " + getName() + " must be Array.", ErrorCodes::ILLEGAL_TYPE_OF_ARGUMENT); return arr->getNestedType()->clone(); } /// Выполнить функцию над блоком. void execute(Block & block, const ColumnNumbers & arguments, size_t result) { throw Exception("Function " + getName() + " must not be executed directly.", ErrorCodes::FUNCTION_IS_SPECIAL); } }; /** Размножает столбец (первый аргумент) по количеству элементов в массиве (втором аргументе). * Не предназначена для внешнего использования. * Так как возвращаемый столбец будет иметь несовпадающий размер с исходными, * то результат не может быть потом использован в том же блоке, что и аргументы. * Используется только в качестве prerequisites для функций высшего порядка. */ class FunctionReplicate : public IFunction { /// Получить имя функции. String getName() const { return "replicate"; } /// Получить типы результата по типам аргументов. Если функция неприменима для данных аргументов - кинуть исключение. DataTypePtr getReturnType(const DataTypes & arguments) const { if (arguments.size() != 2) throw Exception("Number of arguments for function " + getName() + " doesn't match: passed " + toString(arguments.size()) + ", should be 2.", ErrorCodes::NUMBER_OF_ARGUMENTS_DOESNT_MATCH); const DataTypeArray * array_type = typeid_cast(&*arguments[1]); if (!array_type) throw Exception("Second argument for function " + getName() + " must be array.", ErrorCodes::ILLEGAL_TYPE_OF_ARGUMENT); return arguments[0]->clone(); } /// Выполнить функцию над блоком. void execute(Block & block, const ColumnNumbers & arguments, size_t result) { ColumnPtr first_column = block.getByPosition(arguments[0]).column; ColumnArray * array_column = typeid_cast(&*block.getByPosition(arguments[1]).column); ColumnPtr temp_column; if (!array_column) { ColumnConstArray * const_array_column = typeid_cast(&*block.getByPosition(arguments[1]).column); if (!const_array_column) throw Exception("Unexpected column for replicate", ErrorCodes::ILLEGAL_COLUMN); temp_column = const_array_column->convertToFullColumn(); array_column = typeid_cast(&*temp_column); } block.getByPosition(result).column = new ColumnReplicated(first_column->size(), first_column->replicate(array_column->getOffsets())); } }; class FunctionBar : public IFunction { public: /// Получить имя функции. String getName() const { return "bar"; } /// Получить тип результата по типам аргументов. Если функция неприменима для данных аргументов - кинуть исключение. DataTypePtr getReturnType(const DataTypes & arguments) const { if (arguments.size() != 3 && arguments.size() != 4) throw Exception("Function " + getName() + " requires from 3 or 4 parameters: value, min_value, max_value, [max_width_of_bar = 80]. Passed " + toString(arguments.size()) + ".", ErrorCodes::NUMBER_OF_ARGUMENTS_DOESNT_MATCH); if (!arguments[0]->isNumeric() || !arguments[1]->isNumeric() || !arguments[2]->isNumeric() || (arguments.size() == 4 && !arguments[3]->isNumeric())) throw Exception("All arguments for function " + getName() + " must be numeric.", ErrorCodes::ILLEGAL_TYPE_OF_ARGUMENT); return new DataTypeString; } /// Выполнить функцию над блоком. void execute(Block & block, const ColumnNumbers & arguments, size_t result) { Int64 min = extractConstant(block, arguments, 1, "Second"); /// Уровень значения, при котором полоска имеет нулевую длину. Int64 max = extractConstant(block, arguments, 2, "Third"); /// Уровень значения, при котором полоска имеет максимальную длину. /// Максимальная ширина полоски в символах, по-умолчанию. Float64 max_width = arguments.size() == 4 ? extractConstant(block, arguments, 3, "Fourth") : 80; if (max_width < 1) throw Exception("Max_width argument must be >= 1.", ErrorCodes::ARGUMENT_OUT_OF_BOUND); if (max_width > 1000) throw Exception("Too large max_width.", ErrorCodes::ARGUMENT_OUT_OF_BOUND); const auto & src = *block.getByPosition(arguments[0]).column; if (src.isConst()) { auto res_column = new ColumnConstString(block.rowsInFirstColumn(), ""); block.getByPosition(result).column = res_column; if ( executeConstNumber (src, *res_column, min, max, max_width) || executeConstNumber (src, *res_column, min, max, max_width) || executeConstNumber (src, *res_column, min, max, max_width) || executeConstNumber (src, *res_column, min, max, max_width) || executeConstNumber (src, *res_column, min, max, max_width) || executeConstNumber (src, *res_column, min, max, max_width) || executeConstNumber (src, *res_column, min, max, max_width) || executeConstNumber (src, *res_column, min, max, max_width) || executeConstNumber (src, *res_column, min, max, max_width) || executeConstNumber (src, *res_column, min, max, max_width)) { } else throw Exception("Illegal column " + block.getByPosition(arguments[0]).column->getName() + " of argument of function " + getName(), ErrorCodes::ILLEGAL_COLUMN); } else { auto res_column = new ColumnString; block.getByPosition(result).column = res_column; if ( executeNumber (src, *res_column, min, max, max_width) || executeNumber (src, *res_column, min, max, max_width) || executeNumber (src, *res_column, min, max, max_width) || executeNumber (src, *res_column, min, max, max_width) || executeNumber (src, *res_column, min, max, max_width) || executeNumber (src, *res_column, min, max, max_width) || executeNumber (src, *res_column, min, max, max_width) || executeNumber (src, *res_column, min, max, max_width) || executeNumber (src, *res_column, min, max, max_width) || executeNumber (src, *res_column, min, max, max_width)) { } else throw Exception("Illegal column " + block.getByPosition(arguments[0]).column->getName() + " of argument of function " + getName(), ErrorCodes::ILLEGAL_COLUMN); } } private: template T extractConstant(Block & block, const ColumnNumbers & arguments, size_t argument_pos, const char * which_argument) const { const auto & column = *block.getByPosition(arguments[argument_pos]).column; if (!column.isConst()) throw Exception(which_argument + String(" argument for function ") + getName() + " must be constant.", ErrorCodes::ILLEGAL_COLUMN); return apply_visitor(FieldVisitorConvertToNumber(), column[0]); } static constexpr size_t BAR_CHAR_SIZE = strlen("█"); template static Float64 barWidth(T x, Int64 min, Int64 max, Float64 max_width) { if (x <= min) return 0; if (x >= max) return max_width; return (x - min) * max_width / (max - min); } static size_t barWidthInBytes(Float64 width) { return ceil(width - 1.0 / 8) * BAR_CHAR_SIZE; } /// В dst должно быть место для barWidthInBytes(width) символов и завершающего нуля. static void renderBar(Float64 width, char * dst) { size_t floor_width = floor(width); for (size_t i = 0; i < floor_width; ++i) { memcpy(dst, "█", BAR_CHAR_SIZE); dst += BAR_CHAR_SIZE; } size_t remainder = floor((width - floor_width) * 8); if (remainder) { memcpy(dst, &"▏▎▍▌▋▋▊▉"[(remainder - 1) * BAR_CHAR_SIZE], BAR_CHAR_SIZE); dst += BAR_CHAR_SIZE; } *dst = 0; } template static void fill(const PODArray & src, ColumnString::Chars_t & dst_chars, ColumnString::Offsets_t & dst_offsets, Int64 min, Int64 max, Float64 max_width) { size_t size = src.size(); size_t current_offset = 0; dst_offsets.resize(size); dst_chars.reserve(size * (barWidthInBytes(max_width) + 1)); /// строки 0-terminated. for (size_t i = 0; i < size; ++i) { Float64 width = barWidth(src[i], min, max, max_width); size_t next_size = current_offset + barWidthInBytes(width) + 1; dst_chars.resize(next_size); renderBar(width, reinterpret_cast(&dst_chars[current_offset])); current_offset = next_size; dst_offsets[i] = current_offset; } } template static void fill(T src, String & dst_chars, Int64 min, Int64 max, Float64 max_width) { Float64 width = barWidth(src, min, max, max_width); dst_chars.resize(barWidthInBytes(width)); renderBar(width, &dst_chars[0]); } template static bool executeNumber(const IColumn & src, ColumnString & dst, Int64 min, Int64 max, Float64 max_width) { if (const ColumnVector * col = typeid_cast *>(&src)) { fill(col->getData(), dst.getChars(), dst.getOffsets(), min, max, max_width); return true; } else return false; } template static bool executeConstNumber(const IColumn & src, ColumnConstString & dst, Int64 min, Int64 max, Float64 max_width) { if (const ColumnConst * col = typeid_cast *>(&src)) { fill(col->getData(), dst.getData(), min, max, max_width); return true; } else return false; } }; }