ClickHouse/dbms/include/DB/Storages/StorageLog.h

173 lines
6.1 KiB
C++
Raw Normal View History

2011-10-31 17:55:06 +00:00
#pragma once
2010-03-18 19:32:14 +00:00
2015-01-25 05:07:51 +00:00
#include <map>
#include <ext/shared_ptr_helper.hpp>
2010-03-18 19:32:14 +00:00
#include <Poco/File.h>
#include <Poco/RWLock.h>
2010-03-18 19:32:14 +00:00
#include <DB/Storages/IStorage.h>
#include <DB/Common/FileChecker.h>
#include <DB/Common/escapeForFileName.h>
2010-03-18 19:32:14 +00:00
namespace DB
{
namespace ErrorCodes
{
extern const int NO_SUCH_COLUMN_IN_TABLE;
}
2012-01-10 22:11:51 +00:00
/** Смещение до каждой некоторой пачки значений.
* Эти пачки имеют одинаковый размер в разных столбцах.
* Они нужны, чтобы можно было читать данные в несколько потоков.
*/
struct Mark
{
size_t rows; /// Сколько строк содержится в этой пачке и всех предыдущих.
size_t offset; /// Смещение до пачки в сжатом файле.
};
2014-01-17 15:19:20 +00:00
using Marks = std::vector<Mark>;
2012-01-10 22:11:51 +00:00
2010-03-18 19:32:14 +00:00
/** Реализует хранилище, подходящее для логов.
2012-01-09 19:20:48 +00:00
* Ключи не поддерживаются.
2010-03-18 19:32:14 +00:00
* Данные хранятся в сжатом виде.
*/
class StorageLog : private ext::shared_ptr_helper<StorageLog>, public IStorage
2010-03-18 19:32:14 +00:00
{
friend class ext::shared_ptr_helper<StorageLog>;
2010-03-18 19:32:14 +00:00
friend class LogBlockInputStream;
friend class LogBlockOutputStream;
public:
/** Подцепить таблицу с соответствующим именем, по соответствующему пути (с / на конце),
* (корректность имён и путей не проверяется)
* состоящую из указанных столбцов; создать файлы, если их нет.
*/
static StoragePtr create(
const std::string & path_,
const std::string & name_,
NamesAndTypesListPtr columns_,
const NamesAndTypesList & materialized_columns_,
const NamesAndTypesList & alias_columns_,
const ColumnDefaults & column_defaults_,
size_t max_compress_block_size_ = DEFAULT_MAX_COMPRESS_BLOCK_SIZE);
static StoragePtr create(
const std::string & path_,
const std::string & name_,
NamesAndTypesListPtr columns_,
size_t max_compress_block_size_ = DEFAULT_MAX_COMPRESS_BLOCK_SIZE);
std::string getName() const override { return "Log"; }
std::string getTableName() const override { return name; }
2011-08-15 02:24:44 +00:00
const NamesAndTypesList & getColumnsListImpl() const override { return *columns; }
2010-03-18 19:32:14 +00:00
virtual BlockInputStreams read(
2011-08-09 15:57:33 +00:00
const Names & column_names,
2011-08-15 01:12:57 +00:00
ASTPtr query,
const Context & context,
const Settings & settings,
2012-05-22 18:32:45 +00:00
QueryProcessingStage::Enum & processed_stage,
2012-01-09 19:20:48 +00:00
size_t max_block_size = DEFAULT_BLOCK_SIZE,
unsigned threads = 1) override;
2010-03-18 19:32:14 +00:00
BlockOutputStreamPtr write(ASTPtr query, const Settings & settings) override;
2010-03-18 19:32:14 +00:00
void rename(const String & new_path_to_db, const String & new_database_name, const String & new_table_name) override;
2011-11-05 23:31:19 +00:00
/// Данные столбца
struct ColumnData
{
/// Задает номер столбца в файле с засечками.
/// Не обязательно совпадает с номером столбца среди столбцов таблицы: здесь нумеруются также столбцы с длинами массивов.
size_t column_index;
Poco::File data_file;
Marks marks;
};
using Files_t = std::map<String, ColumnData>;
bool checkData() const override;
protected:
2012-06-18 06:19:13 +00:00
String path;
String name;
2011-11-01 17:12:11 +00:00
NamesAndTypesListPtr columns;
2010-03-18 19:32:14 +00:00
Poco::RWLock rwlock;
2014-01-17 15:19:20 +00:00
StorageLog(
const std::string & path_,
const std::string & name_,
NamesAndTypesListPtr columns_,
const NamesAndTypesList & materialized_columns_,
const NamesAndTypesList & alias_columns_,
const ColumnDefaults & column_defaults_,
size_t max_compress_block_size_);
/// Прочитать файлы с засечками, если они ещё не прочитаны.
/// Делается лениво, чтобы при большом количестве таблиц, сервер быстро стартовал.
/// Нельзя вызывать с залоченным на запись rwlock.
void loadMarks();
2016-12-10 05:03:12 +00:00
/// Можно вызывать при любом состоянии rwlock.
size_t marksCount();
BlockInputStreams read(
size_t from_mark,
size_t to_mark,
size_t from_null_mark,
const Names & column_names,
ASTPtr query,
const Context & context,
const Settings & settings,
QueryProcessingStage::Enum & processed_stage,
size_t max_block_size = DEFAULT_BLOCK_SIZE,
unsigned threads = 1);
private:
Files_t files; /// name -> data
Names column_names; /// column_index -> name
2016-08-24 00:39:38 +00:00
Names null_map_filenames;
Poco::File marks_file;
Poco::File null_marks_file;
void loadMarksImpl(bool load_null_marks);
/// Порядок добавления файлов не должен меняться: он соответствует порядку столбцов в файле с засечками.
2012-08-29 20:07:24 +00:00
void addFile(const String & column_name, const IDataType & type, size_t level = 0);
2012-06-21 16:33:00 +00:00
bool loaded_marks;
bool has_nullable_columns = false;
2014-03-28 14:36:24 +00:00
size_t max_compress_block_size;
size_t file_count = 0;
size_t null_file_count = 0;
2014-03-28 14:36:24 +00:00
protected:
FileChecker file_checker;
private:
/** Для обычных столбцов, в засечках указано количество строчек в блоке.
* Для столбцов-массивов и вложенных структур, есть более одной группы засечек, соответствующих разным файлам:
* - для внутренностей (файла name.bin) - указано суммарное количество элементов массивов в блоке,
* - для размеров массивов (файла name.size0.bin) - указано количество строчек (самих целых массивов) в блоке.
*
* Вернуть первую попавшуюся группу засечек, в которых указано количество строчек, а не внутренностей массивов.
*/
const Marks & getMarksWithRealRowCount() const;
std::string getFullPath() const { return path + escapeForFileName(name) + '/';}
2010-03-18 19:32:14 +00:00
};
}