2013-09-08 05:53:10 +00:00
|
|
|
|
#pragma once
|
|
|
|
|
|
2015-12-13 04:52:13 +00:00
|
|
|
|
#include <memory>
|
2016-10-25 06:49:24 +00:00
|
|
|
|
#include <time.h>
|
|
|
|
|
|
2015-03-31 12:23:22 +00:00
|
|
|
|
#include <DB/IO/createReadBufferFromFileBase.h>
|
2014-01-15 14:53:20 +00:00
|
|
|
|
#include <DB/IO/CompressedReadBufferBase.h>
|
2013-09-08 05:53:10 +00:00
|
|
|
|
#include <DB/IO/UncompressedCache.h>
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
namespace DB
|
|
|
|
|
{
|
|
|
|
|
|
2016-01-12 02:42:18 +00:00
|
|
|
|
|
2013-09-08 05:53:10 +00:00
|
|
|
|
/** Буфер для чтения из сжатого файла с использованием кэша разжатых блоков.
|
|
|
|
|
* Кэш внешний - передаётся в качестве аргумента в конструктор.
|
|
|
|
|
* Позволяет увеличить производительность в случае, когда часто читаются одни и те же блоки.
|
|
|
|
|
* Недостатки:
|
|
|
|
|
* - в случае, если нужно читать много данных подряд, но из них только часть закэширована, приходится делать seek-и.
|
|
|
|
|
*/
|
2014-01-15 14:53:20 +00:00
|
|
|
|
class CachedCompressedReadBuffer : public CompressedReadBufferBase, public ReadBuffer
|
2013-09-08 05:53:10 +00:00
|
|
|
|
{
|
|
|
|
|
private:
|
|
|
|
|
const std::string path;
|
2013-11-26 11:55:11 +00:00
|
|
|
|
UncompressedCache * cache;
|
2013-09-08 05:53:10 +00:00
|
|
|
|
size_t buf_size;
|
2015-04-13 15:02:39 +00:00
|
|
|
|
size_t estimated_size;
|
2015-03-31 12:23:22 +00:00
|
|
|
|
size_t aio_threshold;
|
2013-09-08 05:53:10 +00:00
|
|
|
|
|
2015-12-13 04:52:13 +00:00
|
|
|
|
std::unique_ptr<ReadBufferFromFileBase> file_in;
|
2014-01-15 14:53:20 +00:00
|
|
|
|
size_t file_pos;
|
2013-09-08 05:53:10 +00:00
|
|
|
|
|
|
|
|
|
/// Кусок данных из кэша, или кусок считанных данных, который мы положим в кэш.
|
2014-02-11 11:05:02 +00:00
|
|
|
|
UncompressedCache::MappedPtr owned_cell;
|
2013-09-08 05:53:10 +00:00
|
|
|
|
|
2016-10-25 06:49:24 +00:00
|
|
|
|
void initInput();
|
|
|
|
|
bool nextImpl() override;
|
2015-12-13 04:52:13 +00:00
|
|
|
|
|
|
|
|
|
/// Передаётся в file_in.
|
|
|
|
|
ReadBufferFromFileBase::ProfileCallback profile_callback;
|
|
|
|
|
clockid_t clock_type;
|
|
|
|
|
|
2013-09-08 05:53:10 +00:00
|
|
|
|
public:
|
2015-07-08 17:59:44 +00:00
|
|
|
|
CachedCompressedReadBuffer(
|
|
|
|
|
const std::string & path_, UncompressedCache * cache_, size_t estimated_size_, size_t aio_threshold_,
|
2016-10-25 06:49:24 +00:00
|
|
|
|
size_t buf_size_ = DBMS_DEFAULT_BUFFER_SIZE);
|
2013-12-23 04:16:59 +00:00
|
|
|
|
|
2015-12-13 04:52:13 +00:00
|
|
|
|
|
2016-10-25 06:49:24 +00:00
|
|
|
|
void seek(size_t offset_in_compressed_file, size_t offset_in_decompressed_block);
|
2015-12-13 04:52:13 +00:00
|
|
|
|
|
|
|
|
|
void setProfileCallback(const ReadBufferFromFileBase::ProfileCallback & profile_callback_, clockid_t clock_type_ = CLOCK_MONOTONIC_COARSE)
|
|
|
|
|
{
|
|
|
|
|
profile_callback = profile_callback_;
|
|
|
|
|
clock_type = clock_type_;
|
|
|
|
|
}
|
2013-09-08 05:53:10 +00:00
|
|
|
|
};
|
|
|
|
|
|
|
|
|
|
}
|