ClickHouse/dbms/include/DB/IO/ReadBuffer.h

141 lines
4.1 KiB
C
Raw Normal View History

2010-06-04 18:25:25 +00:00
#ifndef DBMS_COMMON_READBUFFER_H
#define DBMS_COMMON_READBUFFER_H
2011-05-13 19:40:56 +00:00
#include <vector>
2010-06-04 18:25:25 +00:00
#include <cstring>
#include <algorithm>
#include <DB/Core/Exception.h>
#include <DB/Core/ErrorCodes.h>
2010-06-04 18:26:41 +00:00
#define DEFAULT_READ_BUFFER_SIZE 1048576UL
2010-06-04 18:25:25 +00:00
namespace DB
{
/** Простой абстрактный класс для буферизованного чтения данных (последовательности char) откуда-нибудь.
* В отличие от std::istream, предоставляет доступ к внутреннему буферу,
* а также позволяет вручную управлять позицией внутри буфера.
*
* Наследники должны реализовать метод next().
*/
class ReadBuffer
{
public:
2011-05-13 19:40:56 +00:00
typedef char * Position;
2010-06-04 18:25:25 +00:00
struct Buffer
{
Buffer(Position begin_pos_, Position end_pos_) : begin_pos(begin_pos_), end_pos(end_pos_) {}
inline Position begin() { return begin_pos; }
inline Position end() { return end_pos; }
private:
Position begin_pos;
Position end_pos; /// на 1 байт после конца буфера
};
2011-05-13 19:40:56 +00:00
ReadBuffer()
: internal_buffer(DEFAULT_READ_BUFFER_SIZE),
working_buffer(&internal_buffer[0], &internal_buffer[0]),
pos(&internal_buffer[0]),
bytes_read(0)
{}
2010-06-04 18:25:25 +00:00
/// получить часть буфера, из которого можно читать данные
inline Buffer & buffer() { return working_buffer; }
/// получить (для чтения и изменения) позицию в буфере
inline Position & position() { return pos; };
/** прочитать следующие данные и заполнить ими буфер; переместить позицию в начало;
* вернуть false в случае конца, true иначе; кинуть исключение, если что-то не так
*/
virtual bool next() { return false; }
virtual ~ReadBuffer() {}
/** В отличие от std::istream, возвращает true, если все данные были прочитаны
* (а не в случае, если была попытка чтения после конца).
* Если на данный момент позиция находится на конце буфера, то вызывает метод next().
* То есть, имеет побочный эффект - если буфер закончился, то обновляет его и переносит позицию в начало.
*
* При попытке чтения после конца, следует кидать исключение.
*/
inline bool eof()
{
return pos == working_buffer.end() && !next();
}
void ignore()
{
if (!eof())
{
2010-06-04 18:25:25 +00:00
++pos;
++bytes_read;
}
2010-06-04 18:25:25 +00:00
else
throw Exception("Attempt to read after eof", ErrorCodes::ATTEMPT_TO_READ_AFTER_EOF);
}
void ignore(size_t n)
{
while (!eof() && n != 0)
{
size_t bytes_to_ignore = std::min(static_cast<size_t>(working_buffer.end() - pos), n);
pos += bytes_to_ignore;
n -= bytes_to_ignore;
bytes_read += bytes_to_ignore;
}
if (n)
throw Exception("Attempt to read after eof", ErrorCodes::ATTEMPT_TO_READ_AFTER_EOF);
}
2010-06-04 18:25:25 +00:00
/** Читает столько, сколько есть, не больше n байт. */
size_t read(char * to, size_t n)
{
size_t bytes_copied = 0;
while (!eof() && bytes_copied < n)
{
size_t bytes_to_copy = std::min(static_cast<size_t>(working_buffer.end() - pos), n - bytes_copied);
2010-06-07 17:14:13 +00:00
std::memcpy(to + bytes_copied, pos, bytes_to_copy);
2010-06-04 18:25:25 +00:00
pos += bytes_to_copy;
2010-06-04 19:06:32 +00:00
bytes_copied += bytes_to_copy;
2010-06-04 18:25:25 +00:00
}
2011-05-13 19:40:56 +00:00
bytes_read += bytes_copied;
2010-06-04 18:25:25 +00:00
return bytes_copied;
}
/** Читает n байт, если есть меньше - кидает исключение. */
void readStrict(char * to, size_t n)
{
if (n != read(to, n))
throw Exception("Cannot read all data", ErrorCodes::CANNOT_READ_ALL_DATA);
}
2011-05-13 19:40:56 +00:00
size_t count()
{
return bytes_read;
}
2010-06-04 18:25:25 +00:00
protected:
2011-05-13 19:40:56 +00:00
std::vector<char> internal_buffer;
2010-06-04 18:25:25 +00:00
Buffer working_buffer;
Position pos;
2011-05-13 19:40:56 +00:00
private:
size_t bytes_read;
2010-06-04 18:25:25 +00:00
};
}
#endif