mirror of
https://github.com/ClickHouse/ClickHouse.git
synced 2024-11-18 13:42:02 +00:00
40 lines
1.5 KiB
C++
40 lines
1.5 KiB
C++
#pragma once
|
||
|
||
#include <DB/Core/Block.h>
|
||
#include <DB/DataStreams/IRowInputStream.h>
|
||
#include <DB/Common/HashTable/HashMap.h>
|
||
|
||
|
||
namespace DB
|
||
{
|
||
|
||
class ReadBuffer;
|
||
|
||
|
||
/** Поток для чтения данных в формате JSON, где каждая строчка представлена отдельным JSON объектом.
|
||
* Объекты могут быть разделены переводом строки, другими пробельными символами в любом количестве и, возможно, запятой.
|
||
* Поля могут быть перечислены в произвольном порядке (в том числе, в разных строках может быть разный порядок),
|
||
* и часть полей может отсутствовать.
|
||
*/
|
||
class JSONEachRowRowInputStream : public IRowInputStream
|
||
{
|
||
public:
|
||
JSONEachRowRowInputStream(ReadBuffer & istr_, const Block & sample_, bool skip_unknown_);
|
||
|
||
bool read(Block & block) override;
|
||
|
||
private:
|
||
ReadBuffer & istr;
|
||
const Block sample;
|
||
bool skip_unknown;
|
||
|
||
/// Буфер для прочитанного из потока имени поля. Используется, если его потребовалось скопировать.
|
||
String name_buf;
|
||
|
||
/// Хэш-таблица соответствия имя поля -> позиция в блоке. NOTE Можно использовать perfect hash map.
|
||
using NameMap = HashMap<StringRef, size_t, StringRefHash>;
|
||
NameMap name_map;
|
||
};
|
||
|
||
}
|