ClickHouse/docs/ru/engines/table-engines/special/url.md

URL(URL, Format)

Управляет данными на удаленном HTTP/HTTPS сервере. Данный движок похож на движок File.

Использование движка в сервере ClickHouse

Format должен быть таким, который ClickHouse может использовать в запросах SELECT и, если есть необходимость, INSERT. Полный список поддерживаемых форматов смотрите в разделе Форматы.

URL должен соответствовать структуре Uniform Resource Locator. По указанному URL должен находится сервер работающий по протоколу HTTP или HTTPS. При этом не должно требоваться никаких дополнительных заголовков для получения ответа от сервера.

Запросы INSERT и SELECT транслируются в POST и GET запросы соответственно. Для обработки POST-запросов удаленный сервер должен поддерживать Chunked transfer encoding.

Максимальное количество переходов по редиректам при выполнении HTTP-запроса методом GET можно ограничить с помощью настройки max_http_get_redirects.

Пример:

1. Создадим на сервере таблицу url_engine_table:

CREATE TABLE url_engine_table (word String, value UInt64)
ENGINE=URL('http://127.0.0.1:12345/', CSV)

2. Создадим простейший http-сервер стандартными средствами языка python3 и запустим его:

from http.server import BaseHTTPRequestHandler, HTTPServer

class CSVHTTPServer(BaseHTTPRequestHandler):
    def do_GET(self):
        self.send_response(200)
        self.send_header('Content-type', 'text/csv')
        self.end_headers()

        self.wfile.write(bytes('Hello,1\nWorld,2\n', "utf-8"))

if __name__ == "__main__":
    server_address = ('127.0.0.1', 12345)
    HTTPServer(server_address, CSVHTTPServer).serve_forever()

$ python3 server.py

3. Запросим данные:

SELECT * FROM url_engine_table

┌─word──┬─value─┐
│ Hello │     1 │
│ World │     2 │
└───────┴───────┘

Особенности использования

• Поддерживается многопоточное чтение и запись.
• Не поддерживается:
  • использование операций ALTER и SELECT...SAMPLE;
  • индексы;
  • репликация.

Оригинальная статья