thevar1able/ClickHouse
1
0
Fork 0
mirror of https://github.com/ClickHouse/ClickHouse.git synced 2024-09-30 05:30:51 +00:00
Code Issues Packages Projects Releases Wiki Activity
7ccbd63e25
ClickHouse/docs/ru/sql-reference/table-functions/s3.md
Anna 7ccbd63e25 minor fixed
2021-03-05 11:59:06 +03:00

5.8 KiB
Raw Blame History

toc_priority toc_title
45 s3

Табличная Функция S3

Предоставляет табличный интерфейс для выбора/вставки файлов в Amazon S3. Эта табличная функция похожа на hdfs, но обеспечивает специфические для S3 возможности.

Синтаксис

    s3(path, [aws_access_key_id, aws_secret_access_key,] format, structure, [compression])

Aргументы

  • path — URL-адрес бакета с указанием пути к файлу. Поддерживает следующие подстановочные знаки в режиме "только чтение": *, ?, {abc,def} и {N..M} где N, M — числа, `’abc’, ‘def’ — строки.
  • format — формат файла.
  • structure — cтруктура таблицы. Формат 'column1_name column1_type, column2_name column2_type, ...'.
  • compression — автоматически обнаруживает сжатие по расширению файла. Возможные значения: none, gzip/gz, brotli/br, xz/LZMA, zstd/zst. Необязательный параметр.

Возвращаемые значения

Таблица с указанной структурой для чтения или записи данных в указанный файл.

Примеры

Создание таблицы из файла S3 https://storage.yandexcloud.net/my-test-bucket-768/data.csv и выбор первых трех столбцов из нее:

Query:

    SELECT *
    FROM s3('https://storage.yandexcloud.net/my-test-bucket-768/data.csv', 'CSV', 'column1 UInt32, column2 UInt32, column3 UInt32')
    LIMIT 2;

Result:

    ┌─column1─┬─column2─┬─column3─┐
    │       1 │       2 │       3 │
    │       3 │       2 │       1 │
    └─────────┴─────────┴─────────┘

То же самое, но файл со сжатием gzip:

Запрос:

    SELECT * 
    FROM s3('https://storage.yandexcloud.net/my-test-bucket-768/data.csv.gz', 'CSV', 'column1 UInt32, column2 UInt32, column3 UInt32', 'gzip') 
    LIMIT 2;

Результат:

    ┌─column1─┬─column2─┬─column3─┐
    │       1 │       2 │       3 │
    │       3 │       2 │       1 │
    └─────────┴─────────┴─────────┘

Примеры использования

Предположим, у нас есть несколько файлов со следующими URI на S3:

  1. Запрос количества строк в файлах, заканчивающихся цифрами от 1 до 3:
    SELECT count(*)
    FROM s3('https://storage.yandexcloud.net/my-test-bucket-768/{some,another}_prefix/some_file_{1..3}.csv', 'CSV', 'name String, value UInt32');

    ┌─count()─┐
    │      18 │
    └─────────┘
  1. Запрос количества строк во всех файлах этих двух каталогов:
    SELECT count(*)
    FROM s3('https://storage.yandexcloud.net/my-test-bucket-768/{some,another}_prefix/*', 'CSV', 'name String, value UInt32');

    ┌─count()─┐
    │      24 │
    └─────────┘

!!! warning "Warning" Если список файлов содержит диапазоны чисел с ведущими нулями, используйте конструкцию с фигурными скобками для каждой цифры отдельно или используйте ?.

  1. Запрос данных из файлов с именами file-000.csv, file-001.csv, … , file-999.csv:
    SELECT count(*)
    FROM s3('https://storage.yandexcloud.net/my-test-bucket-768/big_prefix/file-{000..999}.csv', 'CSV', 'name String, value UInt32');

    ┌─count()─┐
    │      12 │
    └─────────┘
  1. Вставка данных в файл test-data.csv.gz:
    INSERT INTO s3('https://storage.yandexcloud.net/my-test-bucket-768/test-data.csv.gz', 'CSV', 'name String, value UInt32', 'gzip')
    VALUES ('test-data', 1), ('test-data-2', 2);
  1. Вставка данных в файл test-data.csv.gz из существующей таблицы:
    INSERT INTO s3('https://storage.yandexcloud.net/my-test-bucket-768/test-data.csv.gz', 'CSV', 'name String, value UInt32', 'gzip')
    SELECT name, value FROM existing_table;

Смотрите также

Оригинальная статья