thevar1able/ClickHouse
1
0
Fork 0
mirror of https://github.com/ClickHouse/ClickHouse.git synced 2024-11-17 21:24:28 +00:00
Code Issues Packages Projects Releases Wiki Activity
d68338a792
ClickHouse/docs/ru/sql-reference/table-functions/s3.md
muzzlerator d88bcf52a7
Update s3.md 
Missed keyword "FUNCTION"
2021-06-11 09:41:47 +05:00

5.8 KiB
Raw Blame History

toc_priority toc_title
45 s3

Табличная Функция S3

Предоставляет табличный интерфейс для выбора/вставки файлов в Amazon S3. Эта табличная функция похожа на hdfs, но обеспечивает специфические для S3 возможности.

Синтаксис

s3(path, [aws_access_key_id, aws_secret_access_key,] format, structure, [compression])

Aргументы

  • path — URL-адрес бакета с указанием пути к файлу. Поддерживает следующие подстановочные знаки в режиме "только чтение": *, ?, {abc,def} и {N..M} где N, M — числа, 'abc', 'def' — строки. Подробнее смотри здесь.
  • format — формат файла.
  • structure — cтруктура таблицы. Формат 'column1_name column1_type, column2_name column2_type, ...'.
  • compression — автоматически обнаруживает сжатие по расширению файла. Возможные значения: none, gzip/gz, brotli/br, xz/LZMA, zstd/zst. Необязательный параметр.

Возвращаемые значения

Таблица с указанной структурой для чтения или записи данных в указанный файл.

Примеры

Создание таблицы из файла S3 https://storage.yandexcloud.net/my-test-bucket-768/data.csv и выбор первых трех столбцов из нее:

Запрос:

SELECT *
FROM s3('https://storage.yandexcloud.net/my-test-bucket-768/data.csv', 'CSV', 'column1 UInt32, column2 UInt32, column3 UInt32')
LIMIT 2;

Результат:

┌─column1─┬─column2─┬─column3─┐
│       1 │       2 │       3 │
│       3 │       2 │       1 │
└─────────┴─────────┴─────────┘

То же самое, но файл со сжатием gzip:

Запрос:

SELECT * 
FROM s3('https://storage.yandexcloud.net/my-test-bucket-768/data.csv.gz', 'CSV', 'column1 UInt32, column2 UInt32, column3 UInt32', 'gzip') 
LIMIT 2;

Результат:

┌─column1─┬─column2─┬─column3─┐
│       1 │       2 │       3 │
│       3 │       2 │       1 │
└─────────┴─────────┴─────────┘

Примеры использования

Предположим, у нас есть несколько файлов со следующими URI на S3:

Подсчитаем количество строк в файлах, заканчивающихся цифрами от 1 до 3:

SELECT count(*)
FROM s3('https://storage.yandexcloud.net/my-test-bucket-768/{some,another}_prefix/some_file_{1..3}.csv', 'CSV', 'name String, value UInt32');

┌─count()─┐
│      18 │
└─────────┘

Подсчитаем общее количество строк во всех файлах этих двух каталогов:

SELECT count(*)
FROM s3('https://storage.yandexcloud.net/my-test-bucket-768/{some,another}_prefix/*', 'CSV', 'name String, value UInt32');

┌─count()─┐
│      24 │
└─────────┘

!!! warning "Warning" Если список файлов содержит диапазоны чисел с ведущими нулями, используйте конструкцию с фигурными скобками для каждой цифры отдельно или используйте ?.

Подсчитаем общее количество строк в файлах с именами file-000.csv, file-001.csv, … , file-999.csv:

SELECT count(*)
FROM s3('https://storage.yandexcloud.net/my-test-bucket-768/big_prefix/file-{000..999}.csv', 'CSV', 'name String, value UInt32');

┌─count()─┐
│      12 │
└─────────┘

Запишем данные в файл test-data.csv.gz:

INSERT INTO FUNCTION s3('https://storage.yandexcloud.net/my-test-bucket-768/test-data.csv.gz', 'CSV', 'name String, value UInt32', 'gzip')
VALUES ('test-data', 1), ('test-data-2', 2);

Запишем данные из существующей таблицы в файл test-data.csv.gz:

INSERT INTO FUNCTION s3('https://storage.yandexcloud.net/my-test-bucket-768/test-data.csv.gz', 'CSV', 'name String, value UInt32', 'gzip')
SELECT name, value FROM existing_table;

Смотрите также

Оригинальная статья