ClickHouse/docs/ru/sql-reference/table-functions/s3.md

142 lines
5.8 KiB
Markdown
Raw Normal View History

2021-03-01 13:35:59 +00:00
---
toc_priority: 45
toc_title: s3
---
2021-03-01 20:07:09 +00:00
# Табличная Функция S3 {#s3-table-function}
2021-03-01 13:35:59 +00:00
2021-03-01 20:07:09 +00:00
Предоставляет табличный интерфейс для выбора/вставки файлов в [Amazon S3](https://aws.amazon.com/s3/). Эта табличная функция похожа на [hdfs](../../sql-reference/table-functions/hdfs.md), но обеспечивает специфические для S3 возможности.
2021-03-05 08:31:16 +00:00
**Синтаксис**
2021-03-01 13:35:59 +00:00
``` sql
2021-03-05 09:22:15 +00:00
s3(path, [aws_access_key_id, aws_secret_access_key,] format, structure, [compression])
2021-03-01 13:35:59 +00:00
```
2021-03-05 08:31:16 +00:00
**Aргументы**
2021-03-01 20:07:09 +00:00
2021-03-21 14:23:16 +00:00
- `path` — URL-адрес бакета с указанием пути к файлу. Поддерживает следующие подстановочные знаки в режиме "только чтение": `*, ?, {abc,def} и {N..M}` где `N, M` — числа, `'abc', 'def'` — строки. Подробнее смотри [здесь](../../engines/table-engines/integrations/s3.md#wildcards-in-path).
2021-03-01 20:07:09 +00:00
- `format` — [формат](../../interfaces/formats.md#formats) файла.
- `structure` — cтруктура таблицы. Формат `'column1_name column1_type, column2_name column2_type, ...'`.
2021-03-25 14:24:42 +00:00
- `compression` — автоматически обнаруживает сжатие по расширению файла. Возможные значения: `none`, `gzip/gz`, `brotli/br`, `xz/LZMA`, `zstd/zst`. Необязательный параметр.
2021-03-01 13:35:59 +00:00
2021-03-01 20:07:09 +00:00
**Возвращаемые значения**
2021-03-01 13:35:59 +00:00
2021-03-01 20:07:09 +00:00
Таблица с указанной структурой для чтения или записи данных в указанный файл.
2021-03-01 13:35:59 +00:00
2021-03-01 20:07:09 +00:00
**Примеры**
2021-03-01 13:35:59 +00:00
2021-03-01 20:07:09 +00:00
Создание таблицы из файла S3 `https://storage.yandexcloud.net/my-test-bucket-768/data.csv` и выбор первых трех столбцов из нее:
2021-03-01 13:35:59 +00:00
Запрос:
2021-03-01 13:35:59 +00:00
``` sql
2021-03-05 09:22:15 +00:00
SELECT *
FROM s3('https://storage.yandexcloud.net/my-test-bucket-768/data.csv', 'CSV', 'column1 UInt32, column2 UInt32, column3 UInt32')
LIMIT 2;
2021-03-01 13:35:59 +00:00
```
Результат:
2021-03-01 20:07:09 +00:00
2021-03-01 13:35:59 +00:00
``` text
2021-03-05 09:22:15 +00:00
┌─column1─┬─column2─┬─column3─┐
│ 1 │ 2 │ 3 │
│ 3 │ 2 │ 1 │
└─────────┴─────────┴─────────┘
2021-03-01 13:35:59 +00:00
```
2021-03-01 20:07:09 +00:00
То же самое, но файл со сжатием `gzip`:
Запрос:
2021-03-01 13:35:59 +00:00
``` sql
2021-03-05 09:22:15 +00:00
SELECT *
FROM s3('https://storage.yandexcloud.net/my-test-bucket-768/data.csv.gz', 'CSV', 'column1 UInt32, column2 UInt32, column3 UInt32', 'gzip')
LIMIT 2;
2021-03-01 13:35:59 +00:00
```
2021-03-01 20:07:09 +00:00
Результат:
2021-03-01 13:35:59 +00:00
``` text
2021-03-05 09:22:15 +00:00
┌─column1─┬─column2─┬─column3─┐
│ 1 │ 2 │ 3 │
│ 3 │ 2 │ 1 │
└─────────┴─────────┴─────────┘
2021-03-01 13:35:59 +00:00
```
2021-03-14 20:19:53 +00:00
2021-03-01 20:07:09 +00:00
## Примеры использования {#usage-examples}
2021-03-01 13:35:59 +00:00
2021-03-01 20:07:09 +00:00
Предположим, у нас есть несколько файлов со следующими URI на S3:
2021-03-01 13:35:59 +00:00
2021-03-05 09:10:35 +00:00
- 'https://storage.yandexcloud.net/my-test-bucket-768/some_prefix/some_file_1.csv'
- 'https://storage.yandexcloud.net/my-test-bucket-768/some_prefix/some_file_2.csv'
- 'https://storage.yandexcloud.net/my-test-bucket-768/some_prefix/some_file_3.csv'
- 'https://storage.yandexcloud.net/my-test-bucket-768/some_prefix/some_file_4.csv'
- 'https://storage.yandexcloud.net/my-test-bucket-768/another_prefix/some_file_1.csv'
- 'https://storage.yandexcloud.net/my-test-bucket-768/another_prefix/some_file_2.csv'
- 'https://storage.yandexcloud.net/my-test-bucket-768/another_prefix/some_file_3.csv'
- 'https://storage.yandexcloud.net/my-test-bucket-768/another_prefix/some_file_4.csv'
2021-03-01 13:35:59 +00:00
Подсчитаем количество строк в файлах, заканчивающихся цифрами от 1 до 3:
2021-03-01 13:35:59 +00:00
``` sql
2021-03-05 09:22:15 +00:00
SELECT count(*)
FROM s3('https://storage.yandexcloud.net/my-test-bucket-768/{some,another}_prefix/some_file_{1..3}.csv', 'CSV', 'name String, value UInt32');
2021-03-01 13:35:59 +00:00
```
``` text
2021-03-05 09:22:15 +00:00
┌─count()─┐
│ 18 │
└─────────┘
2021-03-01 13:35:59 +00:00
```
Подсчитаем общее количество строк во всех файлах этих двух каталогов:
2021-03-01 13:35:59 +00:00
``` sql
2021-03-05 09:22:15 +00:00
SELECT count(*)
FROM s3('https://storage.yandexcloud.net/my-test-bucket-768/{some,another}_prefix/*', 'CSV', 'name String, value UInt32');
2021-03-01 13:35:59 +00:00
```
``` text
2021-03-05 09:22:15 +00:00
┌─count()─┐
│ 24 │
└─────────┘
2021-03-01 13:35:59 +00:00
```
!!! warning "Warning"
2021-03-01 20:07:09 +00:00
Если список файлов содержит диапазоны чисел с ведущими нулями, используйте конструкцию с фигурными скобками для каждой цифры отдельно или используйте `?`.
2021-03-01 13:35:59 +00:00
Подсчитаем общее количество строк в файлах с именами `file-000.csv`, `file-001.csv`, … , `file-999.csv`:
2021-03-01 13:35:59 +00:00
``` sql
2021-03-05 09:22:15 +00:00
SELECT count(*)
FROM s3('https://storage.yandexcloud.net/my-test-bucket-768/big_prefix/file-{000..999}.csv', 'CSV', 'name String, value UInt32');
2021-03-01 13:35:59 +00:00
```
``` text
2021-03-05 09:22:15 +00:00
┌─count()─┐
│ 12 │
└─────────┘
2021-03-01 13:35:59 +00:00
```
Запишем данные в файл `test-data.csv.gz`:
2021-03-01 13:35:59 +00:00
``` sql
2021-06-11 04:41:47 +00:00
INSERT INTO FUNCTION s3('https://storage.yandexcloud.net/my-test-bucket-768/test-data.csv.gz', 'CSV', 'name String, value UInt32', 'gzip')
2021-03-05 09:22:15 +00:00
VALUES ('test-data', 1), ('test-data-2', 2);
2021-03-01 13:35:59 +00:00
```
Запишем данные из существующей таблицы в файл `test-data.csv.gz`:
2021-03-01 13:35:59 +00:00
``` sql
2021-06-11 04:41:47 +00:00
INSERT INTO FUNCTION s3('https://storage.yandexcloud.net/my-test-bucket-768/test-data.csv.gz', 'CSV', 'name String, value UInt32', 'gzip')
2021-03-05 09:22:15 +00:00
SELECT name, value FROM existing_table;
2021-03-01 13:35:59 +00:00
```
**Смотрите также**
2021-03-01 13:35:59 +00:00
2021-03-01 20:07:09 +00:00
- [Движок таблиц S3](../../engines/table-engines/integrations/s3.md)
2021-03-01 13:35:59 +00:00
2021-03-01 20:07:09 +00:00
[Оригинальная статья](https://clickhouse.tech/docs/ru/sql-reference/table-functions/s3/) <!--hide-->
2021-03-14 20:19:53 +00:00