mirror of
https://github.com/ClickHouse/ClickHouse.git
synced 2024-11-22 07:31:57 +00:00
DOCSUP-6258: FAQ edit and translate (#21109)
Co-authored-by: ana-uvarova <ana-uvarova@yandex-team.ru> Co-authored-by: AnaUvarova <64017504+AnaUvarova@users.noreply.github.com> Co-authored-by: vdimir <vdimir@yandex-team.ru> Co-authored-by: Olga Revyakina <revolg@yandex-team.ru> Co-authored-by: Anna <42538400+adevyatova@users.noreply.github.com>
This commit is contained in:
olgarev
GitHub
parent
e8df9971f1
commit
134eaa55e5
25
docs/ru/faq/general/columnar-database.md
Normal file
25
docs/ru/faq/general/columnar-database.md
Normal file
@ -0,0 +1,25 @@
|
|||||||
|
---
|
||||||
|
title: Что такое столбцовая база данных?
|
||||||
|
toc_hidden: true
|
||||||
|
toc_priority: 101
|
||||||
|
---
|
||||||
|
|
||||||
|
# Что такое столбцовая (колоночная) база данных? {#what-is-a-columnar-database}
|
||||||
|
|
||||||
|
В столбцовой БД данные каждого столбца хранятся отдельно (независимо) от других столбцов. Такой принцип хранения позволяет при выполнении запроса считывать с диска данные только тех столбцов, которые непосредственно участвуют в этом запросе. Обратная сторона такого принципа хранения заключается в том, что выполнение операций над строками становится более затратным. ClickHouse — типичный пример столбцовой СУБД.
|
||||||
|
|
||||||
|
Ключевые преимущества столбцовой СУБД:
|
||||||
|
|
||||||
|
- выполнение запросов над отдельными столбцами таблицы, а не над всей таблицей сразу;
|
||||||
|
- агрегация запросов на больших объемах данных;
|
||||||
|
- сжатие данных в столбцах.
|
||||||
|
|
||||||
|
Ниже — иллюстрация того, как извлекаются данные для отчетов при использовании обычной строковой СУБД и столбцовой СУБД:
|
||||||
|
|
||||||
|
**Стандартная строковая СУБД**
|
||||||
|
|
||||||
|
|
||||||
|
**Столбцовая СУБД**
|
||||||
|
|
||||||
|
|
||||||
|
Для аналитических приложений столбцовые СУБД предпочтительнее, так как в них можно хранить много столбцов в таблице просто на всякий случай, и это не будет сказываться на скорости чтения данных. Столбцовые СУБД предназначены для обработки и хранения больших данных. Они прекрасно масштабируются при помощи распределенных кластеров на относительно недорогих серверах — для увеличения производительности. В ClickHouse для этого используются [распределенные](../../engines/table-engines/special/distributed.md) и [реплицированные](../../engines/table-engines/mergetree-family/replication.md) таблицы.
|
||||||
17
docs/ru/faq/general/dbms-naming.md
Normal file
17
docs/ru/faq/general/dbms-naming.md
Normal file
@ -0,0 +1,17 @@
|
|||||||
|
---
|
||||||
|
title: "Что означает название ClickHouse?"
|
||||||
|
toc_hidden: true
|
||||||
|
toc_priority: 10
|
||||||
|
---
|
||||||
|
|
||||||
|
# Что означает название ClickHouse? {#what-does-clickhouse-mean}
|
||||||
|
|
||||||
|
Это комбинация терминов **Click**stream и Data ware**House**. Название пришло из Яндекс.Метрики, для которой первоначально был разработан ClickHouse — там он использовался для хранения истории визитов пользователей на сайты и всех пользовательских действий — "кликов". Кстати, ClickHouse по-прежнему выполняет эту функцию. Узнать об этом больше можно на странице [истории ClickHouse](../../introduction/history.md).
|
||||||
|
|
||||||
|
Поскольку название составное, использовать его нужно следующим образом:
|
||||||
|
|
||||||
|
- единственно правильный способ написания — Click**H**ouse — с заглавной буквой H;
|
||||||
|
- если нужно сокращеннное название, используйте **CH**. Исторически сложилось, что в Китае также популярно сокращение CK — в основном, из-за того, что это название использовалось в одном из первых обсуждений ClickHouse на китайском языке.
|
||||||
|
|
||||||
|
!!! info "Забавный факт"
|
||||||
|
Спустя годы после того, как ClickHouse получил свое название, принцип комбинирования двух слов, каждое из которых имеет подходящий смысл, был признан лучшим способом назвать базу данных в [исследовании Andy Pavlo](https://www.cs.cmu.edu/~pavlo/blog/2020/03/on-naming-a-database-management-system.html), Associate Professor of Databases в Carnegie Mellon University. ClickHouse разделил награду "за лучшее название СУБД" с Postgres.
|
||||||
@ -1,25 +1,24 @@
|
|||||||
---
|
---
|
||||||
title: General questions about ClickHouse
|
title: Общие вопросы о ClickHouse
|
||||||
toc_hidden_folder: true
|
toc_hidden_folder: true
|
||||||
toc_priority: 1
|
toc_priority: 1
|
||||||
toc_title: Общие вопросы
|
toc_title: Общие вопросы
|
||||||
---
|
---
|
||||||
|
|
||||||
# Общие вопросы о ClickHouse {#obshchie-voprosy}
|
# Общие вопросы о ClickHouse {#general-questions}
|
||||||
|
|
||||||
Вопросы:
|
Вопросы:
|
||||||
|
|
||||||
- Что такое ClickHouse?
|
- [Что такое ClickHouse?](../../index.md#what-is-clickhouse)
|
||||||
- Почему ClickHouse такой быстрый?
|
- [Почему ClickHouse такой быстрый?](why-clickhouse-is-so-fast.md)
|
||||||
- Кто пользуется ClickHouse?
|
- [Кто пользуется ClickHouse?](who-is-using-clickhouse.md)
|
||||||
- Что обозначает название “ClickHouse”?
|
- [Что обозначает название ClickHouse?](dbms-naming.md)
|
||||||
- Что значит “Не тормозит”?
|
- [Как фраза “Не тормозит” осталась на всех футболках?](ne-tormozit.md)
|
||||||
- Что такое OLAP?
|
- [Что такое OLAP?](olap.md)
|
||||||
- Что такое колоночная база данных?
|
- [Что такое столбцовая база данных?](columnar-database.md)
|
||||||
- [Почему бы не использовать системы типа MapReduce?](mapreduce.md)
|
- [Почему бы не использовать системы типа MapReduce?](mapreduce.md)
|
||||||
|
|
||||||
!!! info "Если вы не нашли то, что искали:"
|
!!! info "Если вы не нашли то, что искали:"
|
||||||
Загляните в другие категории F.A.Q. или поищите в других разделах документации, ориентируйтесь по оглавлению слева.
|
Загляните в другие категории F.A.Q. или поищите в остальных разделах документации, ориентируясь по оглавлению слева.
|
||||||
|
|
||||||
{## [Original article](https://clickhouse.tech/docs/ru/faq/general/) ##}
|
|
||||||
|
|
||||||
|
[Original article](https://clickhouse.tech/docs/ru/faq/general/) <!--hide-->
|
||||||
|
|||||||
@ -4,13 +4,10 @@ toc_hidden: true
|
|||||||
toc_priority: 110
|
toc_priority: 110
|
||||||
---
|
---
|
||||||
|
|
||||||
## Почему бы не использовать системы типа MapReduce? {#pochemu-by-ne-ispolzovat-sistemy-tipa-mapreduce}
|
# Почему бы не использовать системы типа MapReduce? {#why-not-use-something-like-mapreduce}
|
||||||
|
|
||||||
Системами типа MapReduce будем называть системы распределённых вычислений, в которых операция reduce сделана на основе распределённой сортировки. Наиболее распространённым opensource решением данного класса является [Apache Hadoop](http://hadoop.apache.org). Яндекс использует собственное решение — YT.
|
Системами типа MapReduce будем называть системы распределённых вычислений, в которых операция свёртки реализована на основе распределённой сортировки. Наиболее распространённое решение с открытым кодом в данном классе — [Apache Hadoop](http://hadoop.apache.org). Яндекс пользуется собственным решением — YT.
|
||||||
|
|
||||||
Такие системы не подходят для онлайн запросов в силу слишком большой latency. То есть, не могут быть использованы в качестве бэкенда для веб-интерфейса.
|
Такие системы не подходят для онлайн запросов в силу слишком большой задержки. То есть не могут быть использованы в качестве бэкенда для веб-интерфейса. Также эти системы не подходят для обновления данных в реальном времени. Распределённая сортировка является не оптимальным способом для выполнения операции свёртки в случае запросов, выполняющихся в режиме онлайн, потому что результат выполнения операции и все промежуточные результаты (если такие есть) помещаются в оперативную память на одном сервере. В таком случае оптимальным способом выполнения операции свёртки является хеш-таблица. Частым способом оптимизации "map-reduce" задач является предагрегация (частичная свёртка) с использованием хеш-таблицы в оперативной памяти. Пользователь делает эту оптимизацию в ручном режиме. Распределённая сортировка — основная причина тормозов при выполнении несложных задач типа "map-reduce".
|
||||||
Такие системы не подходят для обновления данных в реальном времени.
|
|
||||||
Распределённая сортировка не является оптимальным способом выполнения операции reduce, если результат выполнения операции и все промежуточные результаты, при их наличии, помещаются в оперативку на одном сервере, как обычно бывает в запросах, выполняющихся в режиме онлайн. В таком случае, оптимальным способом выполнения операции reduce является хэш-таблица. Частым способом оптимизации map-reduce задач является предагрегация (частичный reduce) с использованием хэш-таблицы в оперативной памяти. Эта оптимизация делается пользователем в ручном режиме.
|
|
||||||
Распределённая сортировка является основной причиной тормозов при выполнении несложных map-reduce задач.
|
|
||||||
|
|
||||||
Большинство реализаций MapReduce позволяют выполнять произвольный код на кластере. Но для OLAP задач лучше подходит декларативный язык запросов, который позволяет быстро проводить исследования. Для примера, для Hadoop существует Hive и Pig. Также смотрите Cloudera Impala, Shark (устаревший) для Spark, а также Spark SQL, Presto, Apache Drill. Впрочем, производительность при выполнении таких задач является сильно неоптимальной по сравнению со специализированными системами, а сравнительно высокая latency не позволяет использовать эти системы в качестве бэкенда для веб-интерфейса.
|
Большинство реализаций MapReduce позволяют выполнять произвольный код на кластере. Но для OLAP-задач лучше подходит декларативный язык запросов, который позволяет быстро проводить исследования. Например, для Hadoop существуют Hive и Pig. Также посмотрите на Cloudera Impala, Shark (устаревший) для Spark, а также Spark SQL, Presto, Apache Drill. Впрочем, производительность при выполнении таких задач очень неоптимальная, если сравнивать со специализированными системами, а относительно высокая задержка не позволяет использовать эти системы в качестве бэкенда для веб-интерфейса.
|
||||||
|
|||||||
26
docs/ru/faq/general/ne-tormozit.md
Normal file
26
docs/ru/faq/general/ne-tormozit.md
Normal file
@ -0,0 +1,26 @@
|
|||||||
|
---
|
||||||
|
title: "What does \u201C\u043D\u0435 \u0442\u043E\u0440\u043C\u043E\u0437\u0438\u0442\
|
||||||
|
\u201D mean?"
|
||||||
|
toc_hidden: true
|
||||||
|
toc_priority: 11
|
||||||
|
---
|
||||||
|
|
||||||
|
# Что значит “Не тормозит”? {#what-does-ne-tormozit-mean}
|
||||||
|
|
||||||
|
Обычно этот вопрос возникает, когда люди видят официальные футболки ClickHouse. На них большими буквами написано **“ClickHouse не тормозит”**.
|
||||||
|
|
||||||
|
До того, как код ClickHouse стал открытым, его разрабатывали как собственную систему хранения данных в крупнейшей российской ИТ-компании [Яндекс](https://yandex.com/company/). Поэтому оригинальный слоган написан по-русски. После выхода версии с открытым исходным кодом мы впервые выпустили некоторое количество таких футболок для мероприятий в России, и просто оставили прежний слоган.
|
||||||
|
|
||||||
|
Когда мы решили отправить партию этих футболок на мероприятия вне России, мы пробовали подобрать подходящий английский слоган. К сожалению, мы так и не смогли придумать достаточно точный и выразительный перевод, ведь на русском этот слоган звучит очень ёмко и при этом довольно элегантно. К тому же, существовало ограничение по количеству символов на футболках. В итоге мы решили оставить русский вариант даже для международных событий. И это стало прекрасным решением, потому что люди по всему миру приятно удивлялись, когда видели фразу и интересовались, что же там написано.
|
||||||
|
|
||||||
|
Итак, как же объяснить эту фразу на английском? Вот несколько вариантов:
|
||||||
|
|
||||||
|
- Если переводить буквально, то получится что-то подобное: *“ClickHouse doesn’t press the brake pedal”*.
|
||||||
|
- Если же вы хотите максимально сохранить том смысл, который вкладывает в эту фразу человек из ИТ-сферы, то будет примерно следующее: *“If your larger system lags, it’s not because it uses ClickHouse”*.
|
||||||
|
- Более короткие, но не такие точные версии: *“ClickHouse is not slow”*, *“ClickHouse doesn’t lag”* или просто *“ClickHouse is fast”*.
|
||||||
|
|
||||||
|
Если вы не видели наших футболок, посмотрите видео о ClickHouse. Например, вот это:
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
|
P.S. Эти футболки не продаются, а распространяются бесплатно на большинстве митапов [ClickHouse](https://clickhouse.tech/#meet), обычно в награду за самые интересные вопросы или другие виды активного участия.
|
||||||
39
docs/ru/faq/general/olap.md
Normal file
39
docs/ru/faq/general/olap.md
Normal file
@ -0,0 +1,39 @@
|
|||||||
|
---
|
||||||
|
title: Что такое OLAP?
|
||||||
|
toc_hidden: true
|
||||||
|
toc_priority: 100
|
||||||
|
---
|
||||||
|
|
||||||
|
# Что такое OLAP? {#what-is-olap}
|
||||||
|
|
||||||
|
[OLAP](https://ru.wikipedia.org/wiki/OLAP) (OnLine Analytical Processing) переводится как обработка данных в реальном времени. Это широкий термин, который можно рассмотреть с двух сторон: с технической и с точки зрения бизнеса. Для самого общего понимания можно просто прочитать его с конца:
|
||||||
|
|
||||||
|
**Processing**
|
||||||
|
Обрабатываются некие исходные данные…
|
||||||
|
|
||||||
|
**Analytical**
|
||||||
|
: … чтобы получить какие-то аналитические отчеты или новые знания…
|
||||||
|
|
||||||
|
**OnLine**
|
||||||
|
: … в реальном времени, практически без задержек на обработку.
|
||||||
|
|
||||||
|
## OLAP с точки зрения бизнеса {#olap-from-the-business-perspective}
|
||||||
|
|
||||||
|
В последние годы бизнес-сообщество стало осознавать ценность данных. Компании, которые принимают решения вслепую, чаще всего отстают от конкурентов. Управление бизнесом на основе данных, которое применяется успешными компаниями, побуждает собирать все данные, которые могут быть полезны в будущем для принятия бизнес-решений, а также подбирать механизмы, чтобы своевременно эти данные анализировать. Именно для этого и нужны СУБД с OLAP.
|
||||||
|
|
||||||
|
С точки зрения бизнеса, OLAP позволяет компаниям постоянно планировать, анализировать и оценивать операционную деятельность, чтобы повышать её эффективность, уменьшать затраты и как следствие — увеличивать долю рынка. Это можно делать как в собственной системе, так и в облачной (SaaS), в веб или мобильных аналитических приложениях, CRM-системах и т.д. Технология OLAP используется во многих приложениях BI (Business Intelligence — бизнес-аналитика).
|
||||||
|
|
||||||
|
ClickHouse — это СУБД с OLAP, которая часто используется для поддержки SaaS-решений для анализа данных в различных предметных областях. Но поскольку некоторые компании все еще не слишком охотно размещают свои данные в облаке (у сторонних провайдеров), ClickHouse может быть развернут и на собственных серверах заказчика.
|
||||||
|
|
||||||
|
## OLAP с технической точки зрения {#olap-from-the-technical-perspective}
|
||||||
|
|
||||||
|
Все СУБД можно разделить на две группы: OLAP (**аналитическая** обработка в реальном времени) и OLTP (обработка **транзакций** в реальном времени). OLAP используются для построения отчетов на основе больших объемов накопленных исторических данных, но эти отчеты обновляются не слишком часто. OLTP обычно применяются для обработки непрерывных потоков операций (транзакций), каждая из которых изменяет состояние данных.
|
||||||
|
|
||||||
|
На практике OLAP и OLTP — это не строго разделённые категории, а скорее спектр возможностей. Большинство СУБД специализируются на каком-то одном виде обработки данных, но имеют инструменты и для выполнения других операций, когда это необходимо. Из-за такой специализации часто приходится использовать несколько СУБД и интегрировать их между собой. Это вполне реальная и решаемая задача, но, как известно, чем больше систем, тем выше расходы на их содержание. Поэтому в последние годы становятся популярны гибридные СУБД — HTAP (**Hybrid Transactional/Analytical Processing**), которые одинаково эффективно выполняют оба вида операций по обработке данных.
|
||||||
|
|
||||||
|
Даже если СУБД сначала развивались исключительно как OLAP или как OLTP, разработчики постепенно двигаются в сторону HTAP, чтобы сохранять конкурентоспособность. И ClickHouse не исключение. Изначально он создавался как [OLAP СУБД с максимальной производительностью](../../faq/general/why-clickhouse-is-so-fast.md), и на сегодняшний день в нем нет полноценной поддержки обработки тразакций, но уже реализованы некоторые возможности, такие как постоянная скорость чтения/записи данных и мутации при изменении/удалении данных.
|
||||||
|
|
||||||
|
Принципиальное "разделение труда" между OLAP и OLTP СУБД сохраняется:
|
||||||
|
|
||||||
|
- Чтобы эффективно строить аналитические отчеты, нужно уметь обрабатывать колонки по отдельности, поэтому большинство OLAP СУБД — [столбцовые](../../faq/general/columnar-database.md).
|
||||||
|
- Хранение данных по столбцам снижает скорость выполнения операций над строками (таких как добавление или изменение данных) пропорционально числу столбцов, а это число может быть огромным для систем, ориентированных на сбор разнообразных детальных данных о событиях. Поэтому большинство OLTP систем используют строковые СУБД.
|
||||||
19
docs/ru/faq/general/who-is-using-clickhouse.md
Normal file
19
docs/ru/faq/general/who-is-using-clickhouse.md
Normal file
@ -0,0 +1,19 @@
|
|||||||
|
---
|
||||||
|
title: Кто пользуется ClickHouse?
|
||||||
|
toc_hidden: true
|
||||||
|
toc_priority: 9
|
||||||
|
---
|
||||||
|
|
||||||
|
# Кто пользуется ClickHouse? {#who-is-using-clickhouse}
|
||||||
|
|
||||||
|
Так как CH является продуктом с открытым исходным кодом, на этот вопрос не так просто ответить. Вы не должны сообщать кому-либо о том, что вы начали пользоваться ClickHouse, достаточно взять исходный код или предкомпилированный установочный пакет. Не нужно подписывать контракт, а [лицензия Apache 2.0](https://github.com/ClickHouse/ClickHouse/blob/master/LICENSE) позволяет распространять ПО без ограничений.
|
||||||
|
|
||||||
|
Кроме того, стек используемых технологий часто не раскрывается из-за NDA. Некоторые компании рассматривают технологии, которыми пользуются, как своё конкурентное преимущество, даже если это продукты с открытым исходным кодом. Такие компании не позволяют сотрудникам рассказывать о том, с каким ПО они работают, или требуют согласовывать это с PR-отделом.
|
||||||
|
|
||||||
|
Итак, как же узнать, кто пользуется ClickHouse?
|
||||||
|
|
||||||
|
Один из способов — **поспрашивать в своем окружении**. В разговорах люди более охотно делятся тем, какие технологии внедрены в их компаниях, какие задачи решаются с их помощью, могут назвать характеристики аппаратного обеспечения, объемы данных и т.д. Мы регулярно разговариваем с пользователями во время [митапов ClickHouse](https://www.youtube.com/channel/UChtmrD-dsdpspr42P_PyRAw/playlists) по всему миру и слышали о более чем 1000 компаний, которые пользуются ClickHouse. К сожалению, мы не можем раскрывать подробности, потому что по умолчанию считаем такие истории защищенными NDA, чтобы избежать любых возможных проблем. Вы можете прийти на любой из наших будущих митапов и самостоятельно поговорить с другими пользователями. Мы анонсируем события по разным каналам, например, вы можете подписаться на [наш Twitter](http://twitter.com/ClickHouseDB/).
|
||||||
|
|
||||||
|
Второй способ узнать — посмотреть, что компании **говорят публично** о том, как именно они пользуются ClickHouse. Это более существенная информация, потому что ее можно найти в публикациях в блогах, видеозаписях разговоров, презентациях и т.д. Мы собираем ссылки на такие материалы на своей странице **[Пользователи ClickHouse](../../introduction/adopters.md)**. Будем рады, если вы поделитесь историей вашей компании или ссылками по теме (но всегда помните о том, что не стоит нарушать NDA).
|
||||||
|
|
||||||
|
В числе пользователей есть множество очень крупных компаний, знакомых вам, таких как Bloomberg, Cisco, China Telecom, Tencent или Uber, но на самом деле это далеко не полный перечень. К примеру, если вы возьмете [список Forbes крупнейших ИТ-компаний в 2020](https://www.forbes.com/sites/hanktucker/2020/05/13/worlds-largest-technology-companies-2020-apple-stays-on-top-zoom-and-uber-debut/), то увидите, что более половины из этих компаний так или иначе пользуются ClickHouse. Также необходимо упомянуть Яндекс — компанию, которая открыла исходный код ClickHouse в 2016 году и является одной из самых крупных ИТ-компаний в Европе.
|
||||||
63
docs/ru/faq/general/why-clickhouse-is-so-fast.md
Normal file
63
docs/ru/faq/general/why-clickhouse-is-so-fast.md
Normal file
@ -0,0 +1,63 @@
|
|||||||
|
---
|
||||||
|
title: Почему ClickHouse так быстро работает?
|
||||||
|
toc_hidden: true
|
||||||
|
toc_priority: 8
|
||||||
|
---
|
||||||
|
|
||||||
|
# Почему ClickHouse так быстро работает? {#why-clickhouse-is-so-fast}
|
||||||
|
|
||||||
|
Производительность изначально заложена в архитектуре ClickHouse. Высокая скорость выполнения запросов была и остается самым важным критерием, который учитывается при разработке. Но мы обращаем внимание и на другие характеристики, такие как удобство использования, масштабируемость, безопасность. Всё это делает ClickHouse настоящей промышленной разработкой.
|
||||||
|
|
||||||
|
Сначала ClickHouse создавался как прототип, который должен был отлично справляться с одной единственной задачей — отбирать и агрегировать данные с максимальной скоростью. Это необходимо, чтобы создать обычный аналитический отчет, и именно это делает стандартный запрос [GROUP BY](../../sql-reference/statements/select/group-by.md). Для решения такой задачи команда разработки ClickHouse приняла несколько архитектурных решений:
|
||||||
|
|
||||||
|
Столбцовое хранение данных
|
||||||
|
: Исходные данные часто содержат сотни или даже тысячи столбцов, в то время как для конкретного отчета нужны только несколько из них. Система не должна читать ненужные столбцы, поскольку операции чтения данных с диска — самые дорогостоящие.
|
||||||
|
|
||||||
|
Индексы
|
||||||
|
: ClickHouse хранит структуры данных в оперативной памяти, что позволяет считывать не только нужные столбцы, но и нужные диапазоны строк для этих столбцов.
|
||||||
|
|
||||||
|
Сжатие данных
|
||||||
|
: Различные способы хранения смежных значений в столбце позволяют достигать более высокой степени сжатия данных (по сравнению с обычными строковыми СУБД), т.к. в смежных строках значения часто бывают одинаковыми или близкими. В дополнение к универсальному сжатию ClickHouse поддерживает [специализированные кодеки](../../sql-reference/statements/create/table.md#create-query-specialized-codecs), которые позволяют еще больше уменьшить объемы хранимых данных.
|
||||||
|
|
||||||
|
Векторные запросы
|
||||||
|
: ClickHouse не только хранит, но и обрабатывает данные в столбцах. Это приводит к лучшей утилизации кеша процессора и позволяет использовать инструкции [SIMD](https://en.wikipedia.org/wiki/SIMD).
|
||||||
|
|
||||||
|
Масштабируемость
|
||||||
|
: ClickHouse может задействовать все доступные мощности процессоров и объемы дисков, чтобы выполнить даже одиночный запрос. Не только на отдельном сервере, но и в целом кластере.
|
||||||
|
|
||||||
|
Похожие техники используют и многие другие СУБД. **Внимание к мельчайшим деталям** — вот что на самом деле выделяет ClickHouse. Большинство языков программирования поддерживают большинство распространенных алгоритмов и структур данных, но как правило, они бывают слишком универсальными, чтобы быть по-настоящему эффективными. Мы рассматриваем каждую задачу как тонкий инструмент со множеством настроек, вместо того чтобы просто взять какую-то случайную реализацию. Например, если вам нужна хеш-таблица, вот несколько ключевых вопросов, которые нужно продумать:
|
||||||
|
|
||||||
|
- Какую хеш-функцию выбрать?
|
||||||
|
- Каким способом разрешать коллизии: [открытая адресация](https://en.wikipedia.org/wiki/Open_addressing) или [метод цепочек](https://en.wikipedia.org/wiki/Hash_table#Separate_chaining)?
|
||||||
|
- Как хранить данные в памяти: ключи и значения в одном массиве или в отдельных? Будут ли там храниться маленькие или большие значения?
|
||||||
|
- Фактор заполнения: когда и как менять размер таблицы? Как перемещать значения при изменении размера?
|
||||||
|
- Будут ли значения удаляться и если да, то какой алгоритм сработает лучше?
|
||||||
|
- Понадобится ли быстрое зондирование с использованием битовых масок, встроенное хранение строковых ключей, поддержка неперемещаемых значений, предварительная выборка и пакетная обработка?
|
||||||
|
|
||||||
|
Хеш-таблица — ключевая структура данных для реализации `GROUP BY`, и ClickHouse автоматически выбирает одну из [более 30 вариаций](https://github.com/ClickHouse/ClickHouse/blob/master/src/Interpreters/Aggregator.h) для каждого специфического запроса.
|
||||||
|
|
||||||
|
Для алгоритмов сортировки, например, следует продумать следующие вопросы:
|
||||||
|
|
||||||
|
- Что будет сортироваться: массив чисел, кортежей, строк или структур?
|
||||||
|
- Доступны ли все данные в оперативной памяти?
|
||||||
|
- Нужна ли стабильная сортировка?
|
||||||
|
- Нужна ли полная сортировка? Может быть, будет достаточно частичной или выборочной сортировки?
|
||||||
|
- Как сравнивать данные?
|
||||||
|
- Не являются ли данные частично отсортированными?
|
||||||
|
|
||||||
|
Алгоритмы, основанные на характеристиках рабочих данных, обычно дают лучшие результаты, чем их более универсальные аналоги. Если заранее неизвестно, с какими данными придется работать, ClickHouse будет в процессе выполнения пробовать различные реализации и в итоге выберет оптимальный вариант. Например, рекомендуем прочитать [статью о том, как в ClickHouse реализуется распаковка LZ4](https://habr.com/en/company/yandex/blog/457612/).
|
||||||
|
|
||||||
|
Ну и последнее, но тем не менее важное условие: команда ClickHouse постоянно отслеживает в интернете сообщения пользователей о найденных ими удачных реализациях, алгоритмах или структурах данных, анализирует и пробует новые идеи. Иногда в этом потоке сообщений попадаются действительно ценные предложения.
|
||||||
|
|
||||||
|
!!! info "Советы о том, как создать собственную высокопроизводительную систему"
|
||||||
|
|
||||||
|
|
||||||
|
- При проектировании системы обращайте внимание на мельчайшие детали реализации.
|
||||||
|
- Учитывайте возможности аппаратного обеспечения.
|
||||||
|
- Выбирайте структуры и представления данных исходя из требований конкретной задачи.
|
||||||
|
- Для особых случаев разрабатывайте специализированные решения.
|
||||||
|
- Пробуйте новые алгоритмы, о которых вы вчера прочитали в интернете. Ищите возможности для совершенствования.
|
||||||
|
- Выбирайте алгоритмы динамически, в процессе выполнения, на основе статистики.
|
||||||
|
- Ориентируйтесь на показатели, собранные при работе с реальными данными.
|
||||||
|
- Проверяйте производительность в процессе CI.
|
||||||
|
- Измеряйте и анализируйте всё, что только возможно.
|
||||||
@ -4,14 +4,42 @@ toc_hidden: true
|
|||||||
toc_priority: 76
|
toc_priority: 76
|
||||||
---
|
---
|
||||||
|
|
||||||
# Содержание F.A.Q. {#soderzhanie}
|
# ClickHouse F.A.Q. {#clickhouse-f-a-q}
|
||||||
|
|
||||||
В этом разделе документации собрали вопросы о ClickHouse, которые задают чаще всего.
|
В этом разделе документации собраны ответы на вопросы о ClickHouse, которые задают чаще всего.
|
||||||
|
|
||||||
Категории:
|
Категории:
|
||||||
|
|
||||||
- **[Общие вопросы](../faq/general/index.md)**
|
- **[Общие вопросы](general/index.md)**
|
||||||
- **[Применение](../faq/use-cases/index.md)**
|
- [Что такое ClickHouse?](../index.md#what-is-clickhouse)
|
||||||
- **[Операции](../faq/operations/index.md)**
|
- [Почему ClickHouse такой быстрый?](general/why-clickhouse-is-so-fast.md)
|
||||||
- **[Интеграция](../faq/integration/index.md)**
|
- [Кто пользуется ClickHouse?](general/who-is-using-clickhouse.md)
|
||||||
|
- [Что обозначает название ClickHouse?](general/dbms-naming.md)
|
||||||
|
- [Как фраза “Не тормозит” осталась на всех футболках?](general/ne-tormozit.md)
|
||||||
|
- [Что такое OLAP?](general/olap.md)
|
||||||
|
- [Что такое столбцовая база данных?](general/columnar-database.md)
|
||||||
|
- [Почему бы не использовать системы типа MapReduce?](general/mapreduce.md)
|
||||||
|
- **[Применение](use-cases/index.md)**
|
||||||
|
- [Можно ли использовать ClickHouse как БД временных рядов?](use-cases/time-series.md)
|
||||||
|
- [Можно ли использовать ClickHouse для хранения данных вида "ключ-значение"?](use-cases/key-value.md)
|
||||||
|
- **[Операции](operations/index.md)**
|
||||||
|
- [Какую версию ClickHouse использовать?](operations/production.md)
|
||||||
|
- [Возможно ли удалить старые записи из таблицы ClickHouse?](operations/delete-old-data.md)
|
||||||
|
- **[Интеграция](integration/index.md)**
|
||||||
|
- [Как экспортировать данные из ClickHouse в файл?](integration/file-export.md)
|
||||||
|
- [Как импортировать JSON в ClickHouse?](integration/json-import.md)
|
||||||
|
- [Что делать, если у меня проблема с кодировками при использовании Oracle через ODBC?](integration/oracle-odbc.md)
|
||||||
|
|
||||||
|
{## TODO
|
||||||
|
Question candidates:
|
||||||
|
- How to choose a primary key?
|
||||||
|
- How to add a column in ClickHouse?
|
||||||
|
- Too many parts
|
||||||
|
- How to filter ClickHouse table by an array column contents?
|
||||||
|
- How to insert all rows from one table to another of identical structure?
|
||||||
|
- How to kill a process (query) in ClickHouse?
|
||||||
|
- How to implement pivot (like in pandas)?
|
||||||
|
- How to remove the default ClickHouse user through users.d?
|
||||||
|
- Importing MySQL dump to Clickhouse
|
||||||
|
- Window function workarounds (row\_number, lag/lead, running diff/sum/average)
|
||||||
|
##}
|
||||||
|
|||||||
@ -1,27 +1,27 @@
|
|||||||
---
|
---
|
||||||
title: How do I export data from ClickHouse to a file?
|
title: Как экспортировать данные из ClickHouse в файл?
|
||||||
toc_hidden: true
|
toc_hidden: true
|
||||||
toc_priority: 10
|
toc_priority: 10
|
||||||
---
|
---
|
||||||
|
|
||||||
## Как экспортировать данные из ClickHouse в файл? {#how-to-export-to-file-rus}
|
# Как экспортировать данные из ClickHouse в файл? {#how-to-export-to-file-rus}
|
||||||
|
|
||||||
### Секция INTO OUTFILE {#sektsiia-into-outfile-rus}
|
## Секция INTO OUTFILE {#using-into-outfile-clause}
|
||||||
|
|
||||||
Добавьте секцию [INTO OUTFILE](../../sql-reference/statements/select/into-outfile.md#into-outfile-clause) к своему запросу.
|
Добавьте к своему запросу секцию [INTO OUTFILE](../../sql-reference/statements/select/into-outfile.md#into-outfile-clause).
|
||||||
|
|
||||||
Например:
|
Например:
|
||||||
|
|
||||||
``` sql
|
``` sql
|
||||||
SELECT * FROM table INTO OUTFILE 'file'
|
SELECT * FROM table INTO OUTFILE 'file';
|
||||||
```
|
```
|
||||||
|
|
||||||
По умолчанию, для выдачи данных ClickHouse использует формат [TabSeparated](../../interfaces/formats.md#tabseparated). Чтобы выбрать [формат данных](../../interfaces/formats.md), используйте секцию [FORMAT](../../sql-reference/statements/select/format.md#format-clause).
|
По умолчанию при выдаче данных ClickHouse использует формат [TabSeparated](../../interfaces/formats.md#tabseparated). Чтобы выбрать другой [формат данных](../../interfaces/formats.md), используйте секцию [FORMAT](../../sql-reference/statements/select/format.md#format-clause).
|
||||||
|
|
||||||
Например:
|
Например:
|
||||||
|
|
||||||
``` sql
|
``` sql
|
||||||
SELECT * FROM table INTO OUTFILE 'file' FORMAT CSV
|
SELECT * FROM table INTO OUTFILE 'file' FORMAT CSV;
|
||||||
```
|
```
|
||||||
|
|
||||||
## Таблица с движком File {#using-a-file-engine-table}
|
## Таблица с движком File {#using-a-file-engine-table}
|
||||||
|
|||||||
@ -1,19 +1,19 @@
|
|||||||
---
|
---
|
||||||
title: Questions about integrating ClickHouse and other systems
|
title: Интеграция ClickHouse с другими системами
|
||||||
toc_hidden_folder: true
|
toc_hidden_folder: true
|
||||||
toc_priority: 4
|
toc_priority: 4
|
||||||
toc_title: Интеграция
|
toc_title: Интеграция
|
||||||
---
|
---
|
||||||
|
|
||||||
# Вопросы об интеграции ClickHouse с другими системами {#question-about-integrating-clickhouse-and-other-systems-rus}
|
# Интеграция ClickHouse с другими системами {#question-about-integrating-clickhouse-and-other-systems-rus}
|
||||||
|
|
||||||
Вопросы:
|
Вопросы:
|
||||||
|
|
||||||
- [Как экспортировать данные из ClickHouse в файл?](file-export.md)
|
- [Как экспортировать данные из ClickHouse в файл?](file-export.md)
|
||||||
- Как импортировать JSON в ClickHouse?
|
- [Как импортировать JSON в ClickHouse?](json-import.md)
|
||||||
- [Что делать, если у меня проблема с кодировками при использовании Oracle через ODBC?](oracle-odbc.md)
|
- [Что делать, если у меня проблема с кодировками при использовании Oracle через ODBC?](oracle-odbc.md)
|
||||||
|
|
||||||
!!! info "Если вы не нашли то, что искали"
|
!!! info "Если вы не нашли то, что искали"
|
||||||
Загляните в другие подразделы F.A.Q. или поищите в остальных разделах документации, ориентируйтесь по оглавлению слева.
|
Загляните в другие подразделы F.A.Q. или поищите в остальных разделах документации, ориентируйтесь по оглавлению слева.
|
||||||
|
|
||||||
{## [Original article](https://clickhouse.tech/docs/ru/faq/integration/) ##}
|
[Original article](https://clickhouse.tech/docs/ru/faq/integration/)
|
||||||
|
|||||||
33
docs/ru/faq/integration/json-import.md
Normal file
33
docs/ru/faq/integration/json-import.md
Normal file
@ -0,0 +1,33 @@
|
|||||||
|
---
|
||||||
|
title: Как импортировать JSON в ClickHouse?
|
||||||
|
toc_hidden: true
|
||||||
|
toc_priority: 11
|
||||||
|
---
|
||||||
|
|
||||||
|
# Как импортировать JSON в ClickHouse? {#how-to-import-json-into-clickhouse}
|
||||||
|
|
||||||
|
ClickHouse поддерживает широкий спектр [входных и выходных форматов данных](../../interfaces/formats.md). Среди них есть множество вариаций JSON, но чаще всего для импорта данных используют [JSONEachRow](../../interfaces/formats.md#jsoneachrow): один JSON-объект в строке, каждый объект с новой строки.
|
||||||
|
|
||||||
|
## Примеры {#examples}
|
||||||
|
|
||||||
|
С помощью [HTTP-интерфейса](../../interfaces/http.md):
|
||||||
|
|
||||||
|
``` bash
|
||||||
|
$ echo '{"foo":"bar"}' | curl 'http://localhost:8123/?query=INSERT%20INTO%20test%20FORMAT%20JSONEachRow' --data-binary @-
|
||||||
|
```
|
||||||
|
|
||||||
|
При помощи [интефейса CLI](../../interfaces/cli.md):
|
||||||
|
|
||||||
|
``` bash
|
||||||
|
$ echo '{"foo":"bar"}' | clickhouse-client ---query="INSERT INTO test FORMAT JSONEachRow"
|
||||||
|
```
|
||||||
|
|
||||||
|
Чтобы не вставлять данные вручную, используйте одну из [готовых библиотек](../../interfaces/index.md).
|
||||||
|
|
||||||
|
## Полезные настройки {#useful-settings}
|
||||||
|
|
||||||
|
- `input_format_skip_unknown_fields` позволяет импортировать JSON, даже если он содержит дополнительные поля, которых нет в таблице (отбрасывая лишние поля).
|
||||||
|
- `input_format_import_nested_json` позволяет импортировать вложенные JSON-объекты в столбцы типа [Nested](../../sql-reference/data-types/nested-data-structures/nested.md).
|
||||||
|
|
||||||
|
!!! note "Примечание"
|
||||||
|
В HTTP-интерфейсе настройки передаются через параметры `GET` запроса, в `CLI` interface — как дополнительные аргументы командной строки, начинающиеся с `--`.
|
||||||
@ -1,10 +1,10 @@
|
|||||||
---
|
---
|
||||||
title: What if I have a problem with encodings when using Oracle via ODBC?
|
title: Что делать, если у меня проблема с кодировками при использовании Oracle через ODBC?
|
||||||
toc_hidden: true
|
toc_hidden: true
|
||||||
toc_priority: 20
|
toc_priority: 20
|
||||||
---
|
---
|
||||||
|
|
||||||
## Что делать, если у меня проблема с кодировками при использовании Oracle через ODBC? {#oracle-odbc-encodings-rus}
|
# Что делать, если у меня проблема с кодировками при использовании Oracle через ODBC? {#oracle-odbc-encodings}
|
||||||
|
|
||||||
Если вы используете Oracle через драйвер ODBC в качестве источника внешних словарей, необходимо задать правильное значение для переменной окружения `NLS_LANG` в `/etc/default/clickhouse`. Подробнее читайте в [Oracle NLS_LANG FAQ](https://www.oracle.com/technetwork/products/globalization/nls-lang-099431.html).
|
Если вы используете Oracle через драйвер ODBC в качестве источника внешних словарей, необходимо задать правильное значение для переменной окружения `NLS_LANG` в `/etc/default/clickhouse`. Подробнее читайте в [Oracle NLS_LANG FAQ](https://www.oracle.com/technetwork/products/globalization/nls-lang-099431.html).
|
||||||
|
|
||||||
|
|||||||
42
docs/ru/faq/operations/delete-old-data.md
Normal file
42
docs/ru/faq/operations/delete-old-data.md
Normal file
@ -0,0 +1,42 @@
|
|||||||
|
---
|
||||||
|
title: Возможно ли удалить старые записи из таблицы ClickHouse?
|
||||||
|
toc_hidden: true
|
||||||
|
toc_priority: 20
|
||||||
|
---
|
||||||
|
|
||||||
|
# Возможно ли удалить старые записи из таблицы ClickHouse? {#is-it-possible-to-delete-old-records-from-a-clickhouse-table}
|
||||||
|
|
||||||
|
Если отвечать коротко, то да. В ClickHouse есть множество механизмов, которые позволяют освобождать место на диске, удаляя старые данные. Каждый механизм подходит для разных сценариев.
|
||||||
|
|
||||||
|
## TTL {#ttl}
|
||||||
|
|
||||||
|
ClickHouse позволяет автоматически удалять данные при выполнении некоторых условий. Эти условия задаются как выражение, вычисляемое на основе значений любых столбцов, обычно это просто разница между текущим моментом времени и значением какого-то столбца, содержащего дату и время.
|
||||||
|
|
||||||
|
Ключевое преимущество такого подхода в том, что не нужно использовать внешнюю систему, чтобы запустить процесс — когда заданы условия TTL, удаление данных выполняется автоматически в фоновом режиме.
|
||||||
|
|
||||||
|
!!! note "Note"
|
||||||
|
TTL можно использовать не только для перемещения в [/dev/null](https://en.wikipedia.org/wiki/Null_device), но еще и между дисками, например, с SSD на HDD.
|
||||||
|
|
||||||
|
[Подробнее о конфигурировании TTL](../../engines/table-engines/mergetree-family/mergetree.md#table_engine-mergetree-ttl).
|
||||||
|
|
||||||
|
## ALTER DELETE {#alter-delete}
|
||||||
|
|
||||||
|
ClickHouse не удаляет данные в реальном времени, как СУБД [OLTP](https://en.wikipedia.org/wiki/Online_transaction_processing). Больше всего на такое удаление похожи мутации. Они выполняются с помощью запросов `ALTER ... DELETE` или `ALTER ... UPDATE`. В отличие от обычных запросов `DELETE` и `UPDATE`, мутации выполняются асинхронно, в пакетном режиме, не в реальном времени. В остальном после слов `ALTER TABLE` синтаксис обычных запросов и мутаций одинаковый.
|
||||||
|
|
||||||
|
`ALTER DELETE` можно использовать для гибкого удаления устаревших данных. Если вам нужно делать это регулярно, единственный недостаток такого подхода будет заключаться в том, что потребуется внешняя система для запуска запроса. Кроме того, могут возникнуть некоторые проблемы с производительностью, поскольку мутации перезаписывают целые куски данных если в них содержится хотя бы одна строка, которую нужно удалить.
|
||||||
|
|
||||||
|
Это самый распространенный подход к тому, чтобы обеспечить соблюдение принципов [GDPR](https://gdpr-info.eu) в вашей системе на ClickHouse.
|
||||||
|
|
||||||
|
Подробнее смотрите в разделе [Мутации](../../sql-reference/statements/alter/index.md#alter-mutations).
|
||||||
|
|
||||||
|
## DROP PARTITION {#drop-partition}
|
||||||
|
|
||||||
|
Запрос `ALTER TABLE ... DROP PARTITION` позволяет эффективно удалять целые партиции. Этот способ не такой гибкий, важно правильно сконфигурировать партиции при создании таблицы, но он подходит для достаточно широкого спектра типовых задач. Как и для мутаций, для регулярного запуска таких запросов нужна внешняя система.
|
||||||
|
|
||||||
|
Подробнее смотрите в разделе [Манипулирование с партициями и кусками](../../sql-reference/statements/alter/partition.md#alter_drop-partition).
|
||||||
|
|
||||||
|
## TRUNCATE {#truncate}
|
||||||
|
|
||||||
|
Это достаточно радикальный способ, он удаляет все данные в таблице, но хорошо подходит для отдельных случаевх.
|
||||||
|
|
||||||
|
Подробнее смотрите в разделе об [удалении партиций](../../sql-reference/statements/alter/partition.md#alter_drop-partition).
|
||||||
@ -1,18 +1,18 @@
|
|||||||
---
|
---
|
||||||
title: Question about operating ClickHouse servers and clusters
|
title: Вопросы о производительности серверов и кластеров ClickHouse
|
||||||
toc_hidden_folder: true
|
toc_hidden_folder: true
|
||||||
toc_priority: 3
|
toc_priority: 3
|
||||||
toc_title: Операции
|
toc_title: Операции
|
||||||
---
|
---
|
||||||
|
|
||||||
# Вопросы о производительности серверов и кластеров ClickHouse {#voprosy-ob-operating-clickhouse-servers-and-clusters}
|
# Вопросы о производительности серверов и кластеров ClickHouse {#question-about-operating-clickhouse-servers-and-clusters}
|
||||||
|
|
||||||
Вопросы:
|
Вопросы:
|
||||||
|
|
||||||
- Which ClickHouse version to use in production?
|
- [Какую версию ClickHouse использовать?](production.md)
|
||||||
- Is it possible to delete old records from a ClickHouse table?
|
- [Возможно ли удалить старые записи из таблицы ClickHouse?](delete-old-data.md)
|
||||||
|
|
||||||
!!! info "Don’t see what you were looking for?"
|
!!! info "Если вы не нашли то, что искали"
|
||||||
Check out [other F.A.Q. categories](../../faq/index.md) or browse around main documentation articles found in the left sidebar.
|
Загляните в другие подразделы F.A.Q. или поищите в остальных разделах документации, ориентируйтесь по оглавлению слева.
|
||||||
|
|
||||||
{## [Original article](https://clickhouse.tech/docs/en/faq/production/) ##}
|
[Original article](https://clickhouse.tech/docs/en/faq/operations/)
|
||||||
|
|||||||
70
docs/ru/faq/operations/production.md
Normal file
70
docs/ru/faq/operations/production.md
Normal file
@ -0,0 +1,70 @@
|
|||||||
|
---
|
||||||
|
title: Какую версию ClickHouse использовать?
|
||||||
|
toc_hidden: true
|
||||||
|
toc_priority: 10
|
||||||
|
---
|
||||||
|
|
||||||
|
# Какую версию ClickHouse использовать? {#which-clickhouse-version-to-use-in-production}
|
||||||
|
|
||||||
|
Во-первых, давайте обсудим, почему возникает этот вопрос. Есть две основные причины:
|
||||||
|
|
||||||
|
1. ClickHouse развивается достаточно быстро, и обычно мы выпускаем более 10 стабильных релизов в год. Так что есть из чего выбрать, а это не всегда просто.
|
||||||
|
2. Некоторые пользователи не хотят тратить время на анализ того, какая версия лучше подходит для их задач, и просто хотят получить совет от эксперта.
|
||||||
|
|
||||||
|
Вторая причина более весомая, так что начнем с нее, а затем рассмотрим, какие бывают релизы ClickHouse.
|
||||||
|
|
||||||
|
## Какую версию ClickHouse вы посоветуете? {#which-clickhouse-version-do-you-recommend}
|
||||||
|
|
||||||
|
Казалось бы, самый удобный вариант — нанять консультанта или довериться эксперту, и делегировать ему ответственность за вашу систему. Вы устанавливаете ту версию ClickHouse, которую вам рекомендовали, и теперь если что-то пойдет не так — это уже не ваша вина. На самом деле это не так. Никто не может знать лучше вас, что происходит в вашей системе.
|
||||||
|
|
||||||
|
Как же правильно выбрать версию ClickHouse, на которую стоит обновиться? Или как выбрать версию, с которой следует начать, если вы только внедряете ClickHouse? Во-первых, мы рекомендуем позаботиться о создании **реалистичной тестовой среды** (pre-production). В идеальном мире это была бы полная копия рабочей среды, но чаще всего такое решение оказывается слишком дорогостоящим.
|
||||||
|
|
||||||
|
Чтобы тестовая среда была достаточно надежной, но не слишком дорогостоящей, учитывайте следующие моменты:
|
||||||
|
|
||||||
|
- В тестовой среде нужно выполнять набор запросов, максимально близкий к тому, который будет выполняться в реальной среде:
|
||||||
|
- Не используйте тестовую среду в режиме "только для чтения", работая с каким-то статичным набором данных.
|
||||||
|
- Не используйте её в режиме "только для записи", проверяя лишь копирование данных, без построения типовых отчетов.
|
||||||
|
- Не очищайте её, удаляя все данные подчистую вместо тестирования рабочих схем миграции.
|
||||||
|
- Выполняйте реальные запросы на выборке из реальных рабочих данных. Постарайтесь подготовить репрезентативную выборку, на которой запрос `SELECT` будет возвращать адекватные результаты. Если регламенты безопасности не позволяют использовать реальные данные за пределами защищенной рабочей среды, используйте обфускацию.
|
||||||
|
- Убедитесь, что тестовая среда находится под контролем тех же систем мониторинга и оповещения, что и рабочая.
|
||||||
|
- Если ваша рабочая среда распределена между разными дата-центрами и регионами, тестовая среда должна быть такой же.
|
||||||
|
- Если в рабочей среде используются сложные инструменты типа репликации, распределённых таблиц или каскадных материализованных представлений, тестовая среда должна быть сконфигурирована так же.
|
||||||
|
- Обычно в тестовой среде стараются использовать то же количество серверов и виртуальных машин, что и в рабочей, но делают их меньшего объема. Либо наоборот, используют существенно меньшее число серверов и ВМ, но тех же объемов. Первый вариант скорее позволит обнаружить проблемы, связанные с работой сети, а второй вариант более прост в управлении.
|
||||||
|
|
||||||
|
Второе направление — **автоматизированное тестирование**. Не думайте, что если какой-то запрос отработал успешно один раз, так будет всегда. Считается приемлемым выполнять некоторые юнит-тесты, используя "заглушки" вместо запросов к СУБД. Но вы должны проводить достаточное количество автотестов, где запросы выполняются в реальном ClickHouse, чтобы убедиться, что все важные задачи отрабатывают должным образом.
|
||||||
|
|
||||||
|
В продолжение этой темы, вы можете поделиться вашими автотестами и передать их [в открытую тестовую среду ClickHouse](https://github.com/ClickHouse/ClickHouse/tree/master/tests), которая используется для постоянного развития нашей СУБД. Вам придётся потратить немного времени и сил, чтобы научиться [составлять и выполнять тесты](../../development/tests.md), а также чтобы перенести ваши тесты на эту платформу. Наградой за это станет уверенность в том, что новые стабильные релизы ClickHouse будут корректно работать на ваших задачах. Это гораздо лучше, чем тратить время на то, чтобы вновь отлавливать прежние ошибки в новых версиях, а затем ждать, пока их исправят и включат эти исправления в очередной релиз. Некоторые компании уже включили в корпоративные регламенты необходимость передачи своих тестов в ClickHouse, прежде всего стоит упомянуть [правило Beyonce](https://www.oreilly.com/library/view/software-engineering-at/9781492082781/ch01.html#policies_that_scale_well), действующее в Google.
|
||||||
|
|
||||||
|
После того, как вы подготовили тестовую среду и инфраструктуру, выбор версии ClickHouse упрощается:
|
||||||
|
|
||||||
|
1. Проверяйте новые релизы ClickHouse с помощью подготовленных автотестов. Вы можете проверять не только стабильные релизы, но и тестовые, хотя работать с такими релизами не рекомендуется.
|
||||||
|
2. Если новый релиз ClickHouse успешно прошел ваши автотесты, внедряйте его в тестовой среде и проверяйте работоспособность всех ваших задач.
|
||||||
|
3. Сообщайте обо всех обнаруженных проблемах в [ClickHouse GitHub Issues](https://github.com/ClickHouse/ClickHouse/issues).
|
||||||
|
4. Если никаких серьезных проблем не было выявлено, можно установить новый релиз ClickHouse в рабочую среду. Чтобы еще больше снизить риски, вы можете внедрить специальные техники поэтапного перехода на новые релизы, такие как [canary releases](https://martinfowler.com/bliki/CanaryRelease.html) или [green-blue deployments](https://martinfowler.com/bliki/BlueGreenDeployment.html).
|
||||||
|
|
||||||
|
Как вы уже поняли, ClickHouse не требует какого-то особенного подхода — описанные выше правила широко используются для любых элементов инфраструктуры, если нужно обеспечить ее надежность и если компании серьезно подходят к вопросам стабильности своих систем.
|
||||||
|
|
||||||
|
## Какой вид релиза ClickHouse выбрать? {#how-to-choose-between-clickhouse-releases}
|
||||||
|
|
||||||
|
Если вы заглянете в раздел, где публикуются установочные пакеты ClickHouse, вы увидите там следующие виды пакетов:
|
||||||
|
|
||||||
|
1. `testing`
|
||||||
|
2. `prestable`
|
||||||
|
3. `stable`
|
||||||
|
4. `lts` (long-term support)
|
||||||
|
|
||||||
|
Как уже упоминалось выше, тестовые релизы (`testing`) стоит использовать для раннего обнаружения ошибок, в рабочей среде мы не рекомендуем использовать такие релизы, поскольку они еще не протестированы так же тщательно, как остальные.
|
||||||
|
|
||||||
|
Подготовительные (`prestable`) — это релизы-кандидаты, которые с большой вероятностью скоро будут доведены до стабильного состояния. Вы можете использовать их в тестовой среде и сообщать нам об обнаруженных ошибках.
|
||||||
|
|
||||||
|
В рабочей среде мы рекомендуем использвать либо стабильный релиз (`stable`), либо релиз с долговременной поддержкой (`lts`). Если вы выбираете между этими двуми видами релизов, примите во внимание следующее:
|
||||||
|
|
||||||
|
- По умолчанию мы рекомендуем релизы `stable`. Новый стабильный релиз выпускается примерно раз в месяц, что открывает доступ к новым функциям. Три последних стабильных релиза находятся на поддержке — это означает, что в них интегрируются исправленные ошибки и доработки.
|
||||||
|
- Релизы `lts` выпускаются дважды в год и находятся на поддержке в течение года с момента выхода. Они более предочтительны в следующих случаях:
|
||||||
|
- ваши корпоративные регламенты запрещают частые обновления или использование любых релизов, кроме LTS;
|
||||||
|
- вы используете ClickHouse в продуктах, которые не задействуют сложные инструменты ClickHouse, или у вас не хватает ресурсов для частого их обновления.
|
||||||
|
|
||||||
|
Часто компании, которые изначально ориентировались на релизы `lts`, позднее переходят на `stable`, поскольку хотят быстрее получать доступ к новым возможностям.
|
||||||
|
|
||||||
|
!!! warning "Важно"
|
||||||
|
Мы всегда стремимся поддерживать совместимость релизов, но иногда это правило нарушается, и какие-то отдельные возможности в новых релизах становятся недоступны. Перед обновлением ClickHouse обязательно изучите [журнал изменений](../../whats-new/changelog/index.md), чтобы убедиться, что в нем нет объявлений о нарушении обратной совместимости.
|
||||||
@ -1,14 +1,13 @@
|
|||||||
---
|
---
|
||||||
title: Questions about ClickHouse use cases
|
title: Вопросы о применении ClickHouse
|
||||||
toc_hidden_folder: true
|
toc_hidden_folder: true
|
||||||
toc_priority: 2
|
toc_priority: 2
|
||||||
toc_title: Применение
|
toc_title: Применение
|
||||||
---
|
---
|
||||||
|
|
||||||
# Вопросы о применении ClickHouse {#voprosy-o-primenenii}
|
# Вопросы о применении ClickHouse {#questions-about-clickhouse-use-cases}
|
||||||
|
|
||||||
Вопросы:
|
Вопросы:
|
||||||
|
|
||||||
- Can I use ClickHouse as a time-series database?
|
- [Можно ли использовать ClickHouse как БД временных рядов?](time-series.md)
|
||||||
- Can I use ClickHouse as a key-value storage?
|
- [Можно ли использовать ClickHouse для хранения данных вида "ключ-значение"?](key-value.md)
|
||||||
|
|
||||||
19
docs/ru/faq/use-cases/key-value.md
Normal file
19
docs/ru/faq/use-cases/key-value.md
Normal file
@ -0,0 +1,19 @@
|
|||||||
|
---
|
||||||
|
title: Можно ли использовать ClickHouse для хранения данных вида "ключ-значение"?
|
||||||
|
toc_hidden: true
|
||||||
|
toc_priority: 101
|
||||||
|
---
|
||||||
|
|
||||||
|
# Можно ли использовать ClickHouse для хранения данных вида "ключ-значение"? {#can-i-use-clickhouse-as-a-key-value-storage}
|
||||||
|
|
||||||
|
Если отвечать коротко, то **"нет"**. Операции над данными вида "ключ-значение" занимают одну из верхних позиций в списке ситуаций, когда категорически **не стоит**{.text-danger} использовать ClickHouse. Это [OLAP](../../faq/general/olap.md) СУБД, в то время как есть много специализированных СУБД для данных вида "ключ-значение".
|
||||||
|
|
||||||
|
Тем не менее, в некоторых ситуациях имеет смысл использовать ClickHouse для запросов над данными вида "ключ-значение". Чаще всего это относится к системам с относительно невысокой нагрузкой, в которых основной объем операций относится к аналитической обработке данных и отлично подходит для ClickHouse. Однако в них есть некий второстепенный процесс, в котором нужно обрабатывать данные вида "ключ-значение", при этом процесс не требует слишком высокой производительности и не имеет строгих ограничений по задержкам выполнения запросов. Если у вас нет ограничений по бюджету, вы можете использовать для таких операций вспомогательную базу данных "ключ-значение", но это увеличит расходы на обслуживание еще одной СУБД (мониторинг, бэкапы и т.д.).
|
||||||
|
|
||||||
|
Если вы все же решите не следовать рекомендациям и использовать ClickHouse для работы с данными вида "ключ-значение", вот несколько советов:
|
||||||
|
|
||||||
|
- Главная причина, по которой точечный запрос в ClickHouse становится ресурсозатратным — это разреженный индекс для первичного ключа в [таблице семейства MergeTree](../../engines/table-engines/mergetree-family/mergetree.md). Этот индекс не может обращаться напрямую к каждой строке данных, вместо этого он обращается к каждой N-ой строке, а затем сканирует соседние строки вплоть до указанной, обрабатывая по пути лишние данные. При обработке данных вида "ключ-значение" может быть полезно уменьшить значение N при помощи настройки `index_granularity`.
|
||||||
|
|
||||||
|
- ClickHouse хранит столбцы в отдельных файлах, поэтому чтобы собрать одну полную строку, ему приходится обрабатывать все эти файлы. Их количество растет линейно в зависимости от количества столбцов, поэтому при обработке данных вида "ключ-значение" стоит избегать использования множества столбцов и поместить все нужные данные в один столбец с типом `String` в формате JSON, Protobuf или другом подходящем формате.
|
||||||
|
|
||||||
|
- Подумайте об использовании табличного движка [Join](../../engines/table-engines/special/join.md) вместо обычных таблиц `MergeTree` и функции [joinGet](../../sql-reference/functions/other-functions.md#joinget) для получения данных. В этом случае производительность выполнения запросов может быть выше, но могут появиться проблемы с надежностью и удобством. Пример такого использования описан [здесь](https://github.com/ClickHouse/ClickHouse/blob/master/tests/queries/0_stateless/00800_versatile_storage_join.sql#L49-L51).
|
||||||
15
docs/ru/faq/use-cases/time-series.md
Normal file
15
docs/ru/faq/use-cases/time-series.md
Normal file
@ -0,0 +1,15 @@
|
|||||||
|
---
|
||||||
|
title: Можно ли использовать ClickHouse как базу данных временных рядов?
|
||||||
|
toc_hidden: true
|
||||||
|
toc_priority: 101
|
||||||
|
---
|
||||||
|
|
||||||
|
# Можно ли использовать ClickHouse как базу данных временных рядов? {#can-i-use-clickhouse-as-a-time-series-database}
|
||||||
|
|
||||||
|
ClickHouse — это универсальное решение для [OLAP](../../faq/general/olap.md) операций, в то время как существует много специализированных СУБД временных рядов. Однако [высокая скорость выполнения запросов](../../faq/general/why-clickhouse-is-so-fast.md) позволяет CLickHouse во многих случаях "побеждать" специализированные аналоги. В подтверждение этому есть много [примеров](https://medium.com/@AltinityDB/clickhouse-for-time-series-scalability-benchmarks-e181132a895b) с конкретными показателями производительности, так что мы не будем останавливаться на этом подробно. Лучше рассмотрим те возможности ClickHouse, которые стоит использовать.
|
||||||
|
|
||||||
|
Во-первых, есть **[специальные кодеки](../../sql-reference/statements/create/table.md#create-query-specialized-codecs)**, которые составляют типичные временные ряды. Это могут быть либо стандартные алгоритмы, такие как `DoubleDelta` или `Gorilla`, либо специфические для ClickHouse, например `T64`.
|
||||||
|
|
||||||
|
Во-вторых, запросы по временным рядам часто затрагивают только недавние данные, не старше одного дня или недели. Имеет смысл использовать серверы, где есть как быстрые диски nVME/SSD, так и более медленные, но ёмкие HDD диски. С помощью [TTL](../../engines/table-engines/mergetree-family/mergetree.md#table_engine-mergetree-multiple-volumes) можно сконфигурировать таблицы так, чтобы свежие данные хранились на быстрых дисках, а по мере устаревания перемещались на медленные диски. Для архивных данных можно также настроить сворачивание или даже удаление, если это необходимо.
|
||||||
|
|
||||||
|
Несмотря на то, что работа с "сырыми" данными противоречит философии ClickHouse, если нужно соответствовать очень жестким требованиям по скорости обработки данных, вы можете использовать [материализованные представления](../../sql-reference/statements/create/view.md).
|
||||||
@ -3,7 +3,7 @@ toc_priority: 0
|
|||||||
toc_title: "\u041E\u0431\u0437\u043E\u0440"
|
toc_title: "\u041E\u0431\u0437\u043E\u0440"
|
||||||
---
|
---
|
||||||
|
|
||||||
# Что такое ClickHouse {#chto-takoe-clickhouse}
|
# Что такое ClickHouse {#what-is-clickhouse}
|
||||||
|
|
||||||
ClickHouse - столбцовая система управления базами данных (СУБД) для онлайн обработки аналитических запросов (OLAP).
|
ClickHouse - столбцовая система управления базами данных (СУБД) для онлайн обработки аналитических запросов (OLAP).
|
||||||
|
|
||||||
|
|||||||
@ -1 +0,0 @@
|
|||||||
roadmap.md
|
|
||||||
10
docs/ru/whats-new/extended-roadmap.md
Normal file
10
docs/ru/whats-new/extended-roadmap.md
Normal file
@ -0,0 +1,10 @@
|
|||||||
|
---
|
||||||
|
toc_priority: 74
|
||||||
|
toc_title: Roadmap
|
||||||
|
---
|
||||||
|
|
||||||
|
# Планы развития {#roadmap}
|
||||||
|
|
||||||
|
Планы развития на 2021 год опубликованы для обсуждения [здесь](https://github.com/ClickHouse/ClickHouse/issues/17623).
|
||||||
|
|
||||||
|
[Оригинальная статья](https://clickhouse.tech/docs/ru/roadmap/) <!--hide-->
|
||||||
@ -3,4 +3,6 @@ toc_folder_title: "\u0427\u0442\u043E \u043D\u043E\u0432\u043E\u0433\u043E?"
|
|||||||
toc_priority: 82
|
toc_priority: 82
|
||||||
---
|
---
|
||||||
|
|
||||||
|
# Что нового в ClickHouse?
|
||||||
|
|
||||||
|
Планы развития вкратце изложены [здесь](extended-roadmap.md), а новости по предыдущим релизам подробно описаны в [журнале изменений](changelog/index.md).
|
||||||
|
|||||||
@ -1 +0,0 @@
|
|||||||
../../en/whats-new/roadmap.md
|
|
||||||
Loading…
Reference in New Issue
Block a user