mirror of
https://github.com/ClickHouse/ClickHouse.git
synced 2024-11-22 07:31:57 +00:00
Autotests for external dictionaries: removed garbage [#METR-23766].
This commit is contained in:
Alexey Milovidov
parent
be5a07463e
commit
a1c599fc57
60
dbms/tests/external_dictionaries/.gitignore
vendored
60
dbms/tests/external_dictionaries/.gitignore
vendored
@ -1,60 +1,2 @@
|
||||
# Byte-compiled / optimized / DLL files
|
||||
__pycache__/
|
||||
*.py[cod]
|
||||
|
||||
# C extensions
|
||||
*.so
|
||||
|
||||
# Distribution / packaging
|
||||
.Python
|
||||
env/
|
||||
build/
|
||||
develop-eggs/
|
||||
dist/
|
||||
downloads/
|
||||
eggs/
|
||||
.eggs/
|
||||
lib/
|
||||
lib64/
|
||||
parts/
|
||||
sdist/
|
||||
var/
|
||||
*.egg-info/
|
||||
.installed.cfg
|
||||
*.egg
|
||||
|
||||
# PyInstaller
|
||||
# Usually these files are written by a python script from a template
|
||||
# before PyInstaller builds the exe, so as to inject date/other infos into it.
|
||||
*.manifest
|
||||
*.spec
|
||||
|
||||
# Installer logs
|
||||
pip-log.txt
|
||||
pip-delete-this-directory.txt
|
||||
|
||||
# Unit test / coverage reports
|
||||
htmlcov/
|
||||
.tox/
|
||||
.coverage
|
||||
.coverage.*
|
||||
.cache
|
||||
nosetests.xml
|
||||
coverage.xml
|
||||
*,cover
|
||||
|
||||
# Translations
|
||||
*.mo
|
||||
*.pot
|
||||
|
||||
# Django stuff:
|
||||
*.log
|
||||
|
||||
# Sphinx documentation
|
||||
docs/_build/
|
||||
|
||||
# PyBuilder
|
||||
target/
|
||||
|
||||
clickhouse.log
|
||||
*-preprocessed.xml
|
||||
.idea/
|
||||
|
||||
@ -1 +1,2 @@
|
||||
status
|
||||
*
|
||||
!.gitignore
|
||||
|
||||
Binary file not shown.
Binary file not shown.
Binary file not shown.
Binary file not shown.
Binary file not shown.
Binary file not shown.
Binary file not shown.
Binary file not shown.
Binary file not shown.
Binary file not shown.
Binary file not shown.
Binary file not shown.
Binary file not shown.
Binary file not shown.
Binary file not shown.
Binary file not shown.
Binary file not shown.
Binary file not shown.
Binary file not shown.
@ -1 +0,0 @@
|
||||
{"yandex":{"DateTime_%2Ebin":{"size":"43"},"Date_%2Ebin":{"size":"34"},"Float32_%2Ebin":{"size":"40"},"Float64_%2Ebin":{"size":"45"},"Int16_%2Ebin":{"size":"34"},"Int32_%2Ebin":{"size":"43"},"Int64_%2Ebin":{"size":"59"},"Int8_%2Ebin":{"size":"30"},"Parent%2Ebin":{"size":"42"},"String_%2Ebin":{"size":"109"},"UInt16_%2Ebin":{"size":"34"},"UInt32_%2Ebin":{"size":"43"},"UInt64_%2Ebin":{"size":"58"},"UInt8_%2Ebin":{"size":"30"},"__marks%2Emrk":{"size":"288"},"id%2Ebin":{"size":"46"},"key0%2Ebin":{"size":"30"},"key0_str%2Ebin":{"size":"34"},"key1%2Ebin":{"size":"30"}}}
|
||||
@ -1,21 +0,0 @@
|
||||
ATTACH TABLE dictionary_source
|
||||
(
|
||||
id UInt64,
|
||||
key0 UInt8,
|
||||
key0_str String,
|
||||
key1 UInt8,
|
||||
UInt8_ UInt8,
|
||||
UInt16_ UInt16,
|
||||
UInt32_ UInt32,
|
||||
UInt64_ UInt64,
|
||||
Int8_ Int8,
|
||||
Int16_ Int16,
|
||||
Int32_ Int32,
|
||||
Int64_ Int64,
|
||||
Float32_ Float32,
|
||||
Float64_ Float64,
|
||||
String_ String,
|
||||
Date_ Date,
|
||||
DateTime_ DateTime,
|
||||
Parent UInt64
|
||||
) ENGINE = Log
|
||||
@ -4,182 +4,16 @@
|
||||
<level>trace</level>
|
||||
<log>./data/clickhouse-server.log</log>
|
||||
<errorlog>./data/clickhouse-server.err.log</errorlog>
|
||||
<!-- never - не ротировать логи самостоятельно. Это выставлено, так как используется logrotate.
|
||||
При необходимости, можно использовать встроенный механизм ротации. Тогда укажите максимальный размер, для примера, 100M.
|
||||
-->
|
||||
<size>never</size>
|
||||
<count>50</count>
|
||||
</logger>
|
||||
|
||||
|
||||
<http_port>8124</http_port>
|
||||
<tcp_port>9001</tcp_port>
|
||||
|
||||
<!-- Порт для передачи данных между серверами. Используется для репликации. -->
|
||||
<interserver_http_port>9010</interserver_http_port>
|
||||
|
||||
<!-- Хост, использующийся другими репликами для запросов к этому серверу.
|
||||
Если не задан - используется то же самое, что выдаёт команда uname -n.
|
||||
-->
|
||||
<!--
|
||||
<interserver_http_host>example.yandex.ru</interserver_http_host>
|
||||
-->
|
||||
|
||||
<!-- Слушать указанный хост. :: - wildcard IPv6 адрес, позволяющий принимать соединения по IPv4 и IPv6 откуда угодно. -->
|
||||
<listen_host>::</listen_host>
|
||||
|
||||
<max_connections>4096</max_connections>
|
||||
<keep_alive_timeout>3</keep_alive_timeout>
|
||||
|
||||
<!-- Максимальное количество одновременно выполняющихся запросов. -->
|
||||
<listen_host>127.0.0.1</listen_host>
|
||||
<max_concurrent_queries>500</max_concurrent_queries>
|
||||
|
||||
<!-- Размер кэша разжатых блоков, используемого в движках семейства MergeTree.
|
||||
Задаётся в байтах. Кэш один общий на весь сервер. Память выделяется и используется по мере необходимости.
|
||||
-->
|
||||
<uncompressed_cache_size>8589934592</uncompressed_cache_size>
|
||||
|
||||
<!-- Примерный размер кэша засечек, используемого в движках семейства MergeTree.
|
||||
Задаётся в байтах. Кэш один общий на весь сервер. Память выделяется и используется по мере необходимости.
|
||||
-->
|
||||
<mark_cache_size>5368709120</mark_cache_size>
|
||||
|
||||
|
||||
<!-- Путь к директории с данными, включая слеш на конце. -->
|
||||
<path>./clickhouse/</path>
|
||||
|
||||
<!-- Путь к директории с временными данными, возникающими при обработке тяжёлых запросов. -->
|
||||
<tmp_path>./clickhouse/tmp/</tmp_path>
|
||||
|
||||
<!-- Путь к файлу с конфигурацией пользователей, прав доступа, профилей настроек, квот. -->
|
||||
<users_config>users.xml</users_config>
|
||||
|
||||
<!-- Профиль настроек по-умолчанию. -->
|
||||
<default_profile>default</default_profile>
|
||||
|
||||
<!-- БД по-умолчанию. -->
|
||||
<default_database>default</default_database>
|
||||
|
||||
<!-- Группы удалённых серверов, которые могут быть подключены в таблицах типа Distributed.
|
||||
https://clickhouse.yandex-team.ru/#Distributed
|
||||
-->
|
||||
<remote_servers incl="clickhouse_remote_servers" />
|
||||
|
||||
|
||||
<!-- Если у элемента конфига присутствует атрибут incl, то в качестве значения будет использована соответствующая подстановка из другого файла.
|
||||
По-умолчанию, путь к файлу с подстановками - /etc/metrika.xml. Он может быть изменён в конфиге в элементе include_from.
|
||||
Значения подстановок указываются в элементах /yandex/имя_подстановки этого файла.
|
||||
-->
|
||||
|
||||
<!-- ZooKeeper нужен для хранения мета информации о репликах, при использовании Replicated таблиц.
|
||||
Не обязательно. Если вы не используете реплицируемые таблицы - можно не указывать.
|
||||
|
||||
См. https://clickhouse.yandex-team.ru/#%D0%A0%D0%B5%D0%BF%D0%BB%D0%B8%D0%BA%D0%B0%D1%86%D0%B8%D1%8F%20%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85
|
||||
-->
|
||||
<zookeeper incl="zookeeper-servers" optional="true" />
|
||||
|
||||
<!-- Подстановки для параметров реплицируемых таблиц.
|
||||
Не обязательно. Если вы не используете реплицируемые таблицы - можно не указывать.
|
||||
|
||||
См. https://clickhouse.yandex-team.ru/#%D0%A1%D0%BE%D0%B7%D0%B4%D0%B0%D0%BD%D0%B8%D0%B5%20%D1%80%D0%B5%D0%BF%D0%BB%D0%B8%D1%86%D0%B8%D1%80%D1%83%D0%B5%D0%BC%D1%8B%D1%85%20%D1%82%D0%B0%D0%B1%D0%BB%D0%B8%D1%86
|
||||
-->
|
||||
<macros incl="macros" optional="true" />
|
||||
|
||||
|
||||
<!-- Отправка данных о работе сервера в Graphite для мониторинга. -->
|
||||
<use_graphite>false</use_graphite>
|
||||
|
||||
<!-- Интервал обновления встроенных справочников, в секундах. По-умолчанию - 3600. -->
|
||||
<builtin_dictionaries_reload_interval>3600</builtin_dictionaries_reload_interval>
|
||||
|
||||
<!-- Раскомментируйте, если включено use_graphite.
|
||||
<graphite>
|
||||
<host>127.0.0.1</host>
|
||||
<port>42000</port>
|
||||
<root_path>one_min</root_path>
|
||||
<timeout>0.1</timeout>
|
||||
</graphite>
|
||||
-->
|
||||
|
||||
|
||||
<!-- Лог запросов. Используется, только для запросов с настройкой log_queries = 1. -->
|
||||
<query_log>
|
||||
<!-- В какую таблицу писать. Если таблицы нет, она создаётся.
|
||||
При изменении структуры лога, старая таблица переименовывается и создаётся новая.
|
||||
-->
|
||||
<database>system</database>
|
||||
<table>query_log</table>
|
||||
|
||||
<!-- Интервал сброса данных в таблицу. -->
|
||||
<flush_interval_milliseconds>7500</flush_interval_milliseconds>
|
||||
</query_log>
|
||||
|
||||
|
||||
<!-- Следующие параметры следует задавать, если используются функции, зависящие от словарей Яндекс.Метрики.
|
||||
См. https://clickhouse.yandex-team.ru/#%D0%A4%D1%83%D0%BD%D0%BA%D1%86%D0%B8%D0%B8%20%D0%B4%D0%BB%D1%8F%20%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D1%8B%20%D1%81%D0%BE%20%D1%81%D0%BB%D0%BE%D0%B2%D0%B0%D1%80%D1%8F%D0%BC%D0%B8%20%D0%AF%D0%BD%D0%B4%D0%B5%D0%BA%D1%81.%D0%9C%D0%B5%D1%82%D1%80%D0%B8%D0%BA%D0%B8
|
||||
-->
|
||||
|
||||
<!-- путь к файлу, содержащиму иерархию регионов -->
|
||||
<!-- <path_to_regions_hierarchy_file>/opt/geo/regions_hierarchy.txt</path_to_regions_hierarchy_file> -->
|
||||
|
||||
<!-- путь к директории с файлами, содержащими имена регионов -->
|
||||
<!-- <path_to_regions_names_files>/opt/geo/</path_to_regions_names_files> -->
|
||||
|
||||
<!-- Параметры БД со словарями (UserAgent, OS, etc.) -->
|
||||
<!--
|
||||
<mysql_metrica>
|
||||
<db>conv_main</db>
|
||||
<replica>
|
||||
<host>127.0.0.1</host>
|
||||
<port>3306</port>
|
||||
<user>metrika</user>
|
||||
<password></password>
|
||||
<priority>1</priority>
|
||||
</replica>
|
||||
</mysql_metrica>
|
||||
-->
|
||||
|
||||
|
||||
<!-- Конфигурационные файлы внешних словарей. Смотрите:
|
||||
https://clickhouse.yandex-team.ru/#%D0%92%D0%BD%D0%B5%D1%88%D0%BD%D0%B8%D0%B5%20%D1%81%D0%BB%D0%BE%D0%B2%D0%B0%D1%80%D0%B8
|
||||
-->
|
||||
<dictionaries_config>generated/*.xml</dictionaries_config>
|
||||
|
||||
|
||||
<!-- Настройки режима совместимости с OLAPServer.
|
||||
-->
|
||||
<!--
|
||||
<olap_compatibility>
|
||||
<port>8248</port>
|
||||
<table_for_all_counters>default.visits_all</table_for_all_counters>
|
||||
<table_for_single_counter>default.visits_layer</table_for_single_counter>
|
||||
<profile>olap_compatibility</profile>
|
||||
</olap_compatibility>
|
||||
-->
|
||||
|
||||
<!-- Раскомментируйте, если хотите сделать так, чтобы ваши данные сжимались на 30-50% лучше.
|
||||
Не нужно этого делать, если вы только начинаете использовать ClickHouse.
|
||||
-->
|
||||
<!--
|
||||
<compression>
|
||||
|
||||
<!- - Набор вариантов. Варианты проверяются подряд. Побеждает последний сработавший вариант. Если ни один не сработал, то используется lz4. - ->
|
||||
<case>
|
||||
|
||||
<!- - Условия. Должны сработать одновременно все. Часть условий могут быть не указаны. - ->
|
||||
<min_part_size>10000000000</min_part_size> <!- - Минимальный размер куска в байтах. - ->
|
||||
<min_part_size_ratio>0.01</min_part_size_ratio> <!- - Минимальный размер куска относительно всех данных таблицы. - ->
|
||||
|
||||
<!- - Какой метод сжатия выбрать. - ->
|
||||
<method>zstd</method>
|
||||
</case>
|
||||
</compression>
|
||||
-->
|
||||
|
||||
<!-- Здесь могут быть тонкие настройки работы таблиц типа MergeTree. Смотрите документацию в исходниках, в файле MergeTreeSettings.h -->
|
||||
<!--
|
||||
<merge_tree>
|
||||
<max_suspicious_broken_parts>5</max_suspicious_broken_parts>
|
||||
</merge_tree>
|
||||
-->
|
||||
</yandex>
|
||||
|
||||
@ -1,100 +1,24 @@
|
||||
<?xml version="1.0"?>
|
||||
<yandex>
|
||||
<!-- Профили настроек. -->
|
||||
<profiles>
|
||||
<!-- Настройки по-умолчанию -->
|
||||
<default>
|
||||
<!-- Максимальное потребление оперативки одним запросом (байт). -->
|
||||
<max_memory_usage>10000000000</max_memory_usage>
|
||||
|
||||
<!-- Использовать ли кэш разжатых блоков. Имеет смысл только для большого количества мелких запросов. -->
|
||||
<use_uncompressed_cache>0</use_uncompressed_cache>
|
||||
|
||||
<!-- Как выбирать реплику ClickHouse.
|
||||
random - среди реплик с минимальным количеством ошибок выбирается случайная
|
||||
nearest_hostname - среди реплик с минимальным количеством ошибок выбирается реплика
|
||||
с минимальным количеством отличающихся символов между именем реплики и именем локального хоста.
|
||||
in_order - реплики перебираются в точности в таком порядке, в каком они указаны.
|
||||
-->
|
||||
<load_balancing>random</load_balancing>
|
||||
</default>
|
||||
|
||||
<!-- Разрешает запросы только на чтение. -->
|
||||
<readonly>
|
||||
<readonly>1</readonly>
|
||||
</readonly>
|
||||
</profiles>
|
||||
|
||||
<!-- Пользователи и ACL. -->
|
||||
<users>
|
||||
<!-- Если имя пользователя не указано, используется пользователь default. -->
|
||||
<default>
|
||||
<!-- Пароль можно указать либо в открытом виде, либо в виде SHA256 (в hex формате).
|
||||
|
||||
Если вы хотите указать пароль в открытом виде (не рекомендуется), то укажите его в элементе password.
|
||||
Пример: <password>qwerty</password>.
|
||||
Пароль может быть пустым.
|
||||
|
||||
Если вы хотите указать SHA256, то укажите его в элементе password_sha256_hex.
|
||||
Пример: <password_sha256_hex>65e84be33532fb784c48129675f9eff3a682b27168c0ea744b2cf58ee02337c5</password_sha256_hex>
|
||||
|
||||
Как сгенерировать хороший пароль:
|
||||
Выполните: PASSWORD=$(base64 < /dev/urandom | head -c8); echo "$PASSWORD"; echo -n "$PASSWORD" | sha256sum | tr -d '-'
|
||||
На первой строке будет пароль, а на второй - его SHA256.
|
||||
-->
|
||||
<password></password>
|
||||
|
||||
<!-- Список сетей, из которых разрешён доступ.
|
||||
|
||||
Для доступа отовсюду, пропишите <ip>::/0</ip>
|
||||
|
||||
Каждый элемент списка имеет одну из следующих форм:
|
||||
<ip> IP-адрес или маска подсети. Например, 213.180.204.3 или 10.0.0.1/8 или 2a02:6b8::3 или 2a02:6b8::3/64.
|
||||
<host> Имя хоста. Например: mtcalc01. Для проверки делается DNS-запрос, и все полученные адреса сравниваются с адресом клиента.
|
||||
<host_regexp> Регексп для имён хостов. Например, ^mtlog\d\d-\d\d-\d\.yandex\.ru$
|
||||
Для проверки, для адреса клиента делается DNS PTR-запрос и к результату применяется регексп.
|
||||
Потом для результата PTR-запроса делается снова DNS-запрос, и все полученные адреса сравниваются с адресом клиента.
|
||||
Настоятельно рекомендуется, чтобы регексп заканчивался на \.yandex\.ru$.
|
||||
-->
|
||||
<networks incl="networks" replace="replace">
|
||||
<ip>::1</ip>
|
||||
<ip>127.0.0.1</ip>
|
||||
</networks>
|
||||
|
||||
<!-- Профиль настроек, использующийся для пользователя. -->
|
||||
<profile>default</profile>
|
||||
|
||||
<!-- Квота, использующаяся для пользователя. -->
|
||||
<quota>default</quota>
|
||||
</default>
|
||||
|
||||
<readonly>
|
||||
<password></password>
|
||||
<networks incl="networks" replace="replace">
|
||||
<ip>::1</ip>
|
||||
<ip>127.0.0.1</ip>
|
||||
</networks>
|
||||
<profile>readonly</profile>
|
||||
<quota>default</quota>
|
||||
</readonly>
|
||||
</users>
|
||||
|
||||
<!-- Квоты. -->
|
||||
<quotas>
|
||||
<!-- Имя квоты. -->
|
||||
<default>
|
||||
<!-- Ограничения за интервал времени. Можно задать много интервалов с разными ограничениями. -->
|
||||
<interval>
|
||||
<!-- Длина интервала. -->
|
||||
<duration>3600</duration>
|
||||
|
||||
<!-- Без ограничений. Просто считать соответствующие данные за указанный интервал. -->
|
||||
<queries>0</queries>
|
||||
<errors>0</errors>
|
||||
<result_rows>0</result_rows>
|
||||
<read_rows>0</read_rows>
|
||||
<execution_time>0</execution_time>
|
||||
</interval>
|
||||
</default>
|
||||
</quotas>
|
||||
</yandex>
|
||||
|
||||
Loading…
Reference in New Issue
Block a user