Merge branch 'master' of github.com:yandex/ClickHouse

2024-11-23 16:12:01 +00:00 · 2019-12-16 20:45:41 +03:00 · 2019-12-16 20:45:41 +03:00 · e241037bda
commit e241037bda
parent c7bb052506 dd58ddbc9a
9 changed files with 39 additions and 27 deletions
--- a/dbms/programs/local/LocalServer.cpp
+++ b/dbms/programs/local/LocalServer.cpp
@ -443,7 +443,7 @@ void LocalServer::init(int argc, char ** argv)
        exit(0);
    }

-    if (options.count("help"))
+    if (options.empty() || options.count("help"))
    {
        std::cout << getHelpHeader() << "\n";
        std::cout << description << "\n";
--- a/dbms/src/Interpreters/InterpreterInsertQuery.cpp
+++ b/dbms/src/Interpreters/InterpreterInsertQuery.cpp
@ -99,9 +99,7 @@ BlockIO InterpreterInsertQuery::execute()
    const auto & query = query_ptr->as<ASTInsertQuery &>();
    checkAccess(query);

-    BlockIO res;
    StoragePtr table = getTable(query);
-    res.pipeline.addStorageHolder(table);

    auto table_lock = table->lockStructureForShare(true, context.getInitialQueryId());

@ -137,7 +135,7 @@ BlockIO InterpreterInsertQuery::execute()
    out_wrapper->setProcessListElement(context.getProcessListElement());
    out = std::move(out_wrapper);

-    res.out = std::move(out);
+    BlockIO res;

    /// What type of query: INSERT or INSERT SELECT?
    if (query.select)
@ -145,13 +143,13 @@ BlockIO InterpreterInsertQuery::execute()
        /// Passing 1 as subquery_depth will disable limiting size of intermediate result.
        InterpreterSelectWithUnionQuery interpreter_select{query.select, context, SelectQueryOptions(QueryProcessingStage::Complete, 1)};

-        res.in = interpreter_select.execute().in;
-
-        res.in = std::make_shared<ConvertingBlockInputStream>(context, res.in, res.out->getHeader(), ConvertingBlockInputStream::MatchColumnsMode::Position);
-        res.in = std::make_shared<NullAndDoCopyBlockInputStream>(res.in, res.out);
-
+        /// BlockIO may hold StoragePtrs to temporary tables
+        res = interpreter_select.execute();
        res.out = nullptr;

+        res.in = std::make_shared<ConvertingBlockInputStream>(context, res.in, out->getHeader(), ConvertingBlockInputStream::MatchColumnsMode::Position);
+        res.in = std::make_shared<NullAndDoCopyBlockInputStream>(res.in, out);
+
        if (!allow_materialized)
        {
            Block in_header = res.in->getHeader();
@ -163,9 +161,12 @@ BlockIO InterpreterInsertQuery::execute()
    else if (query.data && !query.has_tail) /// can execute without additional data
    {
        res.in = std::make_shared<InputStreamFromASTInsertQuery>(query_ptr, nullptr, query_sample_block, context, nullptr);
-        res.in = std::make_shared<NullAndDoCopyBlockInputStream>(res.in, res.out);
-        res.out = nullptr;
+        res.in = std::make_shared<NullAndDoCopyBlockInputStream>(res.in, out);
    }
+    else
+        res.out = std::move(out);
+
+    res.pipeline.addStorageHolder(table);

    return res;
 }
--- a/dbms/tests/integration/test_storage_mysql/test.py
+++ b/dbms/tests/integration/test_storage_mysql/test.py
@ -109,6 +109,8 @@ def test_table_function(started_cluster):
                       " UNION ALL SELECT count() as c FROM {} WHERE id % 3 == 2)".format(table_function, table_function,
                                                                                          table_function)).rstrip() == '10000'
    assert node1.query("SELECT sum(`money`) FROM {}".format(table_function)).rstrip() == '30000'
+    node1.query("INSERT INTO {} SELECT id + 100000, name, age, money FROM {}".format('TABLE FUNCTION ' + table_function, table_function))
+    assert node1.query("SELECT sum(`money`) FROM {}".format(table_function)).rstrip() == '60000'
    conn.close()


--- a/docs/en/operations/access_rights.md
+++ b/docs/en/operations/access_rights.md
@ -28,10 +28,10 @@ Users are recorded in the `users` section. Here is a fragment of the `users.xml`
            Each list item has one of the following forms:
            <ip> The IP address or subnet mask. For example: 198.51.100.0/24 or 2001:DB8::/32.
            <host> Host name. For example: example01. A DNS query is made for verification, and all addresses obtained are compared with the address of the customer.
-            <host_regexp> Regular expression for host names. For example, ^example\d\d-\d\d-\d\.yandex\.ru$
+            <host_regexp> Regular expression for host names. For example, ^example\d\d-\d\d-\d\.host\.ru$
                To check it, a DNS PTR request is made for the client's address and a regular expression is applied to the result.
                Then another DNS query is made for the result of the PTR query, and all received address are compared to the client address.
-                We strongly recommend that the regex ends with \.yandex\.ru$.
+                We strongly recommend that the regex ends with \.host\.ru$.

            If you are installing ClickHouse yourself, specify here:
                <networks>
@ -104,5 +104,4 @@ The user can get a list of all databases and tables in them by using `SHOW` quer

 Database access is not related to the [readonly](settings/permissions_for_queries.md#settings_readonly) setting. You can't grant full access to one database and `readonly` access to another one.

-
 [Original article](https://clickhouse.yandex/docs/en/operations/access_rights/) <!--hide-->
--- a/docs/en/operations/settings/settings_users.md
+++ b/docs/en/operations/settings/settings_users.md
@ -64,13 +64,13 @@ Each element of the list can have one of the following forms:

 - `<host>` — Hostname.

-    Example: `server01.yandex.ru`.
+    Example: `example01.host.ru`.

    To check access, a DNS query is performed, and all returned IP addresses are compared to the peer address.

 - `<host_regexp>` — Regular expression for hostnames.

-    Example, `^server\d\d-\d\d-\d\.yandex\.ru$`
+    Example, `^example\d\d-\d\d-\d\.host\.ru$`

    To check access, a [DNS PTR query](https://en.wikipedia.org/wiki/Reverse_DNS_lookup) is performed for the peer address and then the specified regexp is applied. Then, another DNS query is performed for the results of the PTR query and all the received addresses are compared to the peer address. We strongly recommend that regexp ends with $.

--- a/docs/en/operations/table_engines/replication.md
+++ b/docs/en/operations/table_engines/replication.md
@ -22,7 +22,14 @@ Compressed data for `INSERT` and `ALTER` queries is replicated (for more informa
 - The `DROP TABLE` query deletes the replica located on the server where the query is run.
 - The `RENAME` query renames the table on one of the replicas. In other words, replicated tables can have different names on different replicas.

-To use replication, set the addresses of the ZooKeeper cluster in the config file. Example:
+ClickHouse uses [Apache ZooKeeper](https://zookeeper.apache.org) for storing replicas meta information. Use ZooKeeper version 3.4.5 or newer.
+
+To use replication, set parameters in the [zookeeper](../server_settings/settings.md#server-settings_zookeeper) server configuration section.
+
+!!! attention "Attention"
+    Don't neglect the securiry setting. ClickHouse supports the `digest` [ACL scheme](https://zookeeper.apache.org/doc/current/zookeeperProgrammers.html#sc_ZooKeeperAccessControl) of the ZooKeeper security subsystem.
+
+Example of setting the addresses of the ZooKeeper cluster:

 ```xml
 <zookeeper>
@ -40,9 +47,7 @@ To use replication, set the addresses of the ZooKeeper cluster in the config fil
    </node>
 </zookeeper>
 ```
-
-Use ZooKeeper version 3.4.5 or later.
-
+ 
 You can specify any existing ZooKeeper cluster and the system will use a directory on it for its own data (the directory is specified when creating a replicatable table).

 If ZooKeeper isn't set in the config file, you can't create replicated tables, and any existing replicated tables will be read-only.
--- a/docs/ru/operations/access_rights.md
+++ b/docs/ru/operations/access_rights.md
@ -28,10 +28,10 @@
            Каждый элемент списка имеет одну из следующих форм:
            <ip> IP-адрес или маска подсети. Например, 198.51.100.0/24 или 2001:DB8::/32.
            <host> Имя хоста. Например: example01. Для проверки делается DNS-запрос, и все полученные адреса сравниваются с адресом клиента.
-            <host_regexp> Регулярное выражение для имён хостов. Например, ^example\d\d-\d\d-\d\.yandex\.ru$
+            <host_regexp> Регулярное выражение для имён хостов. Например, ^example\d\d-\d\d-\d\.host\.ru$
                Для проверки, для адреса клиента делается DNS PTR-запрос и к результату применяется регулярное выражение.
                Потом для результата PTR-запроса делается снова DNS-запрос, и все полученные адреса сравниваются с адресом клиента.
-                Настоятельно рекомендуется, чтобы регулярное выражение заканчивалось на \.yandex\.ru$.
+                Настоятельно рекомендуется, чтобы регулярное выражение заканчивалось на \.host\.ru$.

            Если вы устанавливаете ClickHouse самостоятельно, укажите здесь:
                <networks>
--- a/docs/ru/operations/settings/settings_users.md
+++ b/docs/ru/operations/settings/settings_users.md
@ -63,13 +63,13 @@

 - `<host>` — Имя хоста.

-    Пример: `server01.yandex.ru`.
+    Пример: `example01.host.ru`.

    Для проверки доступа выполняется DNS-запрос, и все возвращенные IP-адреса сравниваются с адресом клиента.

 - `<host_regexp>` — Регулярное выражение для имен хостов.

-    Пример, `^server\d\d-\d\d-\d\.yandex\.ru$`
+    Пример, `^example\d\d-\d\d-\d\.host\.ru$`

    Для проверки доступа выполняется [DNS запрос PTR](https://en.wikipedia.org/wiki/Reverse_DNS_lookup) для адреса клиента, а затем применяется заданное регулярное выражение. Затем, для результатов запроса PTR выполняется другой DNS-запрос и все полученные адреса сравниваются с адресом клиента. Рекомендуем завершать регулярное выражение символом $.

--- a/docs/ru/operations/table_engines/replication.md
+++ b/docs/ru/operations/table_engines/replication.md
@ -22,7 +22,14 @@
 - `DROP TABLE` удаляет реплику, расположенную на том сервере, где выполняется запрос.
 - Запрос `RENAME` переименовывает таблицу на одной реплик. Другими словами, реплицируемые таблицы на разных репликах могут называться по-разному.

-Чтобы использовать репликацию, укажите в конфигурационном файле адреса ZooKeeper кластера. Пример:
+ClickHouse хранит метаинформацию о репликах в [Apache ZooKeeper](https://zookeeper.apache.org). Используйте ZooKeeper 3.4.5 или новее.
+
+Для использовании репликации, установите параметры в секции [zookeeper](../server_settings/settings.md#server-settings_zookeeper) конфигурации сервера.
+
+ !!! attention "Внимание"
+    Не пренебрегайте настройками безопасности. ClickHouse поддерживает [ACL схему](https://zookeeper.apache.org/doc/current/zookeeperProgrammers.html#sc_ZooKeeperAccessControl) `digest` подсистемы безопасности ZooKeeper.
+
+Пример указания адресов кластера ZooKeeper:

 ```xml
 <zookeeper>
@ -41,8 +48,6 @@
 </zookeeper>
 ```

-Используйте ZooKeeper версии 3.4.5 или более новый.
-
 Можно указать любой имеющийся у вас ZooKeeper-кластер - система будет использовать в нём одну директорию для своих данных (директория указывается при создании реплицируемой таблицы).

 Если в конфигурационном файле не настроен ZooKeeper, то вы не сможете создать реплицируемые таблицы, а уже имеющиеся реплицируемые таблицы будут доступны в режиме только на чтение.