ClickHouse/docs/ja/whats-new/changelog/2017.md
Ivan Blinkov 9a26d48ad0
Basic blog similar to docs (#11609)
* Basic blog similar to docs

* rename post

* no post content in post_meta

* update readme and template

* more "en" content

* complete "en" content

* build blog redirects

* redirects for migration

* link sitemaps

* update po

* add "ru" content

* ru redirects

* remove old domain mentions

* adjust styles

* content improvements

* +1 alt

* use main images from CDN

* use re-hosted in-content images

* extra vertical margin around embedded youtube

* minor improvements

* adjust post page

* adjust html meta

* adjust post page

* improve blog rendering
2020-06-16 09:31:00 +03:00

269 lines
22 KiB
Markdown
Raw Blame History

This file contains invisible Unicode characters

This file contains invisible Unicode characters that are indistinguishable to humans but may be processed differently by a computer. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

---
machine_translated: true
machine_translated_rev: 72537a2d527c63c07aa5d2361a8829f3895cf2bd
toc_priority: 79
toc_title: '2017'
---
### ClickHouseリリース1.1.54327,2017-12-21 {#clickhouse-release-1-1-54327-2017-12-21}
このリリ:
- 固定バグでレースの条件で接続文字列の構文は以下のようにこのデータが失われます。 この問題は、バージョン1.1.54310および1.1.54318に影響します。 ご利用の場合これらのバージョンとの複製のテーブルを更新することが強く推奨されます。 この問題にログ警告メッセージのように `Part ... from own log doesn't exist.` この問題は、ログにこれらのメッセージが表示されない場合でも関連します。
### ClickHouseリリース1.1.54318,2017-11-30 {#clickhouse-release-1-1-54318-2017-11-30}
このリリ:
- SummingMergeTreeエンジンでのマージ中の不正な行の削除を修正しました
- 複雑でないMergeTreeエンジンのメモリリークを修正しました
- MergeTreeエンジンの頻繁な挿入による性能低下を修正
- レプリケーションキューの実行が停止する問題を修正しました
- サーバーログの固定回転とアーカイブ
### ClickHouseリリース1.1.54310,2017-11-01 {#clickhouse-release-1-1-54310-2017-11-01}
#### 新しい機能: {#new-features}
- カスタムパーティショニングキーのMergeTree家族のテーブルエンジンです。
- [カフカ](https://clickhouse.tech/docs/en/operations/table_engines/kafka/) テーブルエンジン。
- ロードのサポートを追加 [CatBoost](https://catboost.yandex/) モデルとClickHouseに格納されたデータにそれらを適用します。
- サポートが追加された時間帯と非整数オフセットからのUTCです。
- 時間間隔での算術演算のサポートが追加されました。
- Date型とDateTime型の値の範囲は、2105年まで拡張されます。
- 追加された `CREATE MATERIALIZED VIEW x TO y` query(マテリアライズドビューのデータを格納するための既存のテーブルを指定します)。
- 追加された `ATTACH TABLE` 引数なしのクエリ。
- SummingMergeTreeテーブルの-Mapで終わる名前を持つ入れ子になった列の処理ロジックが、sumMap集計関数に抽出されました。 これで、そのような列を明示的に指定できます。
- IP trie辞書の最大サイズは128Mのエントリに増加します。
- GetSizeOfEnumType関数を追加しました。
- SumWithOverflow集計関数を追加しました。
- Cap'n Proto入力フォーマットのサポートが追加されました。
- では、今までのカスタマイズの圧縮レベル使用時のzstdアルゴリズムです。
#### 下位互換性のない変更: {#backward-incompatible-changes}
- メモリ以外のエンジンで一時テーブルを作成することはできません。
- ViewまたはMaterializedViewエンジンでテーブルを明示的に作成することはできません。
- 中表を作成し、新しいチェックを確認し、サンプリングキー表現が含まれ、その有効なタイプを利用します。
#### バグ修正: {#bug-fixes}
- 分散テーブルに同期的に挿入するときのハングを修正しました。
- 固定nonatomicの追加および削除のパーツで再現します。
- マテリアライズドビューに挿入されたデータは、不要な重複排除を受けません。
- ローカルレプリカが遅れており、リモートレプリカが使用できない分散テーブルに対してクエリを実行しても、エラーは発生しません。
- ユーザーにはアクセス権限は必要ありません。 `default` 一時テーブルを作成するデータベース。
- 引数なしで配列型を指定するとクラッシュする問題を修正。
- 固定hangups時のディスク容量を含むサーバのログします。
- Unixエポックの最初の週のtoRelativeWeekNum関数のオーバーフローを修正しました。
#### ビルドの改善: {#build-improvements}
- いくつかのサードパーテ
### ClickHouseリリース1.1.54304,2017-10-19 {#clickhouse-release-1-1-54304-2017-10-19}
#### 新しい機能: {#new-features-1}
- ネイティブプロトコ `tcp_ssl_port``config.xml` ).
#### バグ修正: {#bug-fixes-1}
- `ALTER` のための複製のテーブル現しようと走り出しています。
- 固定波データを読み込むときに設定 `preferred_block_size_bytes=0.`
- の固定クラッシュ `clickhouse-client` 押すとき `Page Down`
- 特定の複雑なクエリの正しい解釈 `GLOBAL IN``UNION ALL`
- `FREEZE PARTITION` いつも原子的に動作します。
- 空のPOST要求は、コード411の応答を返します。
- 次のような式の修正された解釈エラー `CAST(1 AS Nullable(UInt8)).`
- 読み取り時のエラーを修正 `Array(Nullable(String))` からの列 `MergeTree` テーブル
- 固定表の構文解析時にクエリのように `SELECT dummy AS dummy, dummy AS b`
- ユーザーが無効で正しく更新される `users.xml`
- 実行可能ディクショナリがゼロ以外の応答コードを返すときの正しい処理。
### ClickHouseリリース1.1.54292,2017-09-20 {#clickhouse-release-1-1-54292-2017-09-20}
#### 新しい機能: {#new-features-2}
- 追加された `pointInPolygon` 座標平面上の座標を操作するための関数。
- 追加された `sumMap` 配列の合計を計算するための集計関数。 `SummingMergeTree`.
- 追加された `trunc` 機能。 丸め関数のパフォーマンスの向上 (`round`, `floor`, `ceil`, `roundToExp2` を正の論理をどのように。 のロジックを変更しました `roundToExp2` 分数と負の数のための関数。
- ClickHouse実行可能ファイルは、libcのバージョンにあまり依存しません。 同じClickHouse実行可能ファイルは、さまざまなLinuxシステムで実行できます。 コンパイルされたクエリを使用すると、依存関係がまだあります(設定付き `compile = 1` デフォルトでは使用されません)。
- クエリの動的コンパイルに必要な時間を短縮しました。
#### バグ修正: {#bug-fixes-2}
- 時々生成されるエラーを修正しました `part ... intersects previous part` メッセージと弱いレプリカの一貫性。
- シャットダウ
- 除去の過剰伐採が回復レプリカ.
- UNION ALL実装のエラーを修正しました。
- ブロック内の最初の列が配列型である場合に発生したconcat関数のエラーを修正しました。
- 進行状況がシステムに正しく表示されます。マージテーブル。
### ClickHouseリリース1.1.54289,2017-09-13 {#clickhouse-release-1-1-54289-2017-09-13}
#### 新しい機能: {#new-features-3}
- `SYSTEM` サーバー管理のクエリ: `SYSTEM RELOAD DICTIONARY`, `SYSTEM RELOAD DICTIONARIES`, `SYSTEM DROP DNS CACHE`, `SYSTEM SHUTDOWN`, `SYSTEM KILL`.
- 配列を操作するための関数を追加しました: `concat`, `arraySlice`, `arrayPushBack`, `arrayPushFront`, `arrayPopBack`, `arrayPopFront`.
- 追加 `root``identity` ZooKeeper設定のパラメータ。 これにより、同じZooKeeperクラスター上の個々のユーザーを分離できます。
- 集計関数の追加 `groupBitAnd`, `groupBitOr`,and `groupBitXor` (互換性のために、彼らはまた、名前の下で利用可能です `BIT_AND`, `BIT_OR`,and `BIT_XOR`).
- 外部の辞書からロード可能でMySQLを指定するソケットのファイルシステム.
- 外部辞書はMySQLからSSL経由でロードできます (`ssl_cert`, `ssl_key`, `ssl_ca` 変数)。
- 追加された `max_network_bandwidth_for_user` ユーザーごとのクエリの全体的な帯域幅の使用を制限する設定。
- のサポート `DROP TABLE` 一時テーブルの場合。
- 読書のサポート `DateTime` Unixタイムスタンプ形式の値 `CSV``JSONEachRow` フォーマット。
- 分散クエリの遅延レプリカは既定で除外されるようになりました(既定のしきい値は5分です)。
- FIFOロック使用時の変更変更のクエリーなブ無期限に継続的に走ります。
- 設定するオプション `umask` 設定ファイルで。
- クエリのパフォーマンスの向上 `DISTINCT` .
#### バグ修正: {#bug-fixes-3}
- ZooKeeperの古いードを削除するプロセスを改善しました。 以前は、非常に頻繁に挿入された場合に古いノードが削除されなかったことがあり、サーバーのシャットダウンが遅くなりました。
- ZooKeeperへの接続のホストを選択する際のランダム化を修正しました。
- レプリカがlocalhostの場合、分散クエリでの遅延レプリカの除外を修正しました。
- エラーを修正しました。 `ReplicatedMergeTree` テーブルが壊れる恐れがあった後、走行 `ALTER MODIFY` aの要素に対して `Nested` 構造。
- SELECTクエリの原因となるエラーを修正しました “hang”.
- 分散DDLクエリの改善。
- クエリを修正しました `CREATE TABLE ... AS <materialized view>`.
- のデッドロックを解決しました。 `ALTER ... CLEAR COLUMN IN PARTITION` クエリ `Buffer` テーブル
- の無効なデフォルト値を修正しました `Enum` s(最小値の代わりに0)を使用する場合 `JSONEachRow``TSKV` フォーマット。
- ディクショナリを使用するとゾンビプロセスの出現を解決 `executable` 出典
- HEADクエリのsegfaultを修正しました。
#### ClickHouseの開発とアセンブルのワークフローの改善: {#improved-workflow-for-developing-and-assembling-clickhouse}
- 以下を使用できます `pbuilder` ClickHouseを構築する。
- 以下を使用できます `libc++` 代わりに `libstdc++` Linux上のビルドの場合。
- 静的コード分析ツールの使用方法を追加: `Coverage`, `clang-tidy`, `cppcheck`.
#### ご注意ください: {#please-note-when-upgrading}
- MergeTree設定の既定値が高くなりました `max_bytes_to_merge_at_max_space_in_pool` (マージするデータ部分の最大合計サイズ、バイト単位):100GiBから150GiBに増加しました。 この結果、大型の合併-走行後のサーバグの原因になりの増加に負荷をディスクサブシステムです。 サーバー上で使用可能な空き領域が、実行中のマージの合計量の倍未満である場合、これにより、小さなデータ部分のマージを含む、他のすべてのマージの実行が その結果、INSERTクエリはメッセージで失敗します “Merges are processing significantly slower than inserts.” 使用する `SELECT * FROM system.merges` 状況を監視するためのクエリ。 また点検できます `DiskSpaceReservedForMerge` のメトリック `system.metrics` テーブル、またはグラファイト。 大きなマージが終了すると問題が解決するので、これを修正するために何もする必要はありません。 これが受け入れられない場合は、以前の値を復元することができます。 `max_bytes_to_merge_at_max_space_in_pool` 設定。 これを行うには、 `<merge_tree>` configのセクション。xml、セット ``` <merge_tree>``<max_bytes_to_merge_at_max_space_in_pool>107374182400</max_bytes_to_merge_at_max_space_in_pool> ``` サーバーを再起動します。
### ClickHouseリリース1.1.54284,2017-08-29 {#clickhouse-release-1-1-54284-2017-08-29}
- これは以前の1.1.54282リリースのバグ修正リリースです。 ZooKeeperのpartsディレクトリのリークを修正します。
### ClickHouseリリース1.1.54282,2017-08-23 {#clickhouse-release-1-1-54282-2017-08-23}
このリリースには以前のリリース1.1.54276のバグ修正が含まれています:
- 固定 `DB::Exception: Assertion violation: !_path.empty()` 分散テーブルに挿入するとき。
- 入力データが';'で始まる場合、RowBinary形式で挿入するときの解析を修正しました。
- Errors during runtime compilation of certain aggregate functions (e.g. `groupArray()`).
### ClickHouseリリース1.1.54276,2017-08-16 {#clickhouse-release-1-1-54276-2017-08-16}
#### 新しい機能: {#new-features-4}
- SELECTクエリのWITHセクションを追加しました。 クエリの例: `WITH 1+1 AS a SELECT a, a*a`
- すべてのデータがすべてのシャードに保存された後にのみOKが返されます。 これは、insert\_distributed\_sync=1の設定によって有効になります。
- 16バイト識別子を操作するためのUUIDデータ型を追加しました。
- Tableauとの互換性のために、CHAR、FLOAT、その他のタイプの別名を追加しました。
- 時間を数値に変換するための関数toYYYYMM、toYYYYMMDD、およびtoYYYYMMDDhhmmssを追加しました。
- IPアドレス(ホスト名と共に)を使用して、クラスタ化されたDDLクエリのサーバーを識別できます。
- 関数内の非定数引数と負のオフセットのサポートが追加されました `substring(str, pos, len).`
- のmax\_sizeパラメータを追加しました。 `groupArray(max_size)(column)` 集計関数、およびその性能を最適化しました。
#### 主な変更点: {#main-changes}
- セキュリティの改善すべてのサーバーファイルは0640の権限で作成されます `<umask>` 設定パラメータ)。
- 無効な構文を持つクエリのエラーメッセージの改善。
- MergeTreeデータの大部分をマージするときのメモリ消費の大幅な削減とパフォーマンスの向上。
- 置換用のデータマージのパフォーマンスが大幅に向上しましたマージツリーエンジン。
- 性能向上のための非同期に挿入しますから分散型のテーブルを組み合わせで複数のソースしました。 この機能を有効にするには、distributed\_directory\_monitor\_batch\_inserts=1の設定を使用します。
#### 下位互換性のない変更: {#backward-incompatible-changes-1}
- の集合状態のバイナリ形式を変更しました `groupArray(array_column)` 配列の関数。
#### 変更の完全なリスト: {#complete-list-of-changes}
- 追加された `output_format_json_quote_denormals` json形式でnanおよびinf値を出力できるようにする設定。
- 最適化したストリーム配置の場合を読み込んで配布します。
- 値が変更されない場合、設定は読み取り専用モードで構成できます。
- Preferred\_block\_size\_bytes設定で指定されたブロックサイズの制限を満たすために、MergeTreeエンジンの整数以外の顆粒を取得する機能を追加しました。 のための消費量を削減RAMを増やキャッシュの地域が処理クエリーテーブルの大きい。
- 次のような式を含むインデックスの効率的な使用 `toStartOfHour(x)` 条件のためのような `toStartOfHour(x) op сonstexpr.`
- MergeTreeエンジンの新しい設定を追加しました設定のmerge\_treeセクション。xml):
- replicated\_deduplication\_window\_secondsレプリケートされたテーブル内の挿入を重複除外するために許可される秒数を設定します。
- cleanup\_delay\_periodクリーンアップを開始して古いデータを削除する頻度を設定します。
- replicated\_can\_become\_leaderは、レプリカがリーダーになるのを防ぐことができます(およびマージの割り当て)。
- 加速の清掃除時代遅れからのデータの飼育係.
- クラスタ化されたDDLクエリの複数の改善と修正。 特に興味深いのは、クラスタ内のサーバーからの応答を待つ時間を制限する新しい設定distributed\_ddl\_task\_timeoutです。 Ddl要求がすべてのホストで実行されていない場合、応答にはタイムアウトエラーが含まれ、要求は非同期モードで実行されます。
- サーバーログにおけるスタックトレースの表示の改善。
- 追加された “none” 圧縮方法の値。
- Configでは、複数のdictionaries\_configセクションを使用できます。xml。
- ファイルシステム内のソケットを介してMySQLに接続することは可能です。
- システム。部品表には、マークのサイズに関する情報をバイト単位で含む新しい列があります。
#### バグ修正: {#bug-fixes-4}
- 布を使ってテーブルは、Mergeテーブル現在は正常に動作するクエリを選択し、条件に `_table` フィールド
- ReplicatedMergeTreeでデータパーツをチェックする際に、まれな競合状態を修正しました。
- 固定可能凍結 “leader election” サーバーを起動するとき。
- データソースのローカルレプリカを使用する場合、max\_replica\_delay\_for\_distributed\_queries設定は無視されました。 これは修正されました。
- 修正された不正な動作 `ALTER TABLE CLEAR COLUMN IN PARTITION` 既存の列以外の列をクリーンアップしようとする場合。
- 空の配列または文字列を使用している場合、関数multifの例外を修正しました。
- 固定の過剰なメモリ割当ての場合deserializingネイティブ形式です。
- トライ辞書の正しくない自動更新を修正しました。
- SAMPLE使用時にMergeテーブルからGROUP BY句を使用してクエリを実行する場合の例外を修正しました。
- Distributed\_aggregation\_memory\_efficient=1を使用すると、GROUP BYのクラッシュを修正しました。
- これで、データベースを指定できます。INとJOINの右側の表。
- 並列集約に使用されたスレッドが多すぎます。 これは修正されました。
- どのように修正 “if” 関数はFixedString引数で動作します。
- 重みが0のシャードに対して、分散テーブルから誤ってworkedを選択します。 これは修正されました。
- 実行中 `CREATE VIEW IF EXISTS no longer causes crashes.`
- Input\_format\_skip\_unknown\_fields=1が設定され、負の数がある場合の不正な動作を修正しました。
- の無限ループを固定しました。 `dictGetHierarchy()` 辞書に無効なデータがある場合に機能します。
- 固定 `Syntax error: unexpected (...)` INまたはJOIN句およびMergeテーブルでサブクエリを使用して分散クエリを実行するときのエラー。
- 辞書テーブルからのSELECTクエリの誤った解釈を修正しました。
- 固定された “Cannot mremap” 2億を超える要素を持つIN句とJOIN句で配列を使用するとエラーが発生します。
- MySQLをソースとする辞書のフェイルオーバーを修正しました。
#### ClickHouseの開発とアセンブルのワークフローの改善: {#improved-workflow-for-developing-and-assembling-clickhouse-1}
- ビルドはArcadiaで組み立てることができます。
- Gcc7を使用してClickHouseをコンパイルできます。
- Ccache+distccを使用した並列ビルドは、より高速になりました。
### ClickHouseリリース1.1.54245,2017-07-04 {#clickhouse-release-1-1-54245-2017-07-04}
#### 新しい機能: {#new-features-5}
- 分散DDL(たとえば, `CREATE TABLE ON CLUSTER`)
- 複製されたクエリ `ALTER TABLE CLEAR COLUMN IN PARTITION.`
- 辞書テーブルのエンジン(テーブル形式の辞書データへのアクセス)。
- 辞書データベースエンジン(タイプのデータベースに自動的に辞書で使用可能なテーブルを接続外部辞書).
- ソースに要求を送信することで、辞書の更新を確認できます。
- 修飾された列名
- 二重引用符を使用した識別子の引用。
- HTTPイ
- 複製されたテーブルのOPTIMIZEクエリは、リーダーだけでなく実行できます。
#### 下位互換性のない変更: {#backward-incompatible-changes-2}
- グローバルセットを削除。
#### マイナーな変更点: {#minor-changes}
- 今後のアラート実行のログを出力フルスタックトレース.
- 起動時に破損した/余分なデータパーツの数の検証を緩和しました(誤検出が多すぎました)。
#### バグ修正: {#bug-fixes-5}
- 接続不良を修正 “sticking” 分散テーブルに挿入するとき。
- GLOBAL INは、分散テーブルを参照するMergeテーブルからのクエリに対して機能します。
- Google Compute Engine仮想マシンで不正なコア数が検出されました。 これは修正されました。
- キャッシュされた外部辞書の実行可能ソースの動作方法の変更。
- Null文字を含む文字列の比較を修正しました。
- Float32主キーフィールドと定数の比較を修正しました。
- 従来、不正確な見積りのサイズの分野が過度に大きな分配すべき。
- ALTERを使用してテーブルに追加されたNull許容列を照会するとクラッシュする問題を修正しました。
- 行数が制限よりも小さい場合、Null許容列でソートするとクラッシュする問題を修正しました。
- 定数値のみで構成されるORDER BYサブクエリを修正しました。
- については、従来、複製テーブルが残る無効な状態にした後、失敗した下表に示す。
- 空の結果を持つスカラーサブクエリのエイリアスは失われなくなりました。
- コンパイルを使用したクエリは、.soファイルが破損してもエラーで失敗しません。