ClickHouse/docs/ja/whats-new/changelog/2017.md

269 lines
22 KiB
Markdown
Raw Normal View History

2020-04-04 09:15:31 +00:00
---
machine_translated: true
machine_translated_rev: 72537a2d527c63c07aa5d2361a8829f3895cf2bd
2020-04-04 09:15:31 +00:00
toc_priority: 79
toc_title: '2017'
---
### ClickHouseリリース1.1.54327,2017-12-21 {#clickhouse-release-1-1-54327-2017-12-21}
2020-04-04 09:15:31 +00:00
このリリ:
- 固定バグでレースの条件で接続文字列の構文は以下のようにこのデータが失われます。 この問題は、バージョン1.1.54310および1.1.54318に影響します。 ご利用の場合これらのバージョンとの複製のテーブルを更新することが強く推奨されます。 この問題にログ警告メッセージのように `Part ... from own log doesn't exist.` この問題は、ログにこれらのメッセージが表示されない場合でも関連します。
2020-04-04 09:15:31 +00:00
### ClickHouseリリース1.1.54318,2017-11-30 {#clickhouse-release-1-1-54318-2017-11-30}
2020-04-04 09:15:31 +00:00
このリリ:
- SummingMergeTreeエンジンでのマージ中の不正な行の削除を修正しました
- 複雑でないMergeTreeエンジンのメモリリークを修正しました
- MergeTreeエンジンの頻繁な挿入による性能低下を修正
- レプリケーションキューの実行が停止する問題を修正しました
2020-04-04 09:15:31 +00:00
- サーバーログの固定回転とアーカイブ
### ClickHouseリリース1.1.54310,2017-11-01 {#clickhouse-release-1-1-54310-2017-11-01}
2020-04-04 09:15:31 +00:00
#### 新しい機能: {#new-features}
- カスタムパーティショニングキーのMergeTree家族のテーブルエンジンです。
- [カフカ](https://clickhouse.yandex/docs/en/operations/table_engines/kafka/) テーブルエンジン。
- ロードのサポートを追加 [CatBoost](https://catboost.yandex/) モデルとClickHouseに格納されたデータにそれらを適用します。
- サポートが追加された時間帯と非整数オフセットからのUTCです。
- 時間間隔での算術演算のサポートが追加されました。
- Date型とDateTime型の値の範囲は、2105年まで拡張されます。
- 追加された `CREATE MATERIALIZED VIEW x TO y` query(マテリアライズドビューのデータを格納するための既存のテーブルを指定します)。
- 追加された `ATTACH TABLE` 引数なしのクエリ。
- SummingMergeTreeテーブルの-Mapで終わる名前を持つ入れ子になった列の処理ロジックが、sumMap集計関数に抽出されました。 これで、そのような列を明示的に指定できます。
2020-04-04 09:15:31 +00:00
- IP trie辞書の最大サイズは128Mのエントリに増加します。
- GetSizeOfEnumType関数を追加しました。
- SumWithOverflow集計関数を追加しました。
- Cap'n Proto入力フォーマットのサポートが追加されました。
2020-04-04 09:15:31 +00:00
- では、今までのカスタマイズの圧縮レベル使用時のzstdアルゴリズムです。
#### 下位互換性のない変更: {#backward-incompatible-changes}
- メモリ以外のエンジンで一時テーブルを作成することはできません。
- ViewまたはMaterializedViewエンジンでテーブルを明示的に作成することはできません。
2020-04-04 09:15:31 +00:00
- 中表を作成し、新しいチェックを確認し、サンプリングキー表現が含まれ、その有効なタイプを利用します。
#### バグ修正: {#bug-fixes}
- 分散テーブルに同期的に挿入するときのハングを修正しました。
- 固定nonatomicの追加および削除のパーツで再現します。
2020-04-04 09:15:31 +00:00
- マテリアライズドビューに挿入されたデータは、不要な重複排除を受けません。
- ローカルレプリカが遅れており、リモートレプリカが使用できない分散テーブルに対してクエリを実行しても、エラーは発生しません。
- ユーザーにはアクセス権限は必要ありません。 `default` 一時テーブルを作成するデータベース。
- 引数なしで配列型を指定するとクラッシュする問題を修正。
2020-04-04 09:15:31 +00:00
- 固定hangups時のディスク容量を含むサーバのログします。
- Unixエポックの最初の週のtoRelativeWeekNum関数のオーバーフローを修正しました。
#### ビルドの改善: {#build-improvements}
- いくつかのサードパーテ
2020-04-04 09:15:31 +00:00
### ClickHouseリリース1.1.54304,2017-10-19 {#clickhouse-release-1-1-54304-2017-10-19}
#### 新しい機能: {#new-features-1}
- ネイティブプロトコ `tcp_ssl_port``config.xml` ).
2020-04-04 09:15:31 +00:00
#### バグ修正: {#bug-fixes-1}
- `ALTER` のための複製のテーブル現しようと走り出しています。
- 固定波データを読み込むときに設定 `preferred_block_size_bytes=0.`
- の固定クラッシュ `clickhouse-client` 押すとき `Page Down`
- 特定の複雑なクエリの正しい解釈 `GLOBAL IN``UNION ALL`
- `FREEZE PARTITION` いつも原子的に動作します。
- 空のPOST要求は、コード411の応答を返します。
- 次のような式の修正された解釈エラー `CAST(1 AS Nullable(UInt8)).`
- 読み取り時のエラーを修正 `Array(Nullable(String))` からの列 `MergeTree` テーブル
2020-04-04 09:15:31 +00:00
- 固定表の構文解析時にクエリのように `SELECT dummy AS dummy, dummy AS b`
- ユーザーが無効で正しく更新される `users.xml`
- 実行可能ディクショナリがゼロ以外の応答コードを返すときの正しい処理。
2020-04-04 09:15:31 +00:00
### ClickHouseリリース1.1.54292,2017-09-20 {#clickhouse-release-1-1-54292-2017-09-20}
2020-04-04 09:15:31 +00:00
#### 新しい機能: {#new-features-2}
- 追加された `pointInPolygon` 座標平面上の座標を操作するための関数。
- 追加された `sumMap` 配列の合計を計算するための集計関数。 `SummingMergeTree`.
- 追加された `trunc` 機能。 丸め関数のパフォーマンスの向上 (`round`, `floor`, `ceil`, `roundToExp2` を正の論理をどのように。 のロジックを変更しました `roundToExp2` 分数と負の数のための関数。
- ClickHouse実行可能ファイルは、libcのバージョンにあまり依存しません。 同じClickHouse実行可能ファイルは、さまざまなLinuxシステムで実行できます。 コンパイルされたクエリを使用すると、依存関係がまだあります(設定付き `compile = 1` デフォルトでは使用されません)。
- クエリの動的コンパイルに必要な時間を短縮しました。
2020-04-04 09:15:31 +00:00
#### バグ修正: {#bug-fixes-2}
- 時々生成されるエラーを修正しました `part ... intersects previous part` メッセージと弱いレプリカの一貫性。
- シャットダウ
- 除去の過剰伐採が回復レプリカ.
- UNION ALL実装のエラーを修正しました。
- ブロック内の最初の列が配列型である場合に発生したconcat関数のエラーを修正しました。
- 進行状況がシステムに正しく表示されます。マージテーブル。
2020-04-04 09:15:31 +00:00
### ClickHouseリリース1.1.54289,2017-09-13 {#clickhouse-release-1-1-54289-2017-09-13}
2020-04-04 09:15:31 +00:00
#### 新しい機能: {#new-features-3}
- `SYSTEM` サーバー管理のクエリ: `SYSTEM RELOAD DICTIONARY`, `SYSTEM RELOAD DICTIONARIES`, `SYSTEM DROP DNS CACHE`, `SYSTEM SHUTDOWN`, `SYSTEM KILL`.
- 配列を操作するための関数を追加しました: `concat`, `arraySlice`, `arrayPushBack`, `arrayPushFront`, `arrayPopBack`, `arrayPopFront`.
- 追加 `root``identity` ZooKeeper設定のパラメータ。 これにより、同じZooKeeperクラスター上の個々のユーザーを分離できます。
- 集計関数の追加 `groupBitAnd`, `groupBitOr`,and `groupBitXor` (互換性のために、彼らはまた、名前の下で利用可能です `BIT_AND`, `BIT_OR`,and `BIT_XOR`).
- 外部の辞書からロード可能でMySQLを指定するソケットのファイルシステム.
- 外部辞書はMySQLからSSL経由でロードできます (`ssl_cert`, `ssl_key`, `ssl_ca` 変数)。
- 追加された `max_network_bandwidth_for_user` ユーザーごとのクエリの全体的な帯域幅の使用を制限する設定。
2020-04-04 09:15:31 +00:00
- のサポート `DROP TABLE` 一時テーブルの場合。
- 読書のサポート `DateTime` Unixタイムスタンプ形式の値 `CSV``JSONEachRow` フォーマット。
- 分散クエリの遅延レプリカは既定で除外されるようになりました(既定のしきい値は5分です)。
- FIFOロック使用時の変更変更のクエリーなブ無期限に継続的に走ります。
2020-04-04 09:15:31 +00:00
- 設定するオプション `umask` 設定ファイルで。
- クエリのパフォーマンスの向上 `DISTINCT` .
#### バグ修正: {#bug-fixes-3}
- ZooKeeperの古いードを削除するプロセスを改善しました。 以前は、非常に頻繁に挿入された場合に古いノードが削除されなかったことがあり、サーバーのシャットダウンが遅くなりました。
- ZooKeeperへの接続のホストを選択する際のランダム化を修正しました。
2020-04-04 09:15:31 +00:00
- レプリカがlocalhostの場合、分散クエリでの遅延レプリカの除外を修正しました。
- エラーを修正しました。 `ReplicatedMergeTree` テーブルが壊れる恐れがあった後、走行 `ALTER MODIFY` aの要素に対して `Nested` 構造。
- SELECTクエリの原因となるエラーを修正しました “hang”.
- 分散DDLクエリの改善。
- クエリを修正しました `CREATE TABLE ... AS <materialized view>`.
- のデッドロックを解決しました。 `ALTER ... CLEAR COLUMN IN PARTITION` クエリ `Buffer` テーブル
- の無効なデフォルト値を修正しました `Enum` s(最小値の代わりに0)を使用する場合 `JSONEachRow``TSKV` フォーマット。
- ディクショナリを使用するとゾンビプロセスの出現を解決 `executable` 出典
- HEADクエリのsegfaultを修正しました。
2020-04-04 09:15:31 +00:00
#### ClickHouseの開発とアセンブルのワークフローの改善: {#improved-workflow-for-developing-and-assembling-clickhouse}
2020-04-04 09:15:31 +00:00
- 以下を使用できます `pbuilder` ClickHouseを構築する。
- 以下を使用できます `libc++` 代わりに `libstdc++` Linux上のビルドの場合。
- 静的コード分析ツールの使用方法を追加: `Coverage`, `clang-tidy`, `cppcheck`.
2020-04-04 09:15:31 +00:00
#### ご注意ください: {#please-note-when-upgrading}
- MergeTree設定の既定値が高くなりました `max_bytes_to_merge_at_max_space_in_pool` (マージするデータ部分の最大合計サイズ、バイト単位):100GiBから150GiBに増加しました。 この結果、大型の合併-走行後のサーバグの原因になりの増加に負荷をディスクサブシステムです。 サーバー上で使用可能な空き領域が、実行中のマージの合計量の倍未満である場合、これにより、小さなデータ部分のマージを含む、他のすべてのマージの実行が その結果、INSERTクエリはメッセージで失敗します “Merges are processing significantly slower than inserts.” 使用する `SELECT * FROM system.merges` 状況を監視するためのクエリ。 また点検できます `DiskSpaceReservedForMerge` のメトリック `system.metrics` テーブル、またはグラファイト。 大きなマージが終了すると問題が解決するので、これを修正するために何もする必要はありません。 これが受け入れられない場合は、以前の値を復元することができます。 `max_bytes_to_merge_at_max_space_in_pool` 設定。 これを行うには、 `<merge_tree>` configのセクション。xml、セット ``` <merge_tree>``<max_bytes_to_merge_at_max_space_in_pool>107374182400</max_bytes_to_merge_at_max_space_in_pool> ``` サーバーを再起動します。
2020-04-04 09:15:31 +00:00
### ClickHouseリリース1.1.54284,2017-08-29 {#clickhouse-release-1-1-54284-2017-08-29}
- これは以前の1.1.54282リリースのバグ修正リリースです。 ZooKeeperのpartsディレクトリのリークを修正します。
2020-04-04 09:15:31 +00:00
### ClickHouseリリース1.1.54282,2017-08-23 {#clickhouse-release-1-1-54282-2017-08-23}
2020-04-04 09:15:31 +00:00
このリリースには以前のリリース1.1.54276のバグ修正が含まれています:
2020-04-04 09:15:31 +00:00
- 固定 `DB::Exception: Assertion violation: !_path.empty()` 分散テーブルに挿入するとき。
- 入力データが';'で始まる場合、RowBinary形式で挿入するときの解析を修正しました。
2020-04-04 09:15:31 +00:00
- Errors during runtime compilation of certain aggregate functions (e.g. `groupArray()`).
### ClickHouseリリース1.1.54276,2017-08-16 {#clickhouse-release-1-1-54276-2017-08-16}
2020-04-04 09:15:31 +00:00
#### 新しい機能: {#new-features-4}
- SELECTクエリのWITHセクションを追加しました。 クエリの例: `WITH 1+1 AS a SELECT a, a*a`
- すべてのデータがすべてのシャードに保存された後にのみOKが返されます。 これは、insert\_distributed\_sync=1の設定によって有効になります。
- 16バイト識別子を操作するためのUUIDデータ型を追加しました。
- Tableauとの互換性のために、CHAR、FLOAT、その他のタイプの別名を追加しました。
- 時間を数値に変換するための関数toYYYYMM、toYYYYMMDD、およびtoYYYYMMDDhhmmssを追加しました。
2020-04-04 09:15:31 +00:00
- IPアドレス(ホスト名と共に)を使用して、クラスタ化されたDDLクエリのサーバーを識別できます。
- 関数内の非定数引数と負のオフセットのサポートが追加されました `substring(str, pos, len).`
- のmax\_sizeパラメータを追加しました。 `groupArray(max_size)(column)` 集計関数、およびその性能を最適化しました。
2020-04-04 09:15:31 +00:00
#### 主な変更点: {#main-changes}
- セキュリティの改善すべてのサーバーファイルは0640の権限で作成されます `<umask>` 設定パラメータ)。
- 無効な構文を持つクエリのエラーメッセージの改善。
- MergeTreeデータの大部分をマージするときのメモリ消費の大幅な削減とパフォーマンスの向上。
- 置換用のデータマージのパフォーマンスが大幅に向上しましたマージツリーエンジン。
- 性能向上のための非同期に挿入しますから分散型のテーブルを組み合わせで複数のソースしました。 この機能を有効にするには、distributed\_directory\_monitor\_batch\_inserts=1の設定を使用します。
2020-04-04 09:15:31 +00:00
#### 下位互換性のない変更: {#backward-incompatible-changes-1}
- の集合状態のバイナリ形式を変更しました `groupArray(array_column)` 配列の関数。
2020-04-04 09:15:31 +00:00
#### 変更の完全なリスト: {#complete-list-of-changes}
- 追加された `output_format_json_quote_denormals` json形式でnanおよびinf値を出力できるようにする設定。
2020-04-04 09:15:31 +00:00
- 最適化したストリーム配置の場合を読み込んで配布します。
- 値が変更されない場合、設定は読み取り専用モードで構成できます。
- Preferred\_block\_size\_bytes設定で指定されたブロックサイズの制限を満たすために、MergeTreeエンジンの整数以外の顆粒を取得する機能を追加しました。 のための消費量を削減RAMを増やキャッシュの地域が処理クエリーテーブルの大きい。
- 次のような式を含むインデックスの効率的な使用 `toStartOfHour(x)` 条件のためのような `toStartOfHour(x) op сonstexpr.`
- MergeTreeエンジンの新しい設定を追加しました設定のmerge\_treeセクション。xml):
- replicated\_deduplication\_window\_secondsレプリケートされたテーブル内の挿入を重複除外するために許可される秒数を設定します。
- cleanup\_delay\_periodクリーンアップを開始して古いデータを削除する頻度を設定します。
- replicated\_can\_become\_leaderは、レプリカがリーダーになるのを防ぐことができます(およびマージの割り当て)。
2020-04-04 09:15:31 +00:00
- 加速の清掃除時代遅れからのデータの飼育係.
- クラスタ化されたDDLクエリの複数の改善と修正。 特に興味深いのは、クラスタ内のサーバーからの応答を待つ時間を制限する新しい設定distributed\_ddl\_task\_timeoutです。 Ddl要求がすべてのホストで実行されていない場合、応答にはタイムアウトエラーが含まれ、要求は非同期モードで実行されます。
2020-04-04 09:15:31 +00:00
- サーバーログにおけるスタックトレースの表示の改善。
- 追加された “none” 圧縮方法の値。
- Configでは、複数のdictionaries\_configセクションを使用できます。xml。
- ファイルシステム内のソケットを介してMySQLに接続することは可能です。
- システム。部品表には、マークのサイズに関する情報をバイト単位で含む新しい列があります。
2020-04-04 09:15:31 +00:00
#### バグ修正: {#bug-fixes-4}
- 布を使ってテーブルは、Mergeテーブル現在は正常に動作するクエリを選択し、条件に `_table` フィールド
- ReplicatedMergeTreeでデータパーツをチェックする際に、まれな競合状態を修正しました。
- 固定可能凍結 “leader election” サーバーを起動するとき。
2020-04-04 09:15:31 +00:00
- データソースのローカルレプリカを使用する場合、max\_replica\_delay\_for\_distributed\_queries設定は無視されました。 これは修正されました。
- 修正された不正な動作 `ALTER TABLE CLEAR COLUMN IN PARTITION` 既存の列以外の列をクリーンアップしようとする場合。
- 空の配列または文字列を使用している場合、関数multifの例外を修正しました。
2020-04-04 09:15:31 +00:00
- 固定の過剰なメモリ割当ての場合deserializingネイティブ形式です。
- トライ辞書の正しくない自動更新を修正しました。
- SAMPLE使用時にMergeテーブルからGROUP BY句を使用してクエリを実行する場合の例外を修正しました。
- Distributed\_aggregation\_memory\_efficient=1を使用すると、GROUP BYのクラッシュを修正しました。
- これで、データベースを指定できます。INとJOINの右側の表。
- 並列集約に使用されたスレッドが多すぎます。 これは修正されました。
- どのように修正 “if” 関数はFixedString引数で動作します。
- 重みが0のシャードに対して、分散テーブルから誤ってworkedを選択します。 これは修正されました。
2020-04-04 09:15:31 +00:00
- 実行中 `CREATE VIEW IF EXISTS no longer causes crashes.`
- Input\_format\_skip\_unknown\_fields=1が設定され、負の数がある場合の不正な動作を修正しました。
- の無限ループを固定しました。 `dictGetHierarchy()` 辞書に無効なデータがある場合に機能します。
- 固定 `Syntax error: unexpected (...)` INまたはJOIN句およびMergeテーブルでサブクエリを使用して分散クエリを実行するときのエラー。
- 辞書テーブルからのSELECTクエリの誤った解釈を修正しました。
- 固定された “Cannot mremap” 2億を超える要素を持つIN句とJOIN句で配列を使用するとエラーが発生します。
- MySQLをソースとする辞書のフェイルオーバーを修正しました。
2020-04-04 09:15:31 +00:00
#### ClickHouseの開発とアセンブルのワークフローの改善: {#improved-workflow-for-developing-and-assembling-clickhouse-1}
2020-04-04 09:15:31 +00:00
- ビルドはArcadiaで組み立てることができます。
2020-04-04 09:15:31 +00:00
- Gcc7を使用してClickHouseをコンパイルできます。
- Ccache+distccを使用した並列ビルドは、より高速になりました。
2020-04-04 09:15:31 +00:00
### ClickHouseリリース1.1.54245,2017-07-04 {#clickhouse-release-1-1-54245-2017-07-04}
#### 新しい機能: {#new-features-5}
- 分散DDL(たとえば, `CREATE TABLE ON CLUSTER`)
2020-04-04 09:15:31 +00:00
- 複製されたクエリ `ALTER TABLE CLEAR COLUMN IN PARTITION.`
- 辞書テーブルのエンジン(テーブル形式の辞書データへのアクセス)。
2020-04-04 09:15:31 +00:00
- 辞書データベースエンジン(タイプのデータベースに自動的に辞書で使用可能なテーブルを接続外部辞書).
- ソースに要求を送信することで、辞書の更新を確認できます。
2020-04-04 09:15:31 +00:00
- 修飾された列名
- 二重引用符を使用した識別子の引用。
- HTTPイ
- 複製されたテーブルのOPTIMIZEクエリは、リーダーだけでなく実行できます。
2020-04-04 09:15:31 +00:00
#### 下位互換性のない変更: {#backward-incompatible-changes-2}
- グローバルセットを削除。
2020-04-04 09:15:31 +00:00
#### マイナーな変更点: {#minor-changes}
2020-04-04 09:15:31 +00:00
- 今後のアラート実行のログを出力フルスタックトレース.
- 起動時に破損した/余分なデータパーツの数の検証を緩和しました(誤検出が多すぎました)。
2020-04-04 09:15:31 +00:00
#### バグ修正: {#bug-fixes-5}
- 接続不良を修正 “sticking” 分散テーブルに挿入するとき。
2020-04-04 09:15:31 +00:00
- GLOBAL INは、分散テーブルを参照するMergeテーブルからのクエリに対して機能します。
- Google Compute Engine仮想マシンで不正なコア数が検出されました。 これは修正されました。
- キャッシュされた外部辞書の実行可能ソースの動作方法の変更。
- Null文字を含む文字列の比較を修正しました。
- Float32主キーフィールドと定数の比較を修正しました。
2020-04-04 09:15:31 +00:00
- 従来、不正確な見積りのサイズの分野が過度に大きな分配すべき。
- ALTERを使用してテーブルに追加されたNull許容列を照会するとクラッシュする問題を修正しました。
- 行数が制限よりも小さい場合、Null許容列でソートするとクラッシュする問題を修正しました。
- 定数値のみで構成されるORDER BYサブクエリを修正しました。
2020-04-04 09:15:31 +00:00
- については、従来、複製テーブルが残る無効な状態にした後、失敗した下表に示す。
- 空の結果を持つスカラーサブクエリのエイリアスは失われなくなりました。
- コンパイルを使用したクエリは、.soファイルが破損してもエラーで失敗しません。