ClickHouse/docs/ja/whats-new/changelog/2017.md
Ivan Blinkov 9a26d48ad0
Basic blog similar to docs (#11609)
* Basic blog similar to docs

* rename post

* no post content in post_meta

* update readme and template

* more "en" content

* complete "en" content

* build blog redirects

* redirects for migration

* link sitemaps

* update po

* add "ru" content

* ru redirects

* remove old domain mentions

* adjust styles

* content improvements

* +1 alt

* use main images from CDN

* use re-hosted in-content images

* extra vertical margin around embedded youtube

* minor improvements

* adjust post page

* adjust html meta

* adjust post page

* improve blog rendering
2020-06-16 09:31:00 +03:00

22 KiB
Raw Blame History

machine_translated machine_translated_rev toc_priority toc_title
true 72537a2d52 79 2017

ClickHouseリリース1.1.54327,2017-12-21

このリリ:

  • 固定バグでレースの条件で接続文字列の構文は以下のようにこのデータが失われます。 この問題は、バージョン1.1.54310および1.1.54318に影響します。 ご利用の場合これらのバージョンとの複製のテーブルを更新することが強く推奨されます。 この問題にログ警告メッセージのように Part ... from own log doesn't exist. この問題は、ログにこれらのメッセージが表示されない場合でも関連します。

ClickHouseリリース1.1.54318,2017-11-30

このリリ:

  • SummingMergeTreeエンジンでのマージ中の不正な行の削除を修正しました
  • 複雑でないMergeTreeエンジンのメモリリークを修正しました
  • MergeTreeエンジンの頻繁な挿入による性能低下を修正
  • レプリケーションキューの実行が停止する問題を修正しました
  • サーバーログの固定回転とアーカイブ

ClickHouseリリース1.1.54310,2017-11-01

新しい機能:

  • カスタムパーティショニングキーのMergeTree家族のテーブルエンジンです。
  • カフカ テーブルエンジン。
  • ロードのサポートを追加 CatBoost モデルとClickHouseに格納されたデータにそれらを適用します。
  • サポートが追加された時間帯と非整数オフセットからのUTCです。
  • 時間間隔での算術演算のサポートが追加されました。
  • Date型とDateTime型の値の範囲は、2105年まで拡張されます。
  • 追加された CREATE MATERIALIZED VIEW x TO y query(マテリアライズドビューのデータを格納するための既存のテーブルを指定します)。
  • 追加された ATTACH TABLE 引数なしのクエリ。
  • SummingMergeTreeテーブルの-Mapで終わる名前を持つ入れ子になった列の処理ロジックが、sumMap集計関数に抽出されました。 これで、そのような列を明示的に指定できます。
  • IP trie辞書の最大サイズは128Mのエントリに増加します。
  • GetSizeOfEnumType関数を追加しました。
  • SumWithOverflow集計関数を追加しました。
  • Cap'n Proto入力フォーマットのサポートが追加されました。
  • では、今までのカスタマイズの圧縮レベル使用時のzstdアルゴリズムです。

下位互換性のない変更:

  • メモリ以外のエンジンで一時テーブルを作成することはできません。
  • ViewまたはMaterializedViewエンジンでテーブルを明示的に作成することはできません。
  • 中表を作成し、新しいチェックを確認し、サンプリングキー表現が含まれ、その有効なタイプを利用します。

バグ修正:

  • 分散テーブルに同期的に挿入するときのハングを修正しました。
  • 固定nonatomicの追加および削除のパーツで再現します。
  • マテリアライズドビューに挿入されたデータは、不要な重複排除を受けません。
  • ローカルレプリカが遅れており、リモートレプリカが使用できない分散テーブルに対してクエリを実行しても、エラーは発生しません。
  • ユーザーにはアクセス権限は必要ありません。 default 一時テーブルを作成するデータベース。
  • 引数なしで配列型を指定するとクラッシュする問題を修正。
  • 固定hangups時のディスク容量を含むサーバのログします。
  • Unixエポックの最初の週のtoRelativeWeekNum関数のオーバーフローを修正しました。

ビルドの改善:

  • いくつかのサードパーテ

ClickHouseリリース1.1.54304,2017-10-19

新しい機能:

  • ネイティブプロトコ tcp_ssl_portconfig.xml ).

バグ修正:

  • ALTER のための複製のテーブル現しようと走り出しています。
  • 固定波データを読み込むときに設定 preferred_block_size_bytes=0.
  • の固定クラッシュ clickhouse-client 押すとき Page Down
  • 特定の複雑なクエリの正しい解釈 GLOBAL INUNION ALL
  • FREEZE PARTITION いつも原子的に動作します。
  • 空のPOST要求は、コード411の応答を返します。
  • 次のような式の修正された解釈エラー CAST(1 AS Nullable(UInt8)).
  • 読み取り時のエラーを修正 Array(Nullable(String)) からの列 MergeTree テーブル
  • 固定表の構文解析時にクエリのように SELECT dummy AS dummy, dummy AS b
  • ユーザーが無効で正しく更新される users.xml
  • 実行可能ディクショナリがゼロ以外の応答コードを返すときの正しい処理。

ClickHouseリリース1.1.54292,2017-09-20

新しい機能:

  • 追加された pointInPolygon 座標平面上の座標を操作するための関数。
  • 追加された sumMap 配列の合計を計算するための集計関数。 SummingMergeTree.
  • 追加された trunc 機能。 丸め関数のパフォーマンスの向上 (round, floor, ceil, roundToExp2 を正の論理をどのように。 のロジックを変更しました roundToExp2 分数と負の数のための関数。
  • ClickHouse実行可能ファイルは、libcのバージョンにあまり依存しません。 同じClickHouse実行可能ファイルは、さまざまなLinuxシステムで実行できます。 コンパイルされたクエリを使用すると、依存関係がまだあります(設定付き compile = 1 デフォルトでは使用されません)。
  • クエリの動的コンパイルに必要な時間を短縮しました。

バグ修正:

  • 時々生成されるエラーを修正しました part ... intersects previous part メッセージと弱いレプリカの一貫性。
  • シャットダウ
  • 除去の過剰伐採が回復レプリカ.
  • UNION ALL実装のエラーを修正しました。
  • ブロック内の最初の列が配列型である場合に発生したconcat関数のエラーを修正しました。
  • 進行状況がシステムに正しく表示されます。マージテーブル。

ClickHouseリリース1.1.54289,2017-09-13

新しい機能:

  • SYSTEM サーバー管理のクエリ: SYSTEM RELOAD DICTIONARY, SYSTEM RELOAD DICTIONARIES, SYSTEM DROP DNS CACHE, SYSTEM SHUTDOWN, SYSTEM KILL.
  • 配列を操作するための関数を追加しました: concat, arraySlice, arrayPushBack, arrayPushFront, arrayPopBack, arrayPopFront.
  • 追加 rootidentity ZooKeeper設定のパラメータ。 これにより、同じZooKeeperクラスター上の個々のユーザーを分離できます。
  • 集計関数の追加 groupBitAnd, groupBitOr,and groupBitXor (互換性のために、彼らはまた、名前の下で利用可能です BIT_AND, BIT_OR,and BIT_XOR).
  • 外部の辞書からロード可能でMySQLを指定するソケットのファイルシステム.
  • 外部辞書はMySQLからSSL経由でロードできます (ssl_cert, ssl_key, ssl_ca 変数)。
  • 追加された max_network_bandwidth_for_user ユーザーごとのクエリの全体的な帯域幅の使用を制限する設定。
  • のサポート DROP TABLE 一時テーブルの場合。
  • 読書のサポート DateTime Unixタイムスタンプ形式の値 CSVJSONEachRow フォーマット。
  • 分散クエリの遅延レプリカは既定で除外されるようになりました(既定のしきい値は5分です)。
  • FIFOロック使用時の変更変更のクエリーなブ無期限に継続的に走ります。
  • 設定するオプション umask 設定ファイルで。
  • クエリのパフォーマンスの向上 DISTINCT .

バグ修正:

  • ZooKeeperの古いードを削除するプロセスを改善しました。 以前は、非常に頻繁に挿入された場合に古いノードが削除されなかったことがあり、サーバーのシャットダウンが遅くなりました。
  • ZooKeeperへの接続のホストを選択する際のランダム化を修正しました。
  • レプリカがlocalhostの場合、分散クエリでの遅延レプリカの除外を修正しました。
  • エラーを修正しました。 ReplicatedMergeTree テーブルが壊れる恐れがあった後、走行 ALTER MODIFY aの要素に対して Nested 構造。
  • SELECTクエリの原因となるエラーを修正しました “hang”.
  • 分散DDLクエリの改善。
  • クエリを修正しました CREATE TABLE ... AS <materialized view>.
  • のデッドロックを解決しました。 ALTER ... CLEAR COLUMN IN PARTITION クエリ Buffer テーブル
  • の無効なデフォルト値を修正しました Enum s(最小値の代わりに0)を使用する場合 JSONEachRowTSKV フォーマット。
  • ディクショナリを使用するとゾンビプロセスの出現を解決 executable 出典
  • HEADクエリのsegfaultを修正しました。

ClickHouseの開発とアセンブルのワークフローの改善:

  • 以下を使用できます pbuilder ClickHouseを構築する。
  • 以下を使用できます libc++ 代わりに libstdc++ Linux上のビルドの場合。
  • 静的コード分析ツールの使用方法を追加: Coverage, clang-tidy, cppcheck.

ご注意ください:

  • MergeTree設定の既定値が高くなりました max_bytes_to_merge_at_max_space_in_pool (マージするデータ部分の最大合計サイズ、バイト単位):100GiBから150GiBに増加しました。 この結果、大型の合併-走行後のサーバグの原因になりの増加に負荷をディスクサブシステムです。 サーバー上で使用可能な空き領域が、実行中のマージの合計量の倍未満である場合、これにより、小さなデータ部分のマージを含む、他のすべてのマージの実行が その結果、INSERTクエリはメッセージで失敗します “Merges are processing significantly slower than inserts.” 使用する SELECT * FROM system.merges 状況を監視するためのクエリ。 また点検できます DiskSpaceReservedForMerge のメトリック system.metrics テーブル、またはグラファイト。 大きなマージが終了すると問題が解決するので、これを修正するために何もする必要はありません。 これが受け入れられない場合は、以前の値を復元することができます。 max_bytes_to_merge_at_max_space_in_pool 設定。 これを行うには、 <merge_tree> configのセクション。xml、セット <merge_tree>``<max_bytes_to_merge_at_max_space_in_pool>107374182400</max_bytes_to_merge_at_max_space_in_pool> サーバーを再起動します。

ClickHouseリリース1.1.54284,2017-08-29

  • これは以前の1.1.54282リリースのバグ修正リリースです。 ZooKeeperのpartsディレクトリのリークを修正します。

ClickHouseリリース1.1.54282,2017-08-23

このリリースには以前のリリース1.1.54276のバグ修正が含まれています:

  • 固定 DB::Exception: Assertion violation: !_path.empty() 分散テーブルに挿入するとき。
  • 入力データが';'で始まる場合、RowBinary形式で挿入するときの解析を修正しました。
  • Errors during runtime compilation of certain aggregate functions (e.g. groupArray()).

ClickHouseリリース1.1.54276,2017-08-16

新しい機能:

  • SELECTクエリのWITHセクションを追加しました。 クエリの例: WITH 1+1 AS a SELECT a, a*a
  • すべてのデータがすべてのシャードに保存された後にのみOKが返されます。 これは、insert_distributed_sync=1の設定によって有効になります。
  • 16バイト識別子を操作するためのUUIDデータ型を追加しました。
  • Tableauとの互換性のために、CHAR、FLOAT、その他のタイプの別名を追加しました。
  • 時間を数値に変換するための関数toYYYYMM、toYYYYMMDD、およびtoYYYYMMDDhhmmssを追加しました。
  • IPアドレス(ホスト名と共に)を使用して、クラスタ化されたDDLクエリのサーバーを識別できます。
  • 関数内の非定数引数と負のオフセットのサポートが追加されました substring(str, pos, len).
  • のmax_sizeパラメータを追加しました。 groupArray(max_size)(column) 集計関数、およびその性能を最適化しました。

主な変更点:

  • セキュリティの改善すべてのサーバーファイルは0640の権限で作成されます <umask> 設定パラメータ)。
  • 無効な構文を持つクエリのエラーメッセージの改善。
  • MergeTreeデータの大部分をマージするときのメモリ消費の大幅な削減とパフォーマンスの向上。
  • 置換用のデータマージのパフォーマンスが大幅に向上しましたマージツリーエンジン。
  • 性能向上のための非同期に挿入しますから分散型のテーブルを組み合わせで複数のソースしました。 この機能を有効にするには、distributed_directory_monitor_batch_inserts=1の設定を使用します。

下位互換性のない変更:

  • の集合状態のバイナリ形式を変更しました groupArray(array_column) 配列の関数。

変更の完全なリスト:

  • 追加された output_format_json_quote_denormals json形式でnanおよびinf値を出力できるようにする設定。
  • 最適化したストリーム配置の場合を読み込んで配布します。
  • 値が変更されない場合、設定は読み取り専用モードで構成できます。
  • Preferred_block_size_bytes設定で指定されたブロックサイズの制限を満たすために、MergeTreeエンジンの整数以外の顆粒を取得する機能を追加しました。 のための消費量を削減RAMを増やキャッシュの地域が処理クエリーテーブルの大きい。
  • 次のような式を含むインデックスの効率的な使用 toStartOfHour(x) 条件のためのような toStartOfHour(x) op сonstexpr.
  • MergeTreeエンジンの新しい設定を追加しました設定のmerge_treeセクション。xml):
    • replicated_deduplication_window_secondsレプリケートされたテーブル内の挿入を重複除外するために許可される秒数を設定します。
    • cleanup_delay_periodクリーンアップを開始して古いデータを削除する頻度を設定します。
    • replicated_can_become_leaderは、レプリカがリーダーになるのを防ぐことができます(およびマージの割り当て)。
  • 加速の清掃除時代遅れからのデータの飼育係.
  • クラスタ化されたDDLクエリの複数の改善と修正。 特に興味深いのは、クラスタ内のサーバーからの応答を待つ時間を制限する新しい設定distributed_ddl_task_timeoutです。 Ddl要求がすべてのホストで実行されていない場合、応答にはタイムアウトエラーが含まれ、要求は非同期モードで実行されます。
  • サーバーログにおけるスタックトレースの表示の改善。
  • 追加された “none” 圧縮方法の値。
  • Configでは、複数のdictionaries_configセクションを使用できます。xml。
  • ファイルシステム内のソケットを介してMySQLに接続することは可能です。
  • システム。部品表には、マークのサイズに関する情報をバイト単位で含む新しい列があります。

バグ修正:

  • 布を使ってテーブルは、Mergeテーブル現在は正常に動作するクエリを選択し、条件に _table フィールド
  • ReplicatedMergeTreeでデータパーツをチェックする際に、まれな競合状態を修正しました。
  • 固定可能凍結 “leader election” サーバーを起動するとき。
  • データソースのローカルレプリカを使用する場合、max_replica_delay_for_distributed_queries設定は無視されました。 これは修正されました。
  • 修正された不正な動作 ALTER TABLE CLEAR COLUMN IN PARTITION 既存の列以外の列をクリーンアップしようとする場合。
  • 空の配列または文字列を使用している場合、関数multifの例外を修正しました。
  • 固定の過剰なメモリ割当ての場合deserializingネイティブ形式です。
  • トライ辞書の正しくない自動更新を修正しました。
  • SAMPLE使用時にMergeテーブルからGROUP BY句を使用してクエリを実行する場合の例外を修正しました。
  • Distributed_aggregation_memory_efficient=1を使用すると、GROUP BYのクラッシュを修正しました。
  • これで、データベースを指定できます。INとJOINの右側の表。
  • 並列集約に使用されたスレッドが多すぎます。 これは修正されました。
  • どのように修正 “if” 関数はFixedString引数で動作します。
  • 重みが0のシャードに対して、分散テーブルから誤ってworkedを選択します。 これは修正されました。
  • 実行中 CREATE VIEW IF EXISTS no longer causes crashes.
  • Input_format_skip_unknown_fields=1が設定され、負の数がある場合の不正な動作を修正しました。
  • の無限ループを固定しました。 dictGetHierarchy() 辞書に無効なデータがある場合に機能します。
  • 固定 Syntax error: unexpected (...) INまたはJOIN句およびMergeテーブルでサブクエリを使用して分散クエリを実行するときのエラー。
  • 辞書テーブルからのSELECTクエリの誤った解釈を修正しました。
  • 固定された “Cannot mremap” 2億を超える要素を持つIN句とJOIN句で配列を使用するとエラーが発生します。
  • MySQLをソースとする辞書のフェイルオーバーを修正しました。

ClickHouseの開発とアセンブルのワークフローの改善:

  • ビルドはArcadiaで組み立てることができます。
  • Gcc7を使用してClickHouseをコンパイルできます。
  • Ccache+distccを使用した並列ビルドは、より高速になりました。

ClickHouseリリース1.1.54245,2017-07-04

新しい機能:

  • 分散DDL(たとえば, CREATE TABLE ON CLUSTER)
  • 複製されたクエリ ALTER TABLE CLEAR COLUMN IN PARTITION.
  • 辞書テーブルのエンジン(テーブル形式の辞書データへのアクセス)。
  • 辞書データベースエンジン(タイプのデータベースに自動的に辞書で使用可能なテーブルを接続外部辞書).
  • ソースに要求を送信することで、辞書の更新を確認できます。
  • 修飾された列名
  • 二重引用符を使用した識別子の引用。
  • HTTPイ
  • 複製されたテーブルのOPTIMIZEクエリは、リーダーだけでなく実行できます。

下位互換性のない変更:

  • グローバルセットを削除。

マイナーな変更点:

  • 今後のアラート実行のログを出力フルスタックトレース.
  • 起動時に破損した/余分なデータパーツの数の検証を緩和しました(誤検出が多すぎました)。

バグ修正:

  • 接続不良を修正 “sticking” 分散テーブルに挿入するとき。
  • GLOBAL INは、分散テーブルを参照するMergeテーブルからのクエリに対して機能します。
  • Google Compute Engine仮想マシンで不正なコア数が検出されました。 これは修正されました。
  • キャッシュされた外部辞書の実行可能ソースの動作方法の変更。
  • Null文字を含む文字列の比較を修正しました。
  • Float32主キーフィールドと定数の比較を修正しました。
  • 従来、不正確な見積りのサイズの分野が過度に大きな分配すべき。
  • ALTERを使用してテーブルに追加されたNull許容列を照会するとクラッシュする問題を修正しました。
  • 行数が制限よりも小さい場合、Null許容列でソートするとクラッシュする問題を修正しました。
  • 定数値のみで構成されるORDER BYサブクエリを修正しました。
  • については、従来、複製テーブルが残る無効な状態にした後、失敗した下表に示す。
  • 空の結果を持つスカラーサブクエリのエイリアスは失われなくなりました。
  • コンパイルを使用したクエリは、.soファイルが破損してもエラーで失敗しません。