70 KiB
machine_translated | machine_translated_rev | toc_priority | toc_title |
---|---|---|---|
true | 72537a2d52 |
36 | Référence |
Référence De La Fonction Agrégée
compter
Compte le nombre de lignes ou de valeurs non NULL.
ClickHouse prend en charge les syntaxes suivantes pour count
:
count(expr)
ouCOUNT(DISTINCT expr)
.count()
ouCOUNT(*)
. Lecount()
la syntaxe est spécifique à ClickHouse.
Paramètre
La fonction peut prendre:
- Zéro des paramètres.
- Un expression.
Valeur renvoyée
- Si la fonction est appelée sans paramètres, il compte le nombre de lignes.
- Si l' expression est passé, alors la fonction compte combien de fois cette expression retournée not null. Si l'expression renvoie un Nullable- tapez la valeur, puis le résultat de
count
séjours pasNullable
. La fonction renvoie 0 si l'expression est retournéeNULL
pour toutes les lignes.
Dans les deux cas le type de la valeur renvoyée est UInt64.
Détail
Clickhouse soutient le COUNT(DISTINCT ...)
syntaxe. Le comportement de cette construction dépend de la count_distinct_implementation paramètre. Il définit lequel des uniq* fonctions est utilisée pour effectuer l'opération. La valeur par défaut est la uniqExact fonction.
Le SELECT count() FROM table
la requête n'est pas optimisé, car le nombre d'entrées dans la table n'est pas stockée séparément. Il choisit une petite colonne de la table et compte le nombre de valeurs qu'il contient.
Exemple
Exemple 1:
SELECT count() FROM t
┌─count()─┐
│ 5 │
└─────────┘
Exemple 2:
SELECT name, value FROM system.settings WHERE name = 'count_distinct_implementation'
┌─name──────────────────────────┬─value─────┐
│ count_distinct_implementation │ uniqExact │
└───────────────────────────────┴───────────┘
SELECT count(DISTINCT num) FROM t
┌─uniqExact(num)─┐
│ 3 │
└────────────────┘
Cet exemple montre que count(DISTINCT num)
est effectuée par le uniqExact
en fonction de l' count_distinct_implementation
valeur de réglage.
tout(x)
Sélectionne la première valeur rencontrée. La requête peut être exécutée dans n'importe quel ordre, et même dans un ordre différent à chaque fois, de sorte que le résultat de cette fonction est indéterminée. Pour obtenir un résultat déterminé, vous pouvez utiliser le ‘min’ ou ‘max’ fonction au lieu de ‘any’.
Dans certains cas, vous pouvez compter sur l'ordre de l'exécution. Cela s'applique aux cas où SELECT provient d'une sous-requête qui utilise ORDER BY.
Lorsqu'un SELECT
la requête a l' GROUP BY
ou au moins une fonction d'agrégat, ClickHouse (contrairement à MySQL) exige que toutes les expressions du SELECT
, HAVING
, et ORDER BY
clauses être calculée à partir de clés ou de fonctions d'agrégation. En d'autres termes, chaque colonne sélectionnée dans la table doit être utilisée soit dans les clés, soit dans les fonctions d'agrégation. Pour obtenir un comportement comme dans MySQL, vous pouvez mettre les autres colonnes dans le any
fonction d'agrégation.
anyHeavy (x)
Sélectionne une valeur fréquente à l'aide poids lourds algorithme. S'il y a une valeur qui se produit plus de la moitié des cas dans chacun des threads d'exécution de la requête, cette valeur est renvoyée. Normalement, le résultat est non déterministe.
anyHeavy(column)
Argument
column
– The column name.
Exemple
Prendre la OnTime ensemble de données et sélectionnez n'importe quelle valeur AirlineID
colonne.
SELECT anyHeavy(AirlineID) AS res
FROM ontime
┌───res─┐
│ 19690 │
└───────┘
anyLast (x)
Sélectionne la dernière valeur rencontrés.
Le résultat est tout aussi indéterminé que pour le any
fonction.
groupBitAnd
S'applique au niveau du BIT AND
pour les séries de nombres.
groupBitAnd(expr)
Paramètre
expr
– An expression that results in UInt*
type.
Valeur de retour
La valeur de la UInt*
type.
Exemple
Des données de Test:
binary decimal
00101100 = 44
00011100 = 28
00001101 = 13
01010101 = 85
Requête:
SELECT groupBitAnd(num) FROM t
Où num
est la colonne avec les données de test.
Résultat:
binary decimal
00000100 = 4
groupBitOr
S'applique au niveau du BIT OR
pour les séries de nombres.
groupBitOr(expr)
Paramètre
expr
– An expression that results in UInt*
type.
Valeur de retour
La valeur de la UInt*
type.
Exemple
Des données de Test:
binary decimal
00101100 = 44
00011100 = 28
00001101 = 13
01010101 = 85
Requête:
SELECT groupBitOr(num) FROM t
Où num
est la colonne avec les données de test.
Résultat:
binary decimal
01111101 = 125
groupBitXor
S'applique au niveau du BIT XOR
pour les séries de nombres.
groupBitXor(expr)
Paramètre
expr
– An expression that results in UInt*
type.
Valeur de retour
La valeur de la UInt*
type.
Exemple
Des données de Test:
binary decimal
00101100 = 44
00011100 = 28
00001101 = 13
01010101 = 85
Requête:
SELECT groupBitXor(num) FROM t
Où num
est la colonne avec les données de test.
Résultat:
binary decimal
01101000 = 104
groupBitmap
Calculs Bitmap ou agrégés à partir d'une colonne entière non signée, retour cardinalité de type UInt64, si Ajouter suffixe-State, puis retour objet bitmap.
groupBitmap(expr)
Paramètre
expr
– An expression that results in UInt*
type.
Valeur de retour
La valeur de la UInt64
type.
Exemple
Des données de Test:
UserID
1
1
2
3
Requête:
SELECT groupBitmap(UserID) as num FROM t
Résultat:
num
3
min (x)
Calcule le minimum.
max (x)
Calcule le maximum.
argMin (arg, val)
Calcule la ‘arg’ valeur pour un minimum ‘val’ valeur. S'il y a plusieurs valeurs différentes de ‘arg’ pour des valeurs minimales de ‘val’ la première de ces valeurs rencontrées est de sortie.
Exemple:
┌─user─────┬─salary─┐
│ director │ 5000 │
│ manager │ 3000 │
│ worker │ 1000 │
└──────────┴────────┘
SELECT argMin(user, salary) FROM salary
┌─argMin(user, salary)─┐
│ worker │
└──────────────────────┘
argMax(arg, val)
Calcule la ‘arg’ valeur pour un maximum ‘val’ valeur. S'il y a plusieurs valeurs différentes de ‘arg’ pour les valeurs maximales de ‘val’ la première de ces valeurs rencontrées est de sortie.
sum(x)
Calcule la somme. Ne fonctionne que pour les numéros.
sumWithOverflow (x)
Calcule la somme des nombres, en utilisant le même type de données pour le résultat que pour les paramètres d'entrée. Si la somme dépasse la valeur maximale pour ce type de données, la fonction renvoie une erreur.
Ne fonctionne que pour les numéros.
sumMap(clé, valeur), sumMap(Tuple(clé, valeur))
Les totaux de la ‘value’ tableau selon les clés spécifiés dans le ‘key’ tableau. Le passage du tuple des tableaux de clés et de valeurs est synonyme du passage de deux tableaux de clés et de valeurs. Le nombre d'éléments dans ‘key’ et ‘value’ doit être identique pour chaque ligne totalisée. Returns a tuple of two arrays: keys in sorted order, and values summed for the corresponding keys.
Exemple:
CREATE TABLE sum_map(
date Date,
timeslot DateTime,
statusMap Nested(
status UInt16,
requests UInt64
),
statusMapTuple Tuple(Array(Int32), Array(Int32))
) ENGINE = Log;
INSERT INTO sum_map VALUES
('2000-01-01', '2000-01-01 00:00:00', [1, 2, 3], [10, 10, 10], ([1, 2, 3], [10, 10, 10])),
('2000-01-01', '2000-01-01 00:00:00', [3, 4, 5], [10, 10, 10], ([3, 4, 5], [10, 10, 10])),
('2000-01-01', '2000-01-01 00:01:00', [4, 5, 6], [10, 10, 10], ([4, 5, 6], [10, 10, 10])),
('2000-01-01', '2000-01-01 00:01:00', [6, 7, 8], [10, 10, 10], ([6, 7, 8], [10, 10, 10]));
SELECT
timeslot,
sumMap(statusMap.status, statusMap.requests),
sumMap(statusMapTuple)
FROM sum_map
GROUP BY timeslot
┌────────────timeslot─┬─sumMap(statusMap.status, statusMap.requests)─┬─sumMap(statusMapTuple)─────────┐
│ 2000-01-01 00:00:00 │ ([1,2,3,4,5],[10,10,20,10,10]) │ ([1,2,3,4,5],[10,10,20,10,10]) │
│ 2000-01-01 00:01:00 │ ([4,5,6,7,8],[10,10,20,10,10]) │ ([4,5,6,7,8],[10,10,20,10,10]) │
└─────────────────────┴──────────────────────────────────────────────┴────────────────────────────────┘
skewPop
Calcule la asymétrie d'une séquence.
skewPop(expr)
Paramètre
expr
— Expression retour d'un nombre.
Valeur renvoyée
The skewness of the given distribution. Type — Float64
Exemple
SELECT skewPop(value) FROM series_with_value_column
skewSamp
Calcule la asymétrie de l'échantillon d'une séquence.
Il représente une estimation non biaisée de l'asymétrie d'une variable aléatoire si les valeurs passées forme de son échantillon.
skewSamp(expr)
Paramètre
expr
— Expression retour d'un nombre.
Valeur renvoyée
The skewness of the given distribution. Type — Float64. Si n <= 1
(n
est la taille de l'échantillon), alors la fonction renvoie nan
.
Exemple
SELECT skewSamp(value) FROM series_with_value_column
kurtPop
Calcule la kurtosis d'une séquence.
kurtPop(expr)
Paramètre
expr
— Expression retour d'un nombre.
Valeur renvoyée
The kurtosis of the given distribution. Type — Float64
Exemple
SELECT kurtPop(value) FROM series_with_value_column
kurtSamp
Calcule la l'échantillon le coefficient d'aplatissement d'une séquence.
Il représente une estimation non biaisée de la kurtose d'une variable aléatoire si les valeurs passées forment son échantillon.
kurtSamp(expr)
Paramètre
expr
— Expression retour d'un nombre.
Valeur renvoyée
The kurtosis of the given distribution. Type — Float64. Si n <= 1
(n
la taille de l'échantillon), alors la fonction renvoie nan
.
Exemple
SELECT kurtSamp(value) FROM series_with_value_column
avg (x)
Calcule la moyenne. Ne fonctionne que pour les numéros. Le résultat est toujours Float64.
avgWeighted
Calcule la moyenne arithmétique pondérée.
Syntaxe
avgWeighted(x, weight)
Paramètre
x
— Values. Entier ou virgule flottante.weight
— Weights of the values. Entier ou virgule flottante.
Type de x
et weight
doit être le même.
Valeur renvoyée
- Moyenne pondérée.
NaN
. Si tous les poids sont égaux à 0.
Type: Float64.
Exemple
Requête:
SELECT avgWeighted(x, w)
FROM values('x Int8, w Int8', (4, 1), (1, 0), (10, 2))
Résultat:
┌─avgWeighted(x, weight)─┐
│ 8 │
└────────────────────────┘
uniq
Calcule le nombre approximatif des différentes valeurs de l'argument.
uniq(x[, ...])
Paramètre
La fonction prend un nombre variable de paramètres. Les paramètres peuvent être Tuple
, Array
, Date
, DateTime
, String
ou des types numériques.
Valeur renvoyée
- A UInt64numéro de type.
Détails de mise en œuvre
Fonction:
-
Calcule un hachage pour tous les paramètres de l'agrégat, puis l'utilise dans les calculs.
-
Utilise un algorithme d'échantillonnage adaptatif. Pour l'état de calcul, La fonction utilise un échantillon de valeurs de hachage d'éléments jusqu'à 65536.
This algorithm is very accurate and very efficient on the CPU. When the query contains several of these functions, using `uniq` is almost as fast as using other aggregate functions.
-
Fournit le résultat de manière déterministe (cela ne dépend pas de l'ordre de traitement de la requête).
Nous vous recommandons d'utiliser cette fonction dans presque tous les scénarios.
Voir Aussi
uniqcombiné
Calcule le nombre approximatif de différentes valeurs d'argument.
uniqCombined(HLL_precision)(x[, ...])
Le uniqCombined
la fonction est un bon choix pour calculer le nombre de valeurs différentes.
Paramètre
La fonction prend un nombre variable de paramètres. Les paramètres peuvent être Tuple
, Array
, Date
, DateTime
, String
ou des types numériques.
HLL_precision
est le logarithme en base 2 du nombre de cellules dans HyperLogLog. Facultatif, vous pouvez utiliser la fonction comme uniqCombined(x[, ...])
. La valeur par défaut pour HLL_precision
est 17, qui est effectivement 96 Ko d'espace(2 ^ 17 cellules, 6 bits chacune).
Valeur renvoyée
- Nombre UInt64numéro de type.
Détails de mise en œuvre
Fonction:
-
Calcule un hachage (hachage 64 bits pour
String
et 32 bits sinon) pour tous les paramètres dans l'agrégat, puis l'utilise dans les calculs. -
Utilise une combinaison de trois algorithmes: tableau, table de hachage et HyperLogLog avec une table de correction d'erreur.
For a small number of distinct elements, an array is used. When the set size is larger, a hash table is used. For a larger number of elements, HyperLogLog is used, which will occupy a fixed amount of memory.
-
Fournit le résultat de manière déterministe (cela ne dépend pas de l'ordre de traitement de la requête).
!!! note "Note"
Comme il utilise le hachage 32 bits pour non-String
type, le résultat aura une erreur très élevée pour les cardinalités significativement plus grandes que UINT_MAX
(erreur va augmenter rapidement après quelques dizaines de milliards de valeurs distinctes), donc dans ce cas, vous devez utiliser uniqCombined64
Par rapport à la uniq la fonction, la uniqCombined
:
- Consomme plusieurs fois moins de mémoire.
- Calcule avec plusieurs fois plus de précision.
- A généralement des performances légèrement inférieures. Dans certains scénarios,
uniqCombined
peut faire mieux queuniq
par exemple, avec des requêtes distribuées qui transmettent un grand nombre d'agrégation des états sur le réseau.
Voir Aussi
uniqCombined64
Même que uniqcombiné, mais utilise le hachage 64 bits pour tous les types de données.
uniqHLL12
Calcule le nombre approximatif de différentes valeurs d'argument, en utilisant HyperLogLog algorithme.
uniqHLL12(x[, ...])
Paramètre
La fonction prend un nombre variable de paramètres. Les paramètres peuvent être Tuple
, Array
, Date
, DateTime
, String
ou des types numériques.
Valeur renvoyée
- A UInt64numéro de type.
Détails de mise en œuvre
Fonction:
-
Calcule un hachage pour tous les paramètres de l'agrégat, puis l'utilise dans les calculs.
-
Utilise L'algorithme HyperLogLog pour approximer le nombre de valeurs d'argument différentes.
212 5-bit cells are used. The size of the state is slightly more than 2.5 KB. The result is not very accurate (up to ~10% error) for small data sets (<10K elements). However, the result is fairly accurate for high-cardinality data sets (10K-100M), with a maximum error of ~1.6%. Starting from 100M, the estimation error increases, and the function will return very inaccurate results for data sets with extremely high cardinality (1B+ elements).
-
Fournit le résultat déterminé (il ne dépend pas de l'ordre de traitement de la requête).
Nous ne recommandons pas d'utiliser cette fonction. Dans la plupart des cas, l'utilisation de la uniq ou uniqcombiné fonction.
Voir Aussi
uniqExact
Calcule le nombre exact de différentes valeurs d'argument.
uniqExact(x[, ...])
L'utilisation de la uniqExact
fonction si vous avez absolument besoin d'un résultat exact. Sinon l'utilisation de la uniq fonction.
Le uniqExact
la fonction utilise plus de mémoire que uniq
parce que la taille de l'état a surabondance de croissance que le nombre de valeurs différentes augmente.
Paramètre
La fonction prend un nombre variable de paramètres. Les paramètres peuvent être Tuple
, Array
, Date
, DateTime
, String
ou des types numériques.
Voir Aussi
groupArray(x), groupArray (max_size) (x)
Crée un tableau de valeurs de l'argument. Les valeurs peuvent être ajoutées au tableau dans une (indéterminée) de commande.
La deuxième version (avec le max_size
paramètre) limite la taille du tableau résultant à max_size
élément.
Exemple, groupArray (1) (x)
est équivalent à [any (x)]
.
Dans certains cas, vous pouvez toujours compter sur l'ordre de l'exécution. Cela s'applique aux cas où SELECT
provient d'une sous-requête qui utilise ORDER BY
.
groupeparrayinsertat
Insère une valeur dans le tableau à la position spécifiée.
Syntaxe
groupArrayInsertAt(default_x, size)(x, pos);
Si dans une requête plusieurs valeurs sont insérées dans la même position, la fonction se comporte de la manière suivante:
- Si une requête est exécutée dans un seul thread, la première des valeurs insérées est utilisée.
- Si une requête est exécutée dans plusieurs threads, le résultat est indéterminé l'une des valeurs insérées.
Paramètre
x
— Value to be inserted. Expression résultant dans l'un des types de données pris en charge.pos
— Position at which the specified elementx
doit être inséré. L'indice de numérotation dans le tableau commence à partir de zéro. UInt32.default_x
— Default value for substituting in empty positions. Optional parameter. Expression résultant dans le type de données configuré pour lex
paramètre. Sidefault_x
n'est pas définie, la les valeurs par défaut sont utilisés.size
— Length of the resulting array. Optional parameter. When using this parameter, the default valuedefault_x
doit être spécifié. UInt32.
Valeur renvoyée
- Tableau avec des valeurs insérées.
Type: Tableau.
Exemple
Requête:
SELECT groupArrayInsertAt(toString(number), number * 2) FROM numbers(5);
Résultat:
┌─groupArrayInsertAt(toString(number), multiply(number, 2))─┐
│ ['0','','1','','2','','3','','4'] │
└───────────────────────────────────────────────────────────┘
Requête:
SELECT groupArrayInsertAt('-')(toString(number), number * 2) FROM numbers(5);
Résultat:
┌─groupArrayInsertAt('-')(toString(number), multiply(number, 2))─┐
│ ['0','-','1','-','2','-','3','-','4'] │
└────────────────────────────────────────────────────────────────┘
Requête:
SELECT groupArrayInsertAt('-', 5)(toString(number), number * 2) FROM numbers(5);
Résultat:
┌─groupArrayInsertAt('-', 5)(toString(number), multiply(number, 2))─┐
│ ['0','-','1','-','2'] │
└───────────────────────────────────────────────────────────────────┘
Insertion multi-thread d'éléments dans une position.
Requête:
SELECT groupArrayInsertAt(number, 0) FROM numbers_mt(10) SETTINGS max_block_size = 1;
Comme un résultat de cette requête, vous obtenez entier aléatoire dans le [0,9]
gamme. Exemple:
┌─groupArrayInsertAt(number, 0)─┐
│ [7] │
└───────────────────────────────┘
groupeparraymovingsum
Calcule la somme mobile des valeurs d'entrée.
groupArrayMovingSum(numbers_for_summing)
groupArrayMovingSum(window_size)(numbers_for_summing)
La fonction peut prendre la taille de la fenêtre comme paramètre. Si spécifié, la fonction prend la taille de la fenêtre égal au nombre de lignes dans la colonne.
Paramètre
numbers_for_summing
— Expression résultant en une valeur de type de données Numérique.window_size
— Size of the calculation window.
Valeurs renvoyées
- Tableau de la même taille et de même type que les données d'entrée.
Exemple
La table d'échantillon:
CREATE TABLE t
(
`int` UInt8,
`float` Float32,
`dec` Decimal32(2)
)
ENGINE = TinyLog
┌─int─┬─float─┬──dec─┐
│ 1 │ 1.1 │ 1.10 │
│ 2 │ 2.2 │ 2.20 │
│ 4 │ 4.4 │ 4.40 │
│ 7 │ 7.77 │ 7.77 │
└─────┴───────┴──────┘
Requête:
SELECT
groupArrayMovingSum(int) AS I,
groupArrayMovingSum(float) AS F,
groupArrayMovingSum(dec) AS D
FROM t
┌─I──────────┬─F───────────────────────────────┬─D──────────────────────┐
│ [1,3,7,14] │ [1.1,3.3000002,7.7000003,15.47] │ [1.10,3.30,7.70,15.47] │
└────────────┴─────────────────────────────────┴────────────────────────┘
SELECT
groupArrayMovingSum(2)(int) AS I,
groupArrayMovingSum(2)(float) AS F,
groupArrayMovingSum(2)(dec) AS D
FROM t
┌─I──────────┬─F───────────────────────────────┬─D──────────────────────┐
│ [1,3,6,11] │ [1.1,3.3000002,6.6000004,12.17] │ [1.10,3.30,6.60,12.17] │
└────────────┴─────────────────────────────────┴────────────────────────┘
groupArrayMovingAvg
Calcule la moyenne mobile des valeurs d'entrée.
groupArrayMovingAvg(numbers_for_summing)
groupArrayMovingAvg(window_size)(numbers_for_summing)
La fonction peut prendre la taille de la fenêtre comme paramètre. Si spécifié, la fonction prend la taille de la fenêtre égal au nombre de lignes dans la colonne.
Paramètre
numbers_for_summing
— Expression résultant en une valeur de type de données Numérique.window_size
— Size of the calculation window.
Valeurs renvoyées
- Tableau de la même taille et de même type que les données d'entrée.
La fonction utilise l'arrondi vers zéro. Il tronque les décimales insignifiantes pour le type de données résultant.
Exemple
La table d'échantillon b
:
CREATE TABLE t
(
`int` UInt8,
`float` Float32,
`dec` Decimal32(2)
)
ENGINE = TinyLog
┌─int─┬─float─┬──dec─┐
│ 1 │ 1.1 │ 1.10 │
│ 2 │ 2.2 │ 2.20 │
│ 4 │ 4.4 │ 4.40 │
│ 7 │ 7.77 │ 7.77 │
└─────┴───────┴──────┘
Requête:
SELECT
groupArrayMovingAvg(int) AS I,
groupArrayMovingAvg(float) AS F,
groupArrayMovingAvg(dec) AS D
FROM t
┌─I─────────┬─F───────────────────────────────────┬─D─────────────────────┐
│ [0,0,1,3] │ [0.275,0.82500005,1.9250001,3.8675] │ [0.27,0.82,1.92,3.86] │
└───────────┴─────────────────────────────────────┴───────────────────────┘
SELECT
groupArrayMovingAvg(2)(int) AS I,
groupArrayMovingAvg(2)(float) AS F,
groupArrayMovingAvg(2)(dec) AS D
FROM t
┌─I─────────┬─F────────────────────────────────┬─D─────────────────────┐
│ [0,1,3,5] │ [0.55,1.6500001,3.3000002,6.085] │ [0.55,1.65,3.30,6.08] │
└───────────┴──────────────────────────────────┴───────────────────────┘
groupUniqArray(x), groupUniqArray (max_size) (x)
Crée un tableau à partir de différentes valeurs d'argument. La consommation de mémoire est la même que pour la uniqExact
fonction.
La deuxième version (avec le max_size
paramètre) limite la taille du tableau résultant à max_size
élément.
Exemple, groupUniqArray(1)(x)
est équivalent à [any(x)]
.
quantile
Calcule une approximation quantile des données numériques de la séquence.
Cette fonction s'applique réservoir d'échantillonnage avec une taille de réservoir jusqu'à 8192 et un générateur de nombres aléatoires pour l'échantillonnage. Le résultat est non-déterministe. Pour obtenir un quantile exact, Utilisez le quantileExact fonction.
Lorsque vous utilisez plusieurs quantile*
fonctionne avec différents niveaux dans une requête, les états internes ne sont pas combinées (qui est, la requête fonctionne moins efficacement qu'il le pouvait). Dans ce cas, utilisez la les quantiles fonction.
Syntaxe
quantile(level)(expr)
Alias: median
.
Paramètre
level
— Level of quantile. Optional parameter. Constant floating-point number from 0 to 1. We recommend using alevel
la valeur dans la plage de[0.01, 0.99]
. Valeur par défaut: 0.5. Àlevel=0.5
la fonction calcule médian.expr
— Expression over the column values resulting in numeric types de données, Date ou DateTime.
Valeur renvoyée
- Approximative de quantiles de niveau spécifié.
Type:
- Float64 pour l'entrée de type de données numériques.
- Date si les valeurs d'entrée ont le
Date
type. - DateTime si les valeurs d'entrée ont le
DateTime
type.
Exemple
Table d'entrée:
┌─val─┐
│ 1 │
│ 1 │
│ 2 │
│ 3 │
└─────┘
Requête:
SELECT quantile(val) FROM t
Résultat:
┌─quantile(val)─┐
│ 1.5 │
└───────────────┘
Voir Aussi
quantileDeterministic
Calcule une approximation quantile des données numériques de la séquence.
Cette fonction s'applique réservoir d'échantillonnage avec une taille de réservoir jusqu'à 8192 et un algorithme déterministe d'échantillonnage. Le résultat est déterministe. Pour obtenir un quantile exact, Utilisez le quantileExact fonction.
Lorsque vous utilisez plusieurs quantile*
fonctionne avec différents niveaux dans une requête, les états internes ne sont pas combinées (qui est, la requête fonctionne moins efficacement qu'il le pouvait). Dans ce cas, utilisez la les quantiles fonction.
Syntaxe
quantileDeterministic(level)(expr, determinator)
Alias: medianDeterministic
.
Paramètre
level
— Level of quantile. Optional parameter. Constant floating-point number from 0 to 1. We recommend using alevel
la valeur dans la plage de[0.01, 0.99]
. Valeur par défaut: 0.5. Àlevel=0.5
la fonction calcule médian.expr
— Expression over the column values resulting in numeric types de données, Date ou DateTime.determinator
— Number whose hash is used instead of a random number generator in the reservoir sampling algorithm to make the result of sampling deterministic. As a determinator you can use any deterministic positive number, for example, a user id or an event id. If the same determinator value occures too often, the function works incorrectly.
Valeur renvoyée
- Approximative de quantiles de niveau spécifié.
Type:
- Float64 pour l'entrée de type de données numériques.
- Date si les valeurs d'entrée ont le
Date
type. - DateTime si les valeurs d'entrée ont le
DateTime
type.
Exemple
Table d'entrée:
┌─val─┐
│ 1 │
│ 1 │
│ 2 │
│ 3 │
└─────┘
Requête:
SELECT quantileDeterministic(val, 1) FROM t
Résultat:
┌─quantileDeterministic(val, 1)─┐
│ 1.5 │
└───────────────────────────────┘
Voir Aussi
quantileExact
Exactement calcule l' quantile des données numériques de la séquence.
To get exact value, all the passed values are combined into an array, which is then partially sorted. Therefore, the function consumes O(n)
de mémoire, où n
est un nombre de valeurs qui ont été passées. Cependant, pour un petit nombre de valeurs, la fonction est très efficace.
Lorsque vous utilisez plusieurs quantile*
fonctionne avec différents niveaux dans une requête, les états internes ne sont pas combinées (qui est, la requête fonctionne moins efficacement qu'il le pouvait). Dans ce cas, utilisez la les quantiles fonction.
Syntaxe
quantileExact(level)(expr)
Alias: medianExact
.
Paramètre
level
— Level of quantile. Optional parameter. Constant floating-point number from 0 to 1. We recommend using alevel
la valeur dans la plage de[0.01, 0.99]
. Valeur par défaut: 0.5. Àlevel=0.5
la fonction calcule médian.expr
— Expression over the column values resulting in numeric types de données, Date ou DateTime.
Valeur renvoyée
- Quantiles de niveau spécifié.
Type:
- Float64 pour l'entrée de type de données numériques.
- Date si les valeurs d'entrée ont le
Date
type. - DateTime si les valeurs d'entrée ont le
DateTime
type.
Exemple
Requête:
SELECT quantileExact(number) FROM numbers(10)
Résultat:
┌─quantileExact(number)─┐
│ 5 │
└───────────────────────┘
Voir Aussi
quantileExactWeighted
Exactement calcule l' quantile d'une séquence de données numériques, en tenant compte du poids de chaque élément.
To get exact value, all the passed values are combined into an array, which is then partially sorted. Each value is counted with its weight, as if it is present weight
times. A hash table is used in the algorithm. Because of this, if the passed values are frequently repeated, the function consumes less RAM than quantileExact. Vous pouvez utiliser cette fonction au lieu de quantileExact
et spécifiez le poids 1.
Lorsque vous utilisez plusieurs quantile*
fonctionne avec différents niveaux dans une requête, les états internes ne sont pas combinées (qui est, la requête fonctionne moins efficacement qu'il le pouvait). Dans ce cas, utilisez la les quantiles fonction.
Syntaxe
quantileExactWeighted(level)(expr, weight)
Alias: medianExactWeighted
.
Paramètre
level
— Level of quantile. Optional parameter. Constant floating-point number from 0 to 1. We recommend using alevel
la valeur dans la plage de[0.01, 0.99]
. Valeur par défaut: 0.5. Àlevel=0.5
la fonction calcule médian.expr
— Expression over the column values resulting in numeric types de données, Date ou DateTime.weight
— Column with weights of sequence members. Weight is a number of value occurrences.
Valeur renvoyée
- Quantiles de niveau spécifié.
Type:
- Float64 pour l'entrée de type de données numériques.
- Date si les valeurs d'entrée ont le
Date
type. - DateTime si les valeurs d'entrée ont le
DateTime
type.
Exemple
Table d'entrée:
┌─n─┬─val─┐
│ 0 │ 3 │
│ 1 │ 2 │
│ 2 │ 1 │
│ 5 │ 4 │
└───┴─────┘
Requête:
SELECT quantileExactWeighted(n, val) FROM t
Résultat:
┌─quantileExactWeighted(n, val)─┐
│ 1 │
└───────────────────────────────┘
Voir Aussi
quantileTiming
Avec la précision déterminée calcule le quantile des données numériques de la séquence.
Le résultat est déterministe (il ne dépend pas de l'ordre de traitement de la requête). La fonction est optimisée pour travailler avec des séquences qui décrivent des distributions comme les temps de chargement des pages web ou les temps de réponse du backend.
Lorsque vous utilisez plusieurs quantile*
fonctionne avec différents niveaux dans une requête, les états internes ne sont pas combinées (qui est, la requête fonctionne moins efficacement qu'il le pouvait). Dans ce cas, utilisez la les quantiles fonction.
Syntaxe
quantileTiming(level)(expr)
Alias: medianTiming
.
Paramètre
-
level
— Level of quantile. Optional parameter. Constant floating-point number from 0 to 1. We recommend using alevel
la valeur dans la plage de[0.01, 0.99]
. Valeur par défaut: 0.5. Àlevel=0.5
la fonction calcule médian. -
expr
— Expression sur une colonne Valeurs renvoyant un Flottant*numéro de type.- If negative values are passed to the function, the behavior is undefined. - If the value is greater than 30,000 (a page loading time of more than 30 seconds), it is assumed to be 30,000.
Exactitude
Le calcul est précis si:
- Le nombre Total de valeurs ne dépasse pas 5670.
- Le nombre Total de valeurs dépasse 5670, mais le temps de chargement de la page est inférieur à 1024ms.
Sinon, le résultat du calcul est arrondi au plus proche multiple de 16 ms.
!!! note "Note" Pour calculer les quantiles de temps de chargement de page, cette fonction est plus efficace et précise que quantile.
Valeur renvoyée
- Quantiles de niveau spécifié.
Type: Float32
.
!!! note "Note"
Si aucune valeur n'est transmise à la fonction (lors de l'utilisation de quantileTimingIf
), Nan est retourné. Le but est de différencier ces cas de cas qui aboutissent à zéro. Voir Clause ORDER BY pour des notes sur le tri NaN
valeur.
Exemple
Table d'entrée:
┌─response_time─┐
│ 72 │
│ 112 │
│ 126 │
│ 145 │
│ 104 │
│ 242 │
│ 313 │
│ 168 │
│ 108 │
└───────────────┘
Requête:
SELECT quantileTiming(response_time) FROM t
Résultat:
┌─quantileTiming(response_time)─┐
│ 126 │
└───────────────────────────────┘
Voir Aussi
quantileTimingWeighted
Avec la précision déterminée calcule le quantile d'une séquence de données numériques en fonction du poids de chaque élément de séquence.
Le résultat est déterministe (il ne dépend pas de l'ordre de traitement de la requête). La fonction est optimisée pour travailler avec des séquences qui décrivent des distributions comme les temps de chargement des pages web ou les temps de réponse du backend.
Lorsque vous utilisez plusieurs quantile*
fonctionne avec différents niveaux dans une requête, les états internes ne sont pas combinées (qui est, la requête fonctionne moins efficacement qu'il le pouvait). Dans ce cas, utilisez la les quantiles fonction.
Syntaxe
quantileTimingWeighted(level)(expr, weight)
Alias: medianTimingWeighted
.
Paramètre
-
level
— Level of quantile. Optional parameter. Constant floating-point number from 0 to 1. We recommend using alevel
la valeur dans la plage de[0.01, 0.99]
. Valeur par défaut: 0.5. Àlevel=0.5
la fonction calcule médian. -
expr
— Expression sur une colonne Valeurs renvoyant un Flottant*numéro de type.- If negative values are passed to the function, the behavior is undefined. - If the value is greater than 30,000 (a page loading time of more than 30 seconds), it is assumed to be 30,000.
-
weight
— Column with weights of sequence elements. Weight is a number of value occurrences.
Exactitude
Le calcul est précis si:
- Le nombre Total de valeurs ne dépasse pas 5670.
- Le nombre Total de valeurs dépasse 5670, mais le temps de chargement de la page est inférieur à 1024ms.
Sinon, le résultat du calcul est arrondi au plus proche multiple de 16 ms.
!!! note "Note" Pour calculer les quantiles de temps de chargement de page, cette fonction est plus efficace et précise que quantile.
Valeur renvoyée
- Quantiles de niveau spécifié.
Type: Float32
.
!!! note "Note"
Si aucune valeur n'est transmise à la fonction (lors de l'utilisation de quantileTimingIf
), Nan est retourné. Le but est de différencier ces cas de cas qui aboutissent à zéro. Voir Clause ORDER BY pour des notes sur le tri NaN
valeur.
Exemple
Table d'entrée:
┌─response_time─┬─weight─┐
│ 68 │ 1 │
│ 104 │ 2 │
│ 112 │ 3 │
│ 126 │ 2 │
│ 138 │ 1 │
│ 162 │ 1 │
└───────────────┴────────┘
Requête:
SELECT quantileTimingWeighted(response_time, weight) FROM t
Résultat:
┌─quantileTimingWeighted(response_time, weight)─┐
│ 112 │
└───────────────────────────────────────────────┘
Voir Aussi
quantileTDigest
Calcule une approximation quantile d'une séquence de données numériques utilisant t-digest algorithme.
L'erreur maximale est de 1%. La consommation de mémoire est log(n)
, où n
est un certain nombre de valeurs. Le résultat dépend de l'ordre d'exécution de la requête et n'est pas déterministe.
La performance de la fonction est inférieure à la performance de quantile ou quantileTiming. En termes de rapport entre la taille de L'état et la précision, cette fonction est bien meilleure que quantile
.
Lorsque vous utilisez plusieurs quantile*
fonctionne avec différents niveaux dans une requête, les états internes ne sont pas combinées (qui est, la requête fonctionne moins efficacement qu'il le pouvait). Dans ce cas, utilisez la les quantiles fonction.
Syntaxe
quantileTDigest(level)(expr)
Alias: medianTDigest
.
Paramètre
level
— Level of quantile. Optional parameter. Constant floating-point number from 0 to 1. We recommend using alevel
la valeur dans la plage de[0.01, 0.99]
. Valeur par défaut: 0.5. Àlevel=0.5
la fonction calcule médian.expr
— Expression over the column values resulting in numeric types de données, Date ou DateTime.
Valeur renvoyée
- Approximative de quantiles de niveau spécifié.
Type:
- Float64 pour l'entrée de type de données numériques.
- Date si les valeurs d'entrée ont le
Date
type. - DateTime si les valeurs d'entrée ont le
DateTime
type.
Exemple
Requête:
SELECT quantileTDigest(number) FROM numbers(10)
Résultat:
┌─quantileTDigest(number)─┐
│ 4.5 │
└─────────────────────────┘
Voir Aussi
quantileTDigestWeighted
Calcule une approximation quantile d'une séquence de données numériques utilisant t-digest algorithme. La fonction prend en compte le poids de chaque séquence de membre. L'erreur maximale est de 1%. La consommation de mémoire est log(n)
, où n
est un certain nombre de valeurs.
La performance de la fonction est inférieure à la performance de quantile ou quantileTiming. En termes de rapport entre la taille de L'état et la précision, cette fonction est bien meilleure que quantile
.
Le résultat dépend de l'ordre d'exécution de la requête et n'est pas déterministe.
Lorsque vous utilisez plusieurs quantile*
fonctionne avec différents niveaux dans une requête, les états internes ne sont pas combinées (qui est, la requête fonctionne moins efficacement qu'il le pouvait). Dans ce cas, utilisez la les quantiles fonction.
Syntaxe
quantileTDigest(level)(expr)
Alias: medianTDigest
.
Paramètre
level
— Level of quantile. Optional parameter. Constant floating-point number from 0 to 1. We recommend using alevel
la valeur dans la plage de[0.01, 0.99]
. Valeur par défaut: 0.5. Àlevel=0.5
la fonction calcule médian.expr
— Expression over the column values resulting in numeric types de données, Date ou DateTime.weight
— Column with weights of sequence elements. Weight is a number of value occurrences.
Valeur renvoyée
- Approximative de quantiles de niveau spécifié.
Type:
- Float64 pour l'entrée de type de données numériques.
- Date si les valeurs d'entrée ont le
Date
type. - DateTime si les valeurs d'entrée ont le
DateTime
type.
Exemple
Requête:
SELECT quantileTDigestWeighted(number, 1) FROM numbers(10)
Résultat:
┌─quantileTDigestWeighted(number, 1)─┐
│ 4.5 │
└────────────────────────────────────┘
Voir Aussi
médian
Le median*
les fonctions sont les Alias pour le correspondant quantile*
fonction. Ils calculent la médiane d'un échantillon de données numériques.
Fonction:
median
— Alias for quantile.medianDeterministic
— Alias for quantileDeterministic.medianExact
— Alias for quantileExact.medianExactWeighted
— Alias for quantileExactWeighted.medianTiming
— Alias for quantileTiming.medianTimingWeighted
— Alias for quantileTimingWeighted.medianTDigest
— Alias for quantileTDigest.medianTDigestWeighted
— Alias for quantileTDigestWeighted.
Exemple
Table d'entrée:
┌─val─┐
│ 1 │
│ 1 │
│ 2 │
│ 3 │
└─────┘
Requête:
SELECT medianDeterministic(val, 1) FROM t
Résultat:
┌─medianDeterministic(val, 1)─┐
│ 1.5 │
└─────────────────────────────┘
quantiles(level1, level2, …)(x)
Toutes les fonctions quantiles ont également des fonctions quantiles correspondantes: quantiles
, quantilesDeterministic
, quantilesTiming
, quantilesTimingWeighted
, quantilesExact
, quantilesExactWeighted
, quantilesTDigest
. Ces fonctions calculent tous les quantiles des niveaux listés en une seule passe et renvoient un tableau des valeurs résultantes.
varSamp (x)
Calcule le montant Σ((x - x̅)^2) / (n - 1)
, où n
est la taille de l'échantillon et x̅
est la valeur moyenne de x
.
Il représente une estimation non biaisée de la variance d'une variable aléatoire si les valeurs passées forment son échantillon.
Retourner Float64
. Lorsque n <= 1
, retourner +∞
.
!!! note "Note"
Cette fonction utilise un algorithme numériquement instable. Si vous avez besoin d' stabilité numérique dans les calculs, utiliser le varSampStable
fonction. Il fonctionne plus lentement, mais fournit une erreur de calcul inférieure.
varPop (x)
Calcule le montant Σ((x - x̅)^2) / n
, où n
est la taille de l'échantillon et x̅
est la valeur moyenne de x
.
En d'autres termes, dispersion pour un ensemble de valeurs. Retourner Float64
.
!!! note "Note"
Cette fonction utilise un algorithme numériquement instable. Si vous avez besoin d' stabilité numérique dans les calculs, utiliser le varPopStable
fonction. Il fonctionne plus lentement, mais fournit une erreur de calcul inférieure.
stddevSamp (x)
Le résultat est égal à la racine carrée de varSamp(x)
.
!!! note "Note"
Cette fonction utilise un algorithme numériquement instable. Si vous avez besoin d' stabilité numérique dans les calculs, utiliser le stddevSampStable
fonction. Il fonctionne plus lentement, mais fournit une erreur de calcul inférieure.
stddevPop (x)
Le résultat est égal à la racine carrée de varPop(x)
.
!!! note "Note"
Cette fonction utilise un algorithme numériquement instable. Si vous avez besoin d' stabilité numérique dans les calculs, utiliser le stddevPopStable
fonction. Il fonctionne plus lentement, mais fournit une erreur de calcul inférieure.
topK (N) (x)
Renvoie un tableau des valeurs approximativement les plus fréquentes dans la colonne spécifiée. Le tableau est trié par ordre décroissant de fréquence approximative des valeurs (et non par les valeurs elles-mêmes).
Met en œuvre la Gain De Place Filtré algorithme d'analyse de TopK, basé sur l'algorithme de réduction et de combinaison de Économie D'Espace Parallèle.
topK(N)(column)
Cette fonction ne fournit pas un résultat garanti. Dans certaines situations, des erreurs peuvent se produire et renvoyer des valeurs fréquentes qui ne sont pas les valeurs les plus fréquentes.
Nous vous recommandons d'utiliser l' N < 10
valeur; performance est réduite avec grand N
valeur. Valeur maximale de N = 65536
.
Paramètre
- ‘N’ est le nombre d'éléments de retour.
Si le paramètre est omis, la valeur par défaut 10 est utilisé.
Argument
- ' x ' – The value to calculate frequency.
Exemple
Prendre la OnTime ensemble de données et sélectionnez les trois valeurs les plus fréquentes AirlineID
colonne.
SELECT topK(3)(AirlineID) AS res
FROM ontime
┌─res─────────────────┐
│ [19393,19790,19805] │
└─────────────────────┘
topKWeighted
Semblable à topK
mais prend un argument de type entier - weight
. Chaque valeur est comptabilisée weight
les temps de calcul de fréquence.
Syntaxe
topKWeighted(N)(x, weight)
Paramètre
N
— The number of elements to return.
Argument
x
– The value.weight
— The weight. UInt8.
Valeur renvoyée
Renvoie un tableau des valeurs avec la somme approximative maximale des poids.
Exemple
Requête:
SELECT topKWeighted(10)(number, number) FROM numbers(1000)
Résultat:
┌─topKWeighted(10)(number, number)──────────┐
│ [999,998,997,996,995,994,993,992,991,990] │
└───────────────────────────────────────────┘
covarSamp(x, y)
Calcule la valeur de Σ((x - x̅)(y - y̅)) / (n - 1)
.
Renvoie Float64. Lorsque n <= 1
, returns +∞.
!!! note "Note"
Cette fonction utilise un algorithme numériquement instable. Si vous avez besoin d' stabilité numérique dans les calculs, utiliser le covarSampStable
fonction. Il fonctionne plus lentement, mais fournit une erreur de calcul inférieure.
covarPop (x, y)
Calcule la valeur de Σ((x - x̅)(y - y̅)) / n
.
!!! note "Note"
Cette fonction utilise un algorithme numériquement instable. Si vous avez besoin d' stabilité numérique dans les calculs, utiliser le covarPopStable
fonction. Cela fonctionne plus lentement mais fournit une erreur de calcul inférieure.
corr (x, y)
Calcule le coefficient de corrélation de Pearson: Σ((x - x̅)(y - y̅)) / sqrt(Σ((x - x̅)^2) * Σ((y - y̅)^2))
.
!!! note "Note"
Cette fonction utilise un algorithme numériquement instable. Si vous avez besoin d' stabilité numérique dans les calculs, utiliser le corrStable
fonction. Il fonctionne plus lentement, mais fournit une erreur de calcul inférieure.
categoricalInformationValue
Calcule la valeur de (P(tag = 1) - P(tag = 0))(log(P(tag = 1)) - log(P(tag = 0)))
pour chaque catégorie.
categoricalInformationValue(category1, category2, ..., tag)
Le résultat indique comment une caractéristique discrète (catégorique) [category1, category2, ...]
contribuer à un modèle d'apprentissage qui prédit la valeur de tag
.
simplelineearregression
Effectue une régression linéaire simple (unidimensionnelle).
simpleLinearRegression(x, y)
Paramètre:
x
— Column with dependent variable values.y
— Column with explanatory variable values.
Valeurs renvoyées:
Constant (a, b)
de la ligne y = a*x + b
.
Exemple
SELECT arrayReduce('simpleLinearRegression', [0, 1, 2, 3], [0, 1, 2, 3])
┌─arrayReduce('simpleLinearRegression', [0, 1, 2, 3], [0, 1, 2, 3])─┐
│ (1,0) │
└───────────────────────────────────────────────────────────────────┘
SELECT arrayReduce('simpleLinearRegression', [0, 1, 2, 3], [3, 4, 5, 6])
┌─arrayReduce('simpleLinearRegression', [0, 1, 2, 3], [3, 4, 5, 6])─┐
│ (1,3) │
└───────────────────────────────────────────────────────────────────┘
stochasticLinearRegression
Cette fonction implémente la régression linéaire stochastique. Il prend en charge les paramètres personnalisés pour le taux d'apprentissage, le coefficient de régularisation L2, la taille de mini-lot et a peu de méthodes pour mettre à jour les poids (Adam (utilisé par défaut), simple SGD, Élan, Nesterov).
Paramètre
Il y a 4 paramètres personnalisables. Ils sont passés à la fonction séquentiellement, mais il n'est pas nécessaire de passer tous les quatre-les valeurs par défaut seront utilisées, mais un bon modèle nécessite un réglage des paramètres.
stochasticLinearRegression(1.0, 1.0, 10, 'SGD')
learning rate
est le coefficient sur la longueur de l'étape, lorsque l'étape de descente de gradient est effectuée. Un taux d'apprentissage trop élevé peut entraîner des poids infinis du modèle. Par défaut est0.00001
.l2 regularization coefficient
ce qui peut aider à éviter le surajustement. Par défaut est0.1
.mini-batch size
définit le nombre d'éléments, dont les gradients seront calculés et additionnés pour effectuer une étape de descente de gradient. La descente stochastique Pure utilise un élément, mais avoir de petits lots (environ 10 éléments) rend les étapes de gradient plus stables. Par défaut est15
.method for updating weights
ils sont:Adam
(par défaut),SGD
,Momentum
,Nesterov
.Momentum
etNesterov
nécessitent un peu plus de calculs et de mémoire, mais ils sont utiles en termes de vitesse de convergence et de stabilité des méthodes de gradient stochastique.
Utilisation
stochasticLinearRegression
est utilisé en deux étapes: ajustement du modèle et prédiction sur de nouvelles données. Afin de correspondre le modèle et l'enregistrer son état pour utilisation ultérieure nous utilisons -State
combinator, qui enregistre essentiellement l'état (poids du modèle, etc.).
Pour prédire nous utilisons la fonction evalMLMethod qui prend un état comme un argument ainsi que des fonctionnalités à prévoir sur.
1. Raccord
Une telle requête peut être utilisé.
CREATE TABLE IF NOT EXISTS train_data
(
param1 Float64,
param2 Float64,
target Float64
) ENGINE = Memory;
CREATE TABLE your_model ENGINE = Memory AS SELECT
stochasticLinearRegressionState(0.1, 0.0, 5, 'SGD')(target, param1, param2)
AS state FROM train_data;
Ici, nous devons également insérer des données dans train_data
table. Le nombre de paramètres n'est pas fixe, il dépend uniquement du nombre d'arguments, passés dans linearRegressionState
. Ils doivent tous être des valeurs numériques.
Notez que la colonne avec la valeur cible (que nous aimerions apprendre à prédire) est insérée comme premier argument.
2. Prédire
Après avoir enregistré un État dans la table, nous pouvons l'utiliser plusieurs fois pour la prédiction, ou même fusionner avec d'autres États et créer de nouveaux modèles encore meilleurs.
WITH (SELECT state FROM your_model) AS model SELECT
evalMLMethod(model, param1, param2) FROM test_data
La requête renvoie une colonne de valeurs prédites. Notez que le premier argument de evalMLMethod
être AggregateFunctionState
objet, sont ensuite des colonnes de fonctionnalités.
test_data
est un tableau comme train_data
mais peut ne pas contenir de valeur cible.
Note
-
Pour fusionner deux modèles l'utilisateur peut créer une telle requête:
sql SELECT state1 + state2 FROM your_models
oùyour_models
le tableau contient les deux modèles. Cette requête renvoie la nouvelleAggregateFunctionState
objet. -
L'utilisateur peut récupérer les poids du modèle pour ses propres fins, sans enregistrer le modèle, si aucune
-State
combinator est utilisé.sql SELECT stochasticLinearRegression(0.01)(target, param1, param2) FROM train_data
Une telle requête s'adaptera au Modèle et retournera ses poids-d'abord sont des poids, qui correspondent aux paramètres du modèle, le dernier est un biais. Ainsi, dans l'exemple ci-dessus, la requête renvoie une colonne avec 3 valeurs.
Voir Aussi
stochasticLogisticRegression
Cette fonction implémente la régression logistique stochastique. Il peut être utilisé pour le problème de classification binaire, prend en charge les mêmes paramètres personnalisés que stochasticLinearRegression et fonctionne de la même manière.
Paramètre
Les paramètres sont exactement les mêmes que dans stochasticLinearRegression:
learning rate
, l2 regularization coefficient
, mini-batch size
, method for updating weights
.
Pour plus d'informations, voir paramètre.
stochasticLogisticRegression(1.0, 1.0, 10, 'SGD')
- Raccord
See the `Fitting` section in the [stochasticLinearRegression](#stochasticlinearregression-usage-fitting) description.
Predicted labels have to be in \[-1, 1\].
- Prédire
Using saved state we can predict probability of object having label `1`.
``` sql
WITH (SELECT state FROM your_model) AS model SELECT
evalMLMethod(model, param1, param2) FROM test_data
```
The query will return a column of probabilities. Note that first argument of `evalMLMethod` is `AggregateFunctionState` object, next are columns of features.
We can also set a bound of probability, which assigns elements to different labels.
``` sql
SELECT ans < 1.1 AND ans > 0.5 FROM
(WITH (SELECT state FROM your_model) AS model SELECT
evalMLMethod(model, param1, param2) AS ans FROM test_data)
```
Then the result will be labels.
`test_data` is a table like `train_data` but may not contain target value.
Voir Aussi
groupBitmapAnd
Calculs le et d'une colonne bitmap, retour cardinalité de type UInt64, si Ajouter suffixe-État, puis retour objet bitmap.
groupBitmapAnd(expr)
Paramètre
expr
– An expression that results in AggregateFunction(groupBitmap, UInt*)
type.
Valeur de retour
La valeur de la UInt64
type.
Exemple
DROP TABLE IF EXISTS bitmap_column_expr_test2;
CREATE TABLE bitmap_column_expr_test2
(
tag_id String,
z AggregateFunction(groupBitmap, UInt32)
)
ENGINE = MergeTree
ORDER BY tag_id;
INSERT INTO bitmap_column_expr_test2 VALUES ('tag1', bitmapBuild(cast([1,2,3,4,5,6,7,8,9,10] as Array(UInt32))));
INSERT INTO bitmap_column_expr_test2 VALUES ('tag2', bitmapBuild(cast([6,7,8,9,10,11,12,13,14,15] as Array(UInt32))));
INSERT INTO bitmap_column_expr_test2 VALUES ('tag3', bitmapBuild(cast([2,4,6,8,10,12] as Array(UInt32))));
SELECT groupBitmapAnd(z) FROM bitmap_column_expr_test2 WHERE like(tag_id, 'tag%');
┌─groupBitmapAnd(z)─┐
│ 3 │
└───────────────────┘
SELECT arraySort(bitmapToArray(groupBitmapAndState(z))) FROM bitmap_column_expr_test2 WHERE like(tag_id, 'tag%');
┌─arraySort(bitmapToArray(groupBitmapAndState(z)))─┐
│ [6,8,10] │
└──────────────────────────────────────────────────┘
groupBitmapOr
Calculs le ou d'une colonne bitmap, retour cardinalité de type UInt64, si Ajouter suffixe-État, puis retour objet bitmap. C'est l'équivalent de groupBitmapMerge
.
groupBitmapOr(expr)
Paramètre
expr
– An expression that results in AggregateFunction(groupBitmap, UInt*)
type.
Valeur de retour
La valeur de la UInt64
type.
Exemple
DROP TABLE IF EXISTS bitmap_column_expr_test2;
CREATE TABLE bitmap_column_expr_test2
(
tag_id String,
z AggregateFunction(groupBitmap, UInt32)
)
ENGINE = MergeTree
ORDER BY tag_id;
INSERT INTO bitmap_column_expr_test2 VALUES ('tag1', bitmapBuild(cast([1,2,3,4,5,6,7,8,9,10] as Array(UInt32))));
INSERT INTO bitmap_column_expr_test2 VALUES ('tag2', bitmapBuild(cast([6,7,8,9,10,11,12,13,14,15] as Array(UInt32))));
INSERT INTO bitmap_column_expr_test2 VALUES ('tag3', bitmapBuild(cast([2,4,6,8,10,12] as Array(UInt32))));
SELECT groupBitmapOr(z) FROM bitmap_column_expr_test2 WHERE like(tag_id, 'tag%');
┌─groupBitmapOr(z)─┐
│ 15 │
└──────────────────┘
SELECT arraySort(bitmapToArray(groupBitmapOrState(z))) FROM bitmap_column_expr_test2 WHERE like(tag_id, 'tag%');
┌─arraySort(bitmapToArray(groupBitmapOrState(z)))─┐
│ [1,2,3,4,5,6,7,8,9,10,11,12,13,14,15] │
└─────────────────────────────────────────────────┘
groupBitmapXor
Calculs le XOR d'une colonne bitmap, retour cardinalité de type UInt64, si Ajouter suffixe-État, puis retour objet bitmap.
groupBitmapOr(expr)
Paramètre
expr
– An expression that results in AggregateFunction(groupBitmap, UInt*)
type.
Valeur de retour
La valeur de la UInt64
type.
Exemple
DROP TABLE IF EXISTS bitmap_column_expr_test2;
CREATE TABLE bitmap_column_expr_test2
(
tag_id String,
z AggregateFunction(groupBitmap, UInt32)
)
ENGINE = MergeTree
ORDER BY tag_id;
INSERT INTO bitmap_column_expr_test2 VALUES ('tag1', bitmapBuild(cast([1,2,3,4,5,6,7,8,9,10] as Array(UInt32))));
INSERT INTO bitmap_column_expr_test2 VALUES ('tag2', bitmapBuild(cast([6,7,8,9,10,11,12,13,14,15] as Array(UInt32))));
INSERT INTO bitmap_column_expr_test2 VALUES ('tag3', bitmapBuild(cast([2,4,6,8,10,12] as Array(UInt32))));
SELECT groupBitmapXor(z) FROM bitmap_column_expr_test2 WHERE like(tag_id, 'tag%');
┌─groupBitmapXor(z)─┐
│ 10 │
└───────────────────┘
SELECT arraySort(bitmapToArray(groupBitmapXorState(z))) FROM bitmap_column_expr_test2 WHERE like(tag_id, 'tag%');
┌─arraySort(bitmapToArray(groupBitmapXorState(z)))─┐
│ [1,3,5,6,8,10,11,13,14,15] │
└──────────────────────────────────────────────────┘