Перейти к основному содержимому
Перейти к основному содержимому

SummingMergeTree

Движок наследуется от MergeTree. Отличие заключается в том, что при слиянии частей данных для таблиц SummingMergeTree ClickHouse заменяет все строки с тем же первичным ключом (или, точнее, с тем же ключом сортировки) одной строкой, которая содержит сводные значения для колонок с числовым типом данных. Если ключ сортировки составлен так, что одно значение ключа соответствует большому количеству строк, это значительно уменьшает объем хранимых данных и ускоряет выборку данных.

Мы рекомендуем использовать этот движок вместе с MergeTree. Храните полные данные в таблице MergeTree, а используйте SummingMergeTree для хранения агрегированных данных, например, при подготовке отчетов. Такой подход позволит вам избежать потери ценных данных из-за некорректно составленного первичного ключа.

Создание таблицы​

Для описания параметров запроса смотрите описание запроса.

Параметры SummingMergeTree​

columns​

columns - кортеж с именами колонок, где будут суммироваться значения. Необязательный параметр. Колонки должны быть числового типа и не должны входить в первичный ключ.

Если columns не указан, ClickHouse суммирует значения во всех колонках с числовым типом данных, которые не входят в первичный ключ.

Части запроса​

При создании таблицы SummingMergeTree требуются те же части, что и при создании таблицы MergeTree.

Устаревший метод создания таблицы
примечание

Не используйте этот метод в новых проектах и, если возможно, переключите старые проекты на описанный выше метод.

Все параметры, кроме columns, имеют то же значение, что и в MergeTree.

  • columns — кортеж с именами колонок, значения которых будут суммироваться. Необязательный параметр. Для описания смотрите текст выше.

Пример использования​

Рассмотрим следующую таблицу:

Вставим данные в нее:

ClickHouse может не полностью суммировать все строки (см. ниже), поэтому мы используем агрегационную функцию sum и часть GROUP BY в запросе.

Обработка данных​

Когда данные вставляются в таблицу, они сохраняются как есть. ClickHouse периодически объединяет вставленные части данных, и именно тогда строки с тем же первичным ключом суммируются и заменяются одной строкой для каждой результирующей части данных.

ClickHouse может объединять части данных таким образом, что различные результирующие части данных могут состоять из строк с тем же первичным ключом, т.е. суммирование будет неполным. Поэтому (SELECT) агрегационную функцию sum() и часть GROUP BY следует использовать в запросе, как описано в примере выше.

Общие правила для суммирования​

Значения в колонках с числовым типом данных суммируются. Набор колонок определяется параметром columns.

Если значения во всех колонках для суммирования были 0, строка удаляется.

Если колонка не входит в первичный ключ и не суммируется, выбирается произвольное значение из существующих.

Значения не суммируются для колонок в первичном ключе.

Суммирование в колонках типа AggregateFunction​

Для колонок типа AggregateFunction ClickHouse ведет себя как движок AggregatingMergeTree, агрегируя в соответствии с функцией.

Вложенные структуры​

Таблица может иметь вложенные структуры данных, которые обрабатываются особым образом.

Если имя вложенной таблицы заканчивается на Map и содержит по меньшей мере два столбца, которые соответствуют следующим критериям:

  • первый столбец числовой (*Int*, Date, DateTime) или строковый (String, FixedString), давайте назовем его key,
  • другие столбцы арифметические (*Int*, Float32/64), давайте назовем их (values...),

то эта вложенная таблица интерпретируется как отображение key => (values...), и при слиянии ее строк элементы двух наборов данных объединяются по key с суммированием соответствующих (values...).

Примеры:

При запросе данных используйте функцию sumMap(key, value) для агрегации Map.

Для вложенной структуры данных вам не нужно указывать ее колонки в кортеже колонок для суммирования.

Связанный контент​