Перейти к основному содержимому
Перейти к основному содержимому

system.kafka_consumers

Запросы в ClickHouse Cloud

Данные в этой системной таблице хранятся локально на каждом узле в ClickHouse Cloud. Для получения полного представления о всех данных необходимо использовать функцию clusterAllReplicas. Подробности см. здесь.

Содержит информацию о потребителях Kafka.
Применимо для Kafka table engine (нативная интеграция ClickHouse)

Колонки:

  • database (String) - база данных таблицы с Kafka Engine.
  • table (String) - имя таблицы с Kafka Engine.
  • consumer_id (String) - идентификатор потребителя Kafka. Обратите внимание, что у одной таблицы может быть много потребителей. Указывается параметром kafka_num_consumers.
  • assignments.topic (Array(String)) - тема Kafka.
  • assignments.partition_id (Array(Int32)) - идентификатор раздела Kafka. Обратите внимание, что только один потребитель может быть назначен к разделу.
  • assignments.current_offset (Array(Int64)) - текущий смещение.
  • exceptions.time (Array(DateTime)) - метка времени, когда были сгенерированы 10 самых последних исключений.
  • exceptions.text (Array(String)) - текст 10 самых последних исключений.
  • last_poll_time (DateTime) - метка времени наиболее последнего опроса.
  • num_messages_read (UInt64) - количество сообщений, прочитанных потребителем.
  • last_commit_time (DateTime) - метка времени наиболее последнего подтверждения.
  • num_commits (UInt64) - общее количество подтверждений для потребителя.
  • last_rebalance_time (DateTime) - метка времени наиболее последнего перераспределения Kafka.
  • num_rebalance_revocations (UInt64) - количество раз, когда у потребителя были отозваны его разделы.
  • num_rebalance_assignments (UInt64) - количество раз, когда потребителю были назначены разделы в кластер Kafka.
  • is_currently_used (UInt8) - потребитель используется.
  • last_used (UInt64) - последнее время использования этого потребителя, время в Unix в микросекундах.
  • rdkafka_stat (String) - внутренняя статистика библиотеки. См. https://github.com/ClickHouse/librdkafka/blob/master/STATISTICS.md . Установите statistics_interval_ms в 0, чтобы отключить, по умолчанию 3000 (раз в три секунды).

Пример: