Перейти к основному содержимому
Перейти к основному содержимому

Шаблоны Google Dataflow

Шаблоны Google Dataflow предоставляют удобный способ выполнения предустановленных, готовых к использованию конвейеров данных без необходимости написания пользовательского кода. Эти шаблоны предназначены для упрощения общих задач обработки данных и созданы с использованием Apache Beam, используя коннекторы, такие как ClickHouseIO, для бесшовной интеграции с базами данных ClickHouse. Запуская эти шаблоны на Google Dataflow, вы можете достичь высокой масштабируемости и распределенной обработки данных с минимальными усилиями.

Зачем использовать шаблоны Dataflow?​

  • Простота использования: Шаблоны избавляют от необходимости кодирования, предлагая предназнначенные конвейеры, адаптированные к конкретным сценариям использования.
  • Масштабируемость: Dataflow гарантирует, что ваш конвейер масштабируется эффективно, обрабатывая большие объемы данных с помощью распределенной обработки.
  • Экономическая эффективность: Платите только за те ресурсы, которые вы используете, с возможностью оптимизировать затраты на выполнение конвейера.

Как запустить шаблоны Dataflow​

На сегодняшний день официальный шаблон ClickHouse доступен через Google Cloud CLI или Dataflow REST API. Для подробных пошаговых инструкций обратитесь к Руководству по запуску конвейера Dataflow из шаблона.

Список шаблонов ClickHouse​