Курс по Data Warehouse Analytics Engineer на базе dbt для инженеров и аналитиков данных

Создаем таблицы и представления для анализа статистики поездок на самокатах. Реализуем граф зависимостей (DAG) между моделями, разбираем логи и ошибки.

Полученные навыки:

• Понимание, как аналитики моделируют и перемоделируют хранилище данных.
• Умение создавать модели dbt из SQL-запросов.
• Расчет и визуализация географических данных.

Учимся инкрементально обновлять большие таблицы на примере очистки и обогащения таблицы поездок. Стратегии инкрементальности в dbt. Пересчет таблиц и хитрости заполнения исторических данных.

Полученные навыки:

• Понимание, когда нужно превращать обычные модели в инкрементальные и что для этого требуется.
• Умение выбирать инкрементальную стратегию в зависимости от задачи и типа хранилища.
• Базовое владение техникой шаблонизации SQL-моделей dbt с помощью встроенного инструмента Jinja.
• Умение внедрять инкрементальность в SQL-код модели, проводить их отладку и заполнять исторические данные.

Инджестинг данных на минималках: создаем таблицу с моделями самокатов из файла. Внедрение CSV-файлов с данными в проект dbt, особенности и ограничения.

Полученные навыки:

• Понимание границ применения CSV-файлов в аналитике, их достоинств, недостатков, изучение альтернатив.
• Умение создавать таблицы из CSV-файлов с помощью dbt seed.
• Умение строить и обновлять пайплайны данных на основе CSV-файлов.
• Умение генерировать CSV-файлы под заданные требования с помощью сервисов LLM.

Оптимизируем SQL-код моделей посредством переиспользуемых текстовых макросов Jinja. Параметризация моделей с помощью переменных. Автоматизируем рутинные задачи типа выдачи доступов к таблицам.

Полученные навыки:

• Умение создавать макросы Jinja для переиспользования бизнес-логики между моделями.
• Умение создавать параметризованные модели, управляемые с помощью переменных из командной строки.
• Умение правильно работать с тайм-зонами в хранилище.
• Автоматизация проекта dbt для решения вспомогательных задач с помощью хуков.
• Понимание основ низкоуровневой оптимизации данных в хранилище.
• Настройка автоматической раздачи доступов к артефактам dbt.

Введение в Data Quality. Учимся внедрять автотесты таблиц и колонок. Проверяем таблицу событий на отсутствие дублей и пропусков. Проверяем свежесть источников и пишем свои автотесты на SQL.

Полученные навыки:

• Понимание основных проблем качества данных, умение диагностировать и решать их.
• Использование взвешенного подхода при внедрении тестов данных с фокусом на основных проблемах.
• Умение использовать стандартные тесты dbt для быстрого внедрения типовых проверок данных.
• Умение создавать свои тесты данных на основе SQL для моделей и отдельных колонок.

Добавляем в проект метаданные и data contracts. Генерируем интерактивный портал с каталогом всего проекта и учимся работать с ним. Что такое артефакты dbt и как их можно использовать для анализа проекта.

Настраиваем CI/CD с GitHub Actions для автоматического обновления каталога данных из исходного кода.

Что такое пакеты dbt, какие возможности дают, где их брать и устанавливать. Обзор dbt Package Hub и наиболее интересных пакетов.

Переиспользование сложной бизнес-логики для быстрого построения моделей и создания тестов данных.

Изучаем особенности семантического слоя, отличие от OLAP-кубов и разные способы его реализации. Создаем семантический слой в проекте dbt с MetricFlow.

Переносим старый непонятный и недокументированный SQL-код из представлений и сохраненных процедур в проект dbt. Автоматизируем расчет показателей бизнеса с помощью dbt.

Что такое in-memory-аналитика и почему DuckDB набирает популярность. Заменяем расчеты в Excel на DuckDB и документированные SQL-модели. Выполняем финансовый анализ компании.

Методы деплоя аналитических пайплайнов. Multi-stage окружение. Запускаем dbt-core в GitHub Actions по расписанию. Обзор оркестраторов для dbt.

Введение в Dagster и Airflow.

На уроке научимся:

• Запускать сборку моделей dbt руками.
• Настраивать запуск по расписанию.
• Работать с селекторами dbt.
• Запускать тесты dbt assets.

Также коротко обсудим остальные аспекты работы с Dagster: software defined assets, ops, jobs.

На уроке научимся:

• Запускать сборку моделей dbt руками.
• Настраивать запуск по расписанию.
• Работать с селекторами dbt.

Также обсудим отличия от Dagster и работу с дагами Airflow в целом.