Симулятор Data Warehouse Analytics Engineer на базе dbt для инженеров и аналитиков данных

Роли в отеле аналитики и как сюда вписывается новая профессия. Какие старые боли аналитиков решает dbt.
Полученные навыки:
Понимание ролей и их обязанностей в сфере аналитики и места в ней новой профессии Analytics Engineer Понимание, какие преимущества дает dbt и какие старые проблемы эффективно решает

Как получить доступ к большим языковым моделям из России и эффективно использовать их при обучении. Дополнительные источники знаний о dbt.

Полученные навыки:

• Использование больших языковых моделей для решения широкого круга задач - от жизненных до профессиональных, включая генерацию кода, исправление ошибок и получение справочной информации

Как можно получить доступ к dbt и какие преимущества даёт облако dbt Cloud. Создаем GitHub-репозиторий будущего проекта, поднимаем PostgreSQL и подключаем к облаку dbt.

Полученные навыки:
Понимание, чем отличаются разные виды хранилищ данных, какие у них достоинства, недостатки и границы применимости Умение настраивать бесплатную облачную инфраструктуру для персональных проектов

Разбираем устройство проекта dbt, изучаем сущности, и основные понятия. Учимся запускать dbt в облаке. Основы работы с Git и тонкости работы с аналитическими проектами.

Полученные навыки:
Понимание, как устроен проект dbt и описание моделей Умение создавать таблицы из SQL-моделей dbt

Разворачиваем первые модели dbt. Создаем таблицы и представления для анализа статистики поездок на самокатах. Реализуем граф зависимостей (DAG) между моделями, разбираем логи и ошибки.

Полученные навыки:
Понимание, как аналитики моделируют и перемоделируют хранилище данных Умение создавать модели dbt из SQL-запросов Расчет и визуализация географических данных

Учимся инкрементально обновлять большие таблицы на примере очистки о обогащения таблицы поездок. Стратегии инкрементальности в dbt. Пересчет таблиц и хитрости заполнения исторических данных.

Полученные навыки:

• Понимание, когда нужно превращать обычные модели в инкрементальные и что для этого требуется
• Умение выбирать инкрементальную стратегию в зависимости от задачи и типа хранилища
• Базовое владение техникой шаблонизации SQL-моделей dbt с помощью встроенного инструмента Jinja
• Умение внедрять инкрементальность в SQL-код модели, проводить отладку таких моделей и заполнять исторические данные

Инджестинг данных на минималках: создаем таблицу с моделями самокатов из файла. Внедрение csv-файлов с данными в проект dbt, особенности и ограничения.
Полученные навыки:
Понимание границ применения CSV-файлов в аналитике, их достоинств, недостатков, и какие есть альтернативы Умение создавать таблицы из CSV-файлов с помощью dbt seed Умение строить и обновлять пайплайны данных на основе CSV-файлов Умение генерировать CSV-файлы под заданные требования с помощью сервисов LLM

Оптимизируем SQL-код моделей с помощью переиспользуемых текстовых макросов Jinja2. Параметризация моделей с помощью переменных. Автоматизируем рутинные задачи типа выдачи доступов к таблицам.

Полученные навыки:

• Умения создавать макросы Jinja для переиспользования бизнес-логики между моделями
• Умения создавать параметризованные модели, управляемые с помощью переменных из командной строки
• Умение правильно работать с тайм-зонами в хранилище
• Автоматизация проекта dbt для решения вспомогательных задач с помощью хуков
• Понимание основ низкоуровневой оптимизации данных в хранилище
• Настройка автоматической раздачи доступов к артефактам dbt

Учимся внедрять автотесты таблиц и колонок. Проверяем таблицу событий на отсутствие дублей и пропусков. Проверяем свежесть источников и пишем свои автотесты на SQL.

Полученные навыки:
Понимание основных проблем с качеством данных, умение диагностировать и решать их Использование взвешенного подхода при внедрении тестов данных с фокусом на основных проблемах Умение использовать стандартные тесты dbt для быстрого внедрения типовых проверок данных Умение создавать свои тесты данных на основе SQL для моделей и отдельных колонок

Добавляем в проект метаданные и data contracts. Генерируем интерактивный портал с каталогом всего проекта и учимся работать с ним. Что такое артефакты dbt и как их можно использовать для анализа проекта.

Что такое "пакеты" dbt, какие возможность дают, где их брать и устанавливать. Обзор dbt Package Hub и наиболее интересных пакетов.

Изучаем особенности семантического слоя, отличие от OLAP-кубов и разные способы его реализации. Настраиваем семантический слой в dbt Cloud, подключаем его к BI.

Переносим старый непонятный и недокументированный SQL-код из представлений и сохраненных процедур в проект dbt. Заменяем Python-скрипты SQL-моделями. Оптимизируем статистический анализ тенденций пользователей с помощью dbt.

Что такое in-memory аналитика и почему DuckDB набирает популярность. Переходим из dbt Cloud к dbt-core и локальной разработке. Заменяем Excel на DuckDB и SQL-модели. Проводим финансовый анализ компании.

Используем встроенные средства dbt Cloud для развертывания проекта в разных окружениях. Методы деплоя аналитических пайплайнов. Настраиваем бесплатный CI/CD для dbt-core в GitHub Actions. Обзор оркестраторов для dbt.

Учимся красиво представлять свой опыт и полученные знания. Как составить эффективное резюме, оформить демо-проект на GitHub и пройти техническое интервью на должность дата-инженера/аналитика. Дальнейшие пути развития в рамках dbt и не только.