Курс по Data Warehouse Analytics Engineer на базе dbt для инженеров и аналитиков данных

Изучите один из самых востребованных инструментов аналитики, решая сложные практические задачи, научитесь DataOps-практикам, постройте хранилище данных на базе dbt, подготовьте и проанализируйте данные.
Попробовать бесплатно
Смотреть программу
🔥 Старт 30 марта
Осталось 1 из 15 мест
3 месяца обучения
Стек, который вы освоите на курсе: dbt Core, dbt Cloud, SQL, Jinja, DuckDB,PostgreSQL, Dagster, Airflow
Проект получил сертификат качества
Партнер курса
сообщество dbt & modern data stack
Бесплатная часть
Мы открываем демо-доступ к каждому курсу, чтобы вы не покупали «кота в мешке». Оцените формат тренажера, глубину подачи материала и сразу получите прикладные навыки работы с инструментами.
Роли в отеле аналитики и как сюда вписывается новая профессия. Какие старые боли аналитиков решает dbt.
Полученные навыки:
  • Понимание ролей и обязанностей в сфере аналитики и места в ней новой профессии Analytics Engineer.
  • Понимание, какие преимущества дает dbt и какие старые проблемы эффективно решает.
Получить бесплатный доступ

Почему обучение
на базе dbt?

dbt — это один из ключевых инструментов современной аналитики и modern data stack. Он завоевал любовь аналитиков и дата-инженеров по всему миру

Наша облачная LMS с встроенной IDE и поддержкой 50+ языков программирования доступна вам 24/7 с любого устройства. Интегрированный ИИ объяснянит материал, а тренажер с 100+ задачами и решениями помогает сразу закреплять знания без ожидания.
Решайте сложные задачи сразу в тренажере
Вас ждет закрытый чат с преподавателем и другими участниками курса, где можно смело задавать вопросы и быстро получать на них ответы.
Поддержка на всем пути обучения
Мы подготовили для вас бота с датасетами вашего бизнес-кейса, а также облачную инфраструктуру, чтобы обучение в симуляторе было максимально приближенным к реальности.
Инфраструктура, стенды и боты с подготовленными данными
Получить демо-доступ
Как проходит обучение?
Наш подход к обучению стирает границы между теорией и практикой, предлагая вам немедленное применение знаний в реальных условиях. Забудьте о скучных видеолекциях и бесконечном запоминании правил.

программа

Знакомимся с профессией Analytics Engineer – доступно в демо-доступе бесплатно
Роли в отеле аналитики и как сюда вписывается новая профессия. Какие старые боли аналитиков решает dbt.
Полученные навыки:
  • Понимание ролей и обязанностей в сфере аналитики и места в ней новой профессии Analytics Engineer.
  • Понимание, какие преимущества дает dbt и какие старые проблемы эффективно решает.
Ускоряем обучение с AI – доступно в демо-доступе бесплатно
  • Тренируемся эффективно использовать большие языковые модели, генерировать SQL-скрипты и дебажить ошибки dbt
  • Осваиваем AI-помощника ДуДу
  • Краткое введение в промпт-инжиниринг
Создаем базу и проект dbt – доступно в демо-доступе бесплатно
Как получить доступ к dbt и чем отличается dbt Core от облака dbt Cloud. Создаем GitHub-репозиторий будущего проекта, поднимаем PostgreSQL и подключаем к новому проекту dbt.

Полученные навыки:
  • Понимание, чем отличаются разные виды хранилищ данных, какие у них достоинства, недостатки и границы применимости.
  • Умение настраивать локальную и облачную инфраструктуру для персональных проектов.
Начинаем освоение dbt на практике – доступно в демо-доступе бесплатно
Разбираем устройство проекта dbt, изучаем сущности и основные понятия. Учимся запускать dbt. Загружаем данные кикшеринга в базу и применяем первые трансформации.

Полученные навыки:
  • Понимание, как устроен проект dbt и описание моделей.
  • Умение создавать таблицы из SQL-моделей dbt.
Деплоим таблицы и представления из dbt
Создаем таблицы и представления для анализа статистики поездок на самокатах. Реализуем граф зависимостей (DAG) между моделями, разбираем логи и ошибки.

Полученные навыки:
  • Понимание, как аналитики моделируют и перемоделируют хранилище данных.
  • Умение создавать модели dbt из SQL-запросов.
  • Расчет и визуализация географических данных.
Инкрементально обновляем большие таблицы
Учимся инкрементально обновлять большие таблицы на примере очистки и обогащения таблицы поездок. Стратегии инкрементальности в dbt. Пересчет таблиц и хитрости заполнения исторических данных.

Полученные навыки:
  • Понимание, когда нужно превращать обычные модели в инкрементальные и что для этого требуется.
  • Умение выбирать инкрементальную стратегию в зависимости от задачи и типа хранилища.
  • Базовое владение техникой шаблонизации SQL-моделей dbt с помощью встроенного инструмента Jinja.
  • Умение внедрять инкрементальность в SQL-код модели, проводить их отладку и заполнять исторические данные.
Создаем таблицы из CSV-файлов
Инджестинг данных на минималках: создаем таблицу с моделями самокатов из файла. Внедрение CSV-файлов с данными в проект dbt, особенности и ограничения.

Полученные навыки:
  • Понимание границ применения CSV-файлов в аналитике, их достоинств, недостатков, изучение альтернатив.
  • Умение создавать таблицы из CSV-файлов с помощью dbt seed.
  • Умение строить и обновлять пайплайны данных на основе CSV-файлов.
  • Умение генерировать CSV-файлы под заданные требования с помощью сервисов LLM.
Автоматизируем проект с помощью макросов
Оптимизируем SQL-код моделей посредством переиспользуемых текстовых макросов Jinja. Параметризация моделей с помощью переменных. Автоматизируем рутинные задачи типа выдачи доступов к таблицам.

Полученные навыки:
  • Умение создавать макросы Jinja для переиспользования бизнес-логики между моделями.
  • Умение создавать параметризованные модели, управляемые с помощью переменных из командной строки.
  • Умение правильно работать с тайм-зонами в хранилище.
  • Автоматизация проекта dbt для решения вспомогательных задач с помощью хуков.
  • Понимание основ низкоуровневой оптимизации данных в хранилище.
  • Настройка автоматической раздачи доступов к артефактам dbt.
Тестируем качество моделей
Введение в Data Quality.Учимся внедрять автотесты таблиц и колонок. Проверяем таблицу событий на отсутствие дублей и пропусков. Проверяем свежесть источников и пишем свои автотесты на SQL.

Полученные навыки:
  • Понимание основных проблем качества данных, умение диагностировать и решать их.
  • Использование взвешенного подхода при внедрении тестов данных с фокусом на основных проблемах.
  • Умение использовать стандартные тесты dbt для быстрого внедрения типовых проверок данных.
  • Умение создавать свои тесты данных на основе SQL для моделей и отдельных колонок.
Создаем каталог данных и внедряем контракты
Добавляем в проект метаданные и data contracts. Генерируем интерактивный портал с каталогом всего проекта и учимся работать с ним. Что такое артефакты dbt и как их можно использовать для анализа проекта.
Настраиваем CI/CD с GitHub Actions для автоматического обновления каталога данных из исходного кода.
Используем сторонние пакеты для решения сложных задач
Что такое пакеты dbt, какие возможности дают, где их брать и устанавливать. Обзор dbt Package Hub и наиболее интересных пакетов.
Переиспользование сложной бизнес-логики для быстрого построения моделей и создания тестов данных.
Настраиваем семантический слой для автоматической агрегации данных
Изучаем особенности семантического слоя, отличие от OLAP-кубов и разные способы его реализации. Создаем семантический слой в проекте dbt с MetricFlow.
Переносим легаси-код SQL в dbt
Переносим старый непонятный и недокументированный SQL-код из представлений и сохраненных процедур в проект dbt. Автоматизируем расчет показателей бизнеса с помощью dbt.
Используем dbt + DuckDB для быстрой обработки файлов
Что такое in-memory-аналитика и почему DuckDB набирает популярность. Заменяем расчеты в Excel на DuckDB и документированные SQL-модели. Выполняем финансовый анализ компании.
Деплоим проект в продакшн: CI/CD
Методы деплоя аналитических пайплайнов. Multi-stage окружение. Запускаем dbt-core в GitHub Actions по расписанию. Обзор оркестраторов для dbt.
Введение в Dagster и Airflow.
dbt и Dagster. От запуска до тестов (вебинар в записи)
На уроке научимся:
  • Запускать сборку моделей dbt руками.
  • Настраивать запуск по расписанию.
  • Работать с селекторами dbt.
  • Запускать тесты dbt assets.
Также коротко обсудим остальные аспекты работы с Dagster – software defined assets, ops, jobs.
dbt и Airflow (вебинар в записи)
На уроке научимся:
  • Запускать сборку моделей dbt руками.
  • Настраивать запуск по расписанию.
  • Работать с селекторами dbt.
Также обсудим отличия от Dagster и работу с дагами эйрфлоу в целом.
Получить бесплатный демо-доступ

Стоимость обучения
на курсе по DWH на dbt

Мастер задач
  • Бессрочный доступ к тренажеру
  • Домашние задания с мгновенной автопроверкой
  • AI-ментор ДуДу: CodeReview и подсказки 24/7
  • Доступ к комьюнити и чату с преподавателем
  • Проект в портфолио
  • Сертификат (RU / EN / гособразца по запросу)
49 612 руб
Оплатить картой России
Оплатить иностранной картой
Оплатить иностранной картой
Оплатить иностранной картой
Основательный подход
Ниндзя данных
77 175 руб
  • Бессрочный доступ к тренажеру
  • Домашние задания с мгновенной автопроверкой
  • AI-ментор ДуДу: CodeReview и подсказки 24/7
  • Доступ к комьюнити и чату с преподавателем
  • Проект в портфолио
  • Доступ к курсу:
+ Английский для IT-специалиста
  • + 2 личные встречи с Lead (Q&A, ревью, карьерные вопросы)
  • Сертификат (RU / EN/ гособразца по запросу)
Оплатить картой России
Оплатить в рассрочку 25 725 руб. / 3 мес.
Оплатить в рассрочку 28 665 руб. / 3 мес.
  • Бессрочный доступ к тренажеру
  • Домашние задания с мгновенной автопроверкой
  • AI-ментор ДуДу: CodeReview и подсказки 24/7
  • Доступ к комьюнити и чату с преподавателем
  • Проект в портфолио
  • Доступ к 2 курсам:
+ Курс по ETL-разработке и оркестрации на Dagster и Apache Nifi
+ Тренажер DLT – Python ETL
  • Сертификат (RU / EN/ гособразца по запросу)
Оплатить картой России
85 996 руб
Оплатить в рассрочку 16 537 руб. / 3 мес.
3 курса в комплекте
Мастер задач
  • Бессрочный доступ к тренажеру
  • Домашние задания с мгновенной автопроверкой
  • AI-ментор ДуДу: CodeReview и подсказки 24/7
  • Доступ к комьюнити и чату с преподавателем
  • Проект в портфолио
  • Доступ к курсу:
+ Английский для IT-специалиста
  • + 2 личные встречи с Lead (Q&A, ревью, карьерные вопросы)
  • Сертификат (RU / EN/ гособразца по запросу)
52 092 руб
Выставить счет
Основательный подход
Ниндзя данных
81 033 руб
  • Бессрочный доступ к тренажеру
  • Домашние задания с мгновенной автопроверкой
  • AI-ментор ДуДу: CodeReview и подсказки 24/7
  • Доступ к комьюнити и чату с преподавателем
  • Проект в портфолио
  • Доступ к 2 курсам:
+ Курс по ETL-разработке и оркестрации на Dagster и Apache Nifi
+ Тренажер DLT – Python ETL
  • Сертификат (RU / EN/ гособразца по запросу)
Выставить счет
Выставить счет
90 294 руб
3 курса в комплекте
  • Бессрочный доступ к тренажеру
  • Домашние задания с мгновенной автопроверкой
  • AI-ментор ДуДу: CodeReview и подсказки 24/7
  • Доступ к комьюнити и чату с преподавателем
  • Проект в портфолио
  • Сертификат (RU / EN / гособразца по запросу)
Можно получить налоговый вычет 13%

Мы обучили команды, которые строят современный IT-рынок

и еще в более 120 компаний
Хотите пройти обучение от компании? Напишите нам в поддержку
Написать нам
Вас ждет более 100 задач из разных бизнес-сфер, которые вы возьмете
в портфолио
Выстроить аналитический пайплайн из таблиц и представлений, который выдает общую и дневную статистику поездок с учетом данных пользователей. Покрыть его тестами качества данных и документацией.
Статистика поездок на самокатах
Получить демо-доступ
Разработать SQL-пайплайн, который будет инкрементально очищать и обрабатывать таблицу событий из мобильного приложения, обогащать ее данными поездок и пользователей и в конечном итоге представлять продуктовые метрики. Внедрить контракты данных, чтобы продуктовые аналитики знали, что ожидать на выходе.
Аналитика ивентов приложения
Помочь финансовым аналитикам обработать данные в Excel с помощью SQL, dbt и аналитической in-memory базы данных DuckDB, не передавая данные в сеть.
Анализ финансовых данных
Выступить в роли настоящего инженера аналитики и развернуть аналитические dbt-пайплайны с планировщиком, мониторингом и централизованным git-репозиторием для всей команды аналитиков. Внедрить проверку качества данных и веб-портал с каталогом данных и документацией.
Создание аналитической платформы
Что вы получите
после прохождения курса
Использование dbt и PostgreSQL, DuckDB
Практикуйтесь по моделированию данных
Постановка задач по разработке SQL-моделей и тестированию качества данных
Решение отдельной бизнес-задачи с помощью аналитики
Знания в создании ELT-пайплайнов
Основы и принципы, преимущества перед ETL
Оптимизация производительности, мониторинг, настройка CI/CD и разработка комплексных решений.
Навыки аналитики и визуализации данных и практики DevOPS
Навыки подготовки и тестирования данных
А также их качество (качество данных)
Опыт строительства хранилищ данных (DWH)
Понимание их специфики и подводных камней
Вы примерите на себя роль начинающего аналитика Марка в молодой компании кикшеринга. Вы только что ушли из банка, где вам не давали развиваться и пробовать современные подходы. Потому в новой компании вы будете изучать dbt и сразу внедрять его для решения реальных проблем, связанных с аналитикой поездок самокатов, событий пользователей, финансов и не только.
А что такое сюжетный симулятор?
И не все так просто, ведь задач полно, а старший аналитик Игорь все делает по-своему и отказывается помогать... Поэтому вам предстоит показать, на что вы способны, и убедить Игоря, что без dbt компания не сможет быстро расти дальше.
Справитесь?
Поможет вам в ваших начинаниях AI-помощник ДуДу, который прокачает ваши знания в области Big Data-аналитики и поможет решить проблемы по ходу курса.
Персонажи
  • Игорь Душнин
    Старший аналитик, ваш наставник, настоящая заноза
  • Марк (это вы)
    Молодой и перспективный аналитик
  • Фаря
    Руководитель отдела аналитики, которая в вас верит
  • Олег Петрович
    Бывший босс, от которого вы сбежали, любитель OLAP-кубов

Авторы курса

Павел Рословец
Principal Engineer в NXP Semiconductors
Co-founder INZHENERKA.TECH
Ex-Senior Data Engineer в Whoosh с более чем 15-летним опытом в IT, от стартапов до госкорпораций. Провел множество тренингов, обучив сотни разработчиков в Inzhenerka.tech
Дмитрий Володин
Занимается построением корпоративных хранилищ данных с 2019 года. Создавал платформы аналитики для издательской группы "Альпина", московской библиотеки им. Некрасова и digital-сегмента российского McDonald’s. С 2022 года на солнечном Кипре разрабатывает аналитические решения для одной из крупнейших рекламных сетей в мире.
TrafficStars
Открытый урок по dbt в ИнженеркаТех
Обсудим, как dbt может упрощать ежедневные задачи аналитиков и инженеров.
Познакомимся с основными концепциями dbt и методами моделирования хранилищ данных.
Изучим создание каталога данных и управления data lineage для обеспечения прозрачности и отслеживаемости данных.
Ответим на любые вопросы участников и расскажем о нашем сюжетном симуляторе.
Изучить документацию
Мы поддерживаем сообщества инженеров и
аналитиков данных, помогая им развиваться
и обмениваться знаниями
Мы перевели документацию dbt на русский язык, и теперь она доступна бесплатно для всех ♥️
Ответы
на вопросы