Курс по Data Warehouse Analytics Engineer на базе dbt для инженеров и аналитиков данных

Изучите один из самых востребованных инструментов аналитики, решая сложные практические задачи, научитесь DataOps-практикам, постройте хранилище данных на базе dbt, подготовьте и проанализируйте данные.
Попробовать бесплатно
Смотреть программу
🔥 Старт 2 февраля
Осталось 2 из 15 мест
3 месяца обучения
Стек, который вы освоите на курсе: dbt Core, dbt Cloud, SQL, Jinja, DuckDB,PostgreSQL, Dagster, Airflow
Проект получил сертификат качества
Партнер курса
сообщество dbt & modern data stack
Бесплатная часть
Мы открываем демо-доступ к каждому курсу, чтобы вы не покупали «кота в мешке». Оцените формат тренажера, глубину подачи материала и сразу получите прикладные навыки работы с инструментами.
Роли в отеле аналитики и как сюда вписывается новая профессия. Какие старые боли аналитиков решает dbt.
Полученные навыки:
  • Понимание ролей и обязанностей в сфере аналитики и места в ней новой профессии Analytics Engineer.
  • Понимание, какие преимущества дает dbt и какие старые проблемы эффективно решает.
Получить бесплатный доступ
Почему обучение на базе dbt?
dbt автоматически строит DAG (Directed Acyclic Graph), обеспечивая корректный порядок выполнения и идемпотентность трансформаций
dbt – это один из ключевых инструментов современной аналитики и modern data stack. Он завоевал любовь аналитиков и дата-инженеров по всему миру
Устали вручную управлять зависимостями в сложном пайплайне?
Переходите от хранимых процедур к Software Engineering практикам: версионирование кода (Git), модульность (DRY), Code Review и CI/CD процессы для данных.
Превратите SQL-лапшу в инженерный проект
Для большинства аналитических задач в современном DWH связка dbt + Cloud DWH эффективнее и быстрее, чем поддержка кластеров Spark/Hadoop
Используйте мощь облачных DWH вместо поддержки тяжелых кластеров
Забудьте об устаревших wiki-страницах. dbt генерирует актуальный Data Catalog и Data Lineage на лету из кода, обеспечивая прозрачность данных для всей компании
Data Governance и документация как код
Как проходит обучение?
Наш подход к обучению стирает границы между теорией и практикой, предлагая вам немедленное применение знаний в реальных условиях. Забудьте о скучных видеолекциях и бесконечном запоминании правил.
Геймифицированное задание с подробным описанием и подсказками
Наша облачная LMS с встроенной IDE и поддержкой 50+ языков программирования доступна вам 24/7 с любого устройства. Интегрированный ИИ объяснянит материал, а тренажер с 100+ задачами и решениями помогает сразу закреплять знания без ожидания.
Решайте сложные задачи сразу в тренажере
Получить демо-доступ
Мы объясняем просто и по делу, с примерами из жизни и рабочими ситуациями — плюс добавляем мемы, чтобы учиться было веселее.
Понятная теория
Мы подготовили для вас бота с датасетами вашего бизнес-кейса, а также облачную инфраструктуру, чтобы обучение в симуляторе было максимально приближенным к реальности.
Инфраструктура, стенды и боты с подготовленными данными для учебы
Получить демо-доступ к тренажеру →
Экспресс-квиз для быстрого запоминания
Вас ждет закрытый чат с преподавателем и другими участниками курса, где можно смело задавать вопросы и быстро получать на них ответы.
Поддержка на всем
пути обучения

программа

Знакомимся с профессией Analytics Engineer – доступно в демо-доступе бесплатно
Роли в отеле аналитики и как сюда вписывается новая профессия. Какие старые боли аналитиков решает dbt.
Полученные навыки:
  • Понимание ролей и обязанностей в сфере аналитики и места в ней новой профессии Analytics Engineer.
  • Понимание, какие преимущества дает dbt и какие старые проблемы эффективно решает.
Ускоряем обучение с AI – доступно в демо-доступе бесплатно
  • Тренируемся эффективно использовать большие языковые модели, генерировать SQL-скрипты и дебажить ошибки dbt
  • Осваиваем AI-помощника ДуДу
  • Краткое введение в промпт-инжиниринг
Создаем базу и проект dbt – доступно в демо-доступе бесплатно
Как получить доступ к dbt и чем отличается dbt Core от облака dbt Cloud. Создаем GitHub-репозиторий будущего проекта, поднимаем PostgreSQL и подключаем к новому проекту dbt.

Полученные навыки:
  • Понимание, чем отличаются разные виды хранилищ данных, какие у них достоинства, недостатки и границы применимости.
  • Умение настраивать локальную и облачную инфраструктуру для персональных проектов.
Начинаем освоение dbt на практике – доступно в демо-доступе бесплатно
Разбираем устройство проекта dbt, изучаем сущности и основные понятия. Учимся запускать dbt. Загружаем данные кикшеринга в базу и применяем первые трансформации.

Полученные навыки:
  • Понимание, как устроен проект dbt и описание моделей.
  • Умение создавать таблицы из SQL-моделей dbt.
Деплоим таблицы и представления из dbt
Создаем таблицы и представления для анализа статистики поездок на самокатах. Реализуем граф зависимостей (DAG) между моделями, разбираем логи и ошибки.

Полученные навыки:
  • Понимание, как аналитики моделируют и перемоделируют хранилище данных.
  • Умение создавать модели dbt из SQL-запросов.
  • Расчет и визуализация географических данных.
Инкрементально обновляем большие таблицы
Учимся инкрементально обновлять большие таблицы на примере очистки и обогащения таблицы поездок. Стратегии инкрементальности в dbt. Пересчет таблиц и хитрости заполнения исторических данных.

Полученные навыки:
  • Понимание, когда нужно превращать обычные модели в инкрементальные и что для этого требуется.
  • Умение выбирать инкрементальную стратегию в зависимости от задачи и типа хранилища.
  • Базовое владение техникой шаблонизации SQL-моделей dbt с помощью встроенного инструмента Jinja.
  • Умение внедрять инкрементальность в SQL-код модели, проводить их отладку и заполнять исторические данные.
Создаем таблицы из CSV-файлов
Инджестинг данных на минималках: создаем таблицу с моделями самокатов из файла. Внедрение CSV-файлов с данными в проект dbt, особенности и ограничения.

Полученные навыки:
  • Понимание границ применения CSV-файлов в аналитике, их достоинств, недостатков, изучение альтернатив.
  • Умение создавать таблицы из CSV-файлов с помощью dbt seed.
  • Умение строить и обновлять пайплайны данных на основе CSV-файлов.
  • Умение генерировать CSV-файлы под заданные требования с помощью сервисов LLM.
Автоматизируем проект с помощью макросов
Оптимизируем SQL-код моделей посредством переиспользуемых текстовых макросов Jinja. Параметризация моделей с помощью переменных. Автоматизируем рутинные задачи типа выдачи доступов к таблицам.

Полученные навыки:
  • Умение создавать макросы Jinja для переиспользования бизнес-логики между моделями.
  • Умение создавать параметризованные модели, управляемые с помощью переменных из командной строки.
  • Умение правильно работать с тайм-зонами в хранилище.
  • Автоматизация проекта dbt для решения вспомогательных задач с помощью хуков.
  • Понимание основ низкоуровневой оптимизации данных в хранилище.
  • Настройка автоматической раздачи доступов к артефактам dbt.
Тестируем качество моделей
Введение в Data Quality.Учимся внедрять автотесты таблиц и колонок. Проверяем таблицу событий на отсутствие дублей и пропусков. Проверяем свежесть источников и пишем свои автотесты на SQL.

Полученные навыки:
  • Понимание основных проблем качества данных, умение диагностировать и решать их.
  • Использование взвешенного подхода при внедрении тестов данных с фокусом на основных проблемах.
  • Умение использовать стандартные тесты dbt для быстрого внедрения типовых проверок данных.
  • Умение создавать свои тесты данных на основе SQL для моделей и отдельных колонок.
Создаем каталог данных и внедряем контракты
Добавляем в проект метаданные и data contracts. Генерируем интерактивный портал с каталогом всего проекта и учимся работать с ним. Что такое артефакты dbt и как их можно использовать для анализа проекта.
Настраиваем CI/CD с GitHub Actions для автоматического обновления каталога данных из исходного кода.
Используем сторонние пакеты для решения сложных задач
Что такое пакеты dbt, какие возможности дают, где их брать и устанавливать. Обзор dbt Package Hub и наиболее интересных пакетов.
Переиспользование сложной бизнес-логики для быстрого построения моделей и создания тестов данных.
Настраиваем семантический слой для автоматической агрегации данных
Изучаем особенности семантического слоя, отличие от OLAP-кубов и разные способы его реализации. Создаем семантический слой в проекте dbt с MetricFlow.
Переносим легаси-код SQL в dbt
Переносим старый непонятный и недокументированный SQL-код из представлений и сохраненных процедур в проект dbt. Автоматизируем расчет показателей бизнеса с помощью dbt.
Используем dbt + DuckDB для быстрой обработки файлов
Что такое in-memory-аналитика и почему DuckDB набирает популярность. Заменяем расчеты в Excel на DuckDB и документированные SQL-модели. Выполняем финансовый анализ компании.
Деплоим проект в продакшн: CI/CD
Методы деплоя аналитических пайплайнов. Multi-stage окружение. Запускаем dbt-core в GitHub Actions по расписанию. Обзор оркестраторов для dbt.
Введение в Dagster и Airflow.
dbt и Dagster. От запуска до тестов (вебинар в записи)
На уроке научимся:
  • Запускать сборку моделей dbt руками.
  • Настраивать запуск по расписанию.
  • Работать с селекторами dbt.
  • Запускать тесты dbt assets.
Также коротко обсудим остальные аспекты работы с Dagster – software defined assets, ops, jobs.
dbt и Airflow (вебинар в записи)
На уроке научимся:
  • Запускать сборку моделей dbt руками.
  • Настраивать запуск по расписанию.
  • Работать с селекторами dbt.
Также обсудим отличия от Dagster и работу с дагами эйрфлоу в целом.
Получить бесплатный демо-доступ

Стоимость обучения
на курсе по DWH на dbt

Мастер задач
  • Бессрочный доступ к тренажеру
  • Домашние задания с мгновенной автопроверкой
  • AI-ментор ДуДу: CodeReview и подсказки 24/7
  • Доступ к комьюнити и чату с преподавателем
  • Проект в портфолио
  • Сертификат (RU / EN / гособразца по запросу)
49 612 руб
Оплатить картой России
Оплатить иностранной картой
Оплатить иностранной картой
Оплатить иностранной картой
Основательный подход
Ниндзя данных
77 175 руб
  • Бессрочный доступ к тренажеру
  • Домашние задания с мгновенной автопроверкой
  • AI-ментор ДуДу: CodeReview и подсказки 24/7
  • Доступ к комьюнити и чату с преподавателем
  • Проект в портфолио
  • Доступ к курсу:
+ Английский для IT-специалиста
  • + 2 личные встречи с Lead (Q&A, ревью, карьерные вопросы)
  • Сертификат (RU / EN/ гособразца по запросу)
Оплатить картой России
Оплатить в рассрочку 25 725 руб. / 3 мес.
Оплатить в рассрочку 28 665 руб. / 3 мес.
  • Бессрочный доступ к тренажеру
  • Домашние задания с мгновенной автопроверкой
  • AI-ментор ДуДу: CodeReview и подсказки 24/7
  • Доступ к комьюнити и чату с преподавателем
  • Проект в портфолио
  • Доступ к 2 курсам:
+ Курс по ETL-разработке и оркестрации на Dagster и Apache Nifi
+ Тренажер DLT – Python ETL
  • Сертификат (RU / EN/ гособразца по запросу)
Оплатить картой России
85 996 руб
Оплатить в рассрочку 16 537 руб. / 3 мес.
3 курса в комплекте
Мастер задач
  • Бессрочный доступ к тренажеру
  • Домашние задания с мгновенной автопроверкой
  • AI-ментор ДуДу: CodeReview и подсказки 24/7
  • Доступ к комьюнити и чату с преподавателем
  • Проект в портфолио
  • Доступ к курсу:
+ Английский для IT-специалиста
  • + 2 личные встречи с Lead (Q&A, ревью, карьерные вопросы)
  • Сертификат (RU / EN/ гособразца по запросу)
52 092 руб
Выставить счет
Основательный подход
Ниндзя данных
81 033 руб
  • Бессрочный доступ к тренажеру
  • Домашние задания с мгновенной автопроверкой
  • AI-ментор ДуДу: CodeReview и подсказки 24/7
  • Доступ к комьюнити и чату с преподавателем
  • Проект в портфолио
  • Доступ к 2 курсам:
+ Курс по ETL-разработке и оркестрации на Dagster и Apache Nifi
+ Тренажер DLT – Python ETL
  • Сертификат (RU / EN/ гособразца по запросу)
Выставить счет
Выставить счет
90 294 руб
3 курса в комплекте
  • Бессрочный доступ к тренажеру
  • Домашние задания с мгновенной автопроверкой
  • AI-ментор ДуДу: CodeReview и подсказки 24/7
  • Доступ к комьюнити и чату с преподавателем
  • Проект в портфолио
  • Сертификат (RU / EN / гособразца по запросу)
Можно получить налоговый вычет 13%

Мы обучили команды, которые строят современный IT-рынок

и еще в более 120 компаний
Хотите пройти обучение от компании? Напишите нам в поддержку
Написать нам
Вас ждет более 100 задач из разных бизнес-сфер, которые вы возьмете
в портфолио
Выстроить аналитический пайплайн из таблиц и представлений, который выдает общую и дневную статистику поездок с учетом данных пользователей. Покрыть его тестами качества данных и документацией.
Статистика поездок на самокатах
Получить демо-доступ
Разработать SQL-пайплайн, который будет инкрементально очищать и обрабатывать таблицу событий из мобильного приложения, обогащать ее данными поездок и пользователей и в конечном итоге представлять продуктовые метрики. Внедрить контракты данных, чтобы продуктовые аналитики знали, что ожидать на выходе.
Аналитика ивентов приложения
Помочь финансовым аналитикам обработать данные в Excel с помощью SQL, dbt и аналитической in-memory базы данных DuckDB, не передавая данные в сеть.
Анализ финансовых данных
Выступить в роли настоящего инженера аналитики и развернуть аналитические dbt-пайплайны с планировщиком, мониторингом и централизованным git-репозиторием для всей команды аналитиков. Внедрить проверку качества данных и веб-портал с каталогом данных и документацией.
Создание аналитической платформы
Что вы получите
после прохождения курса
Использование dbt и PostgreSQL, DuckDB
Практикуйтесь по моделированию данных
Постановка задач по разработке SQL-моделей и тестированию качества данных
Решение отдельной бизнес-задачи с помощью аналитики
Знания в создании ELT-пайплайнов
Основы и принципы, преимущества перед ETL
Оптимизация производительности, мониторинг, настройка CI/CD и разработка комплексных решений.
Навыки аналитики и визуализации данных и практики DevOPS
Навыки подготовки и тестирования данных
А также их качество (качество данных)
Опыт строительства хранилищ данных (DWH)
Понимание их специфики и подводных камней
Вы примерите на себя роль начинающего аналитика Марка в молодой компании кикшеринга. Вы только что ушли из банка, где вам не давали развиваться и пробовать современные подходы. Потому в новой компании вы будете изучать dbt и сразу внедрять его для решения реальных проблем, связанных с аналитикой поездок самокатов, событий пользователей, финансов и не только.
А что такое сюжетный симулятор?
И не все так просто, ведь задач полно, а старший аналитик Игорь все делает по-своему и отказывается помогать... Поэтому вам предстоит показать, на что вы способны, и убедить Игоря, что без dbt компания не сможет быстро расти дальше.
Справитесь?
Поможет вам в ваших начинаниях AI-помощник ДуДу, который прокачает ваши знания в области Big Data-аналитики и поможет решить проблемы по ходу курса.
Персонажи
  • Игорь Душнин
    Старший аналитик, ваш наставник, настоящая заноза
  • Марк (это вы)
    Молодой и перспективный аналитик
  • Фаря
    Руководитель отдела аналитики, которая в вас верит
  • Олег Петрович
    Бывший босс, от которого вы сбежали, любитель OLAP-кубов

Авторы курса

Павел Рословец
Principal Engineer в NXP Semiconductors
Co-founder INZHENERKA.TECH
Ex-Senior Data Engineer в Whoosh с более чем 15-летним опытом в IT, от стартапов до госкорпораций. Провел множество тренингов, обучив сотни разработчиков в Inzhenerka.tech
Дмитрий Володин
Занимается построением корпоративных хранилищ данных с 2019 года. Создавал платформы аналитики для издательской группы "Альпина", московской библиотеки им. Некрасова и digital-сегмента российского McDonald’s. С 2022 года на солнечном Кипре разрабатывает аналитические решения для одной из крупнейших рекламных сетей в мире.
TrafficStars
Открытый урок по dbt в ИнженеркаТех
Обсудим, как dbt может упрощать ежедневные задачи аналитиков и инженеров.
Познакомимся с основными концепциями dbt и методами моделирования хранилищ данных.
Изучим создание каталога данных и управления data lineage для обеспечения прозрачности и отслеживаемости данных.
Ответим на любые вопросы участников и расскажем о нашем сюжетном симуляторе.
Изучить документацию
Мы поддерживаем сообщества инженеров и
аналитиков данных, помогая им развиваться
и обмениваться знаниями
Мы перевели документацию dbt на русский язык, и теперь она доступна бесплатно для всех ♥️
Ответы
на вопросы
dbt курс, обучение dbt, dbt для аналитиков данных, dbt для инженеров данных, Data Warehouse Analytics Engineer курс, курс по построению хранилищ данных, DataOps практики обучение, современный стек данных курс, dbt и DataOps курс, интеграция dbt в DataOps, обучение dbt Core, dbt Cloud курс, курс по Jinja для dbt, обучение работе с DuckDB, построение ETL процессов с dbt, интеграция dbt с Airflow, стать Data Warehouse Engineer, курсы для аналитиков данных, повышение квалификации инженера данных, сертификация dbt специалиста.
Хотите получить консультацию по курсу?
Напишите нам!