Практикум-курс по оркестрации данных на Dagster и DLT

Научитесь строить надежные ETL-пайплайны на базе Dagster и Apache NiFi, применяя Software Defined Assets и кастомные IOManager для сбора и записи данных в PostgreSQL. Вы освоите автоматизацию обработки информации через внешние API и развертывание оркестратора в контейнерах Docker.

Попробовать бесплатно

Смотреть программу

DAGSTER

🔥 Старт 19 января

Осталось 2 из 15 мест

3 месяца обучения

Стек, который вы освоите на курсе: Dagster, SDA (Software Defined Asset), IOManager, dbt, Docker, PostgreSQL, API Integration, NiFi, DLT

Партнер курса
сообщество dbt & modern data stack

Бесплатная часть

Мы открываем демо-доступ к каждому курсу, чтобы вы не покупали «кота в мешке». Оцените формат тренажера, глубину подачи материала и сразу получите прикладные навыки работы с инструментами.

Этот урок закладывает теоретический фундамент инженерии данных, объясняя весь путь превращения сырой информации в бизнес-ценность через ETL-процессы. Мы разбираем ключевые архитектурные различия между OLTP и OLAP системами, а также сравниваем стратегии пакетной (Batch) и потоковой (Stream) обработки.

Чему вы научитесь: Вы научитесь выбирать оптимальную парадигму (ETL, ELT или EtLT) в зависимости от требований бизнеса к скорости и качеству данных. Также вы освоите базовые приемы извлечения и нормализации данных на Python, подготовив свой первый пайплайн к загрузке в аналитическое хранилище.

Получить бесплатный доступ

Почему на базе Dagster и NiFi?

Dagster – ключевой инструмент Modern Data Stack. Он дает инженерам гибкость и контроль, недоступные в старых решениях, позволяя строить сложные и надежные пайплайны.

Наш тренажер дает фундаментальные знания. Вы поймете принципы построения пайплайнов, поэтому после курса сможете работать с любым оркестратором — будь то Dagster, Airflow или Prefect.

Хотите освоить ETL-разработку и оркестрацию?

Asset-based подход. Смещает фокус с простого выполнения задач на управление качеством и актуальностью самих данных (Software Defined Assets).
Observability. Делает процессы прозрачными за счет автоматического сбора богатых метаданных.
Data Lineage. Визуализирует весь путь данных — от сырого источника до финального отчета, упрощая отладку.
Гибкая интеграция. Позволяет объединить разрозненные инструменты и подсистемы в единый управляемый процесс.

Dagster завоевал любовь, потому что он

Знание ETL-разработки и оркестрации – это must have для уровня middle/senior-аналитика и инженера как на российском, так и на международном рынке

Почему стоит освоить?

Как проходит обучение?

Наш подход к обучению стирает границы между теорией и практикой, предлагая вам немедленное применение знаний в реальных условиях. Забудьте о скучных видеолекциях и бесконечном запоминании правил.

Браузерная IDE для запуска проектов

Геймифицированная теория и задания с подробным описанием и подсказками

Мы подготовили для вас бота с датасетами вашего бизнес-кейса, а также облачную инфраструктуру, чтобы обучение в симуляторе было максимально приближенным к реальности.

Инфраструктура, стенды и боты с подготовленными данными для учебы

Вас ждет закрытый чат с преподавателем и другими участниками курса, где можно смело задавать вопросы и быстро получать на них ответы.

Поддержка на всем
пути обучения

Вас ждет более 60 задач из разных бизнес-сфер, которые вы возьмете
в портфолио

Начнем получать сырые данные из источника в проекте.
Создадим подключение к внешнему API.
Создадим IOManager для записи сырых данных в PostgreSQL.

Партиционируем по дате ассет, напишем для этого методы в ресурсе и менеджере.
Напишем несколько расписаний и зададим правило для автоматической материализации ассета.
Создадим утилитарные задачи, которые сможем запускать из UI, а также добавим алертинг и юнит-тесты.

Познакомимся с двумя разными подходами к интеграции, добавим расписание и партиционирование.
Запустим все, что сделали раньше, в Docker.

Дмитрий Володин

TrafficStars

Занимается построением корпоративных хранилищ данных с 2019 года. Создавал платформы аналитики для издательской группы «Альпина», московской библиотеки им. Некрасова и digital-сегмента российского McDonald’s. С 2022 года на солнечном Кипре разрабатывает аналитические решения для одной из крупнейших рекламных сетей в мире – TrafficStars.

Бронислав Житников

Состоит в программном комитете SmartData
Работает в IT более 17 лет и около 15 лет занимается разработкой. Последние 2 года развивает проект загрузки сырых данных в компании как архитектор и владелец продукта. Имеет опыт запуска продукта на основе Apache NIFI для крупного Enterprise. Является администратором и активным участником сообщества пользователей NiFi в России.

Positive Technologies, ex Т-Банк

Иван Матвеев

Я Data Engineer с опытом построения data-платформ и ETL/ELT пайплайнов. Пишу о современных инструментах обработки данных, лучших практиках Data Engineering, построении дата-платформ и data quality. Делюсь опытом работы с Dagster, DBT, DLT, Trino и другими инструментами из экосистемы больших данных