Курс по ETL-разработке и оркестрации на Dagster и Apache Nifi, DLT
Демо-доступ
Мы открываем демо-доступ к каждому курсу, чтобы вы не покупали кота в мешке. Оцените формат тренажера, глубину подачи материала и сразу получите прикладные навыки работы с инструментами.
1 Теория ETL
Разбираем, как сырые данные превращаются в бизнес-ценность: ETL-процессы, OLTP/OLAP, batch и stream обработку.
Чему научитесь:
- Выбирать ETL, ELT или EtLT под требования бизнеса.
- Извлекать и нормализовать данные на Python.
- Готовить первый пайплайн к загрузке в аналитическое хранилище.
2 Введение в Dagster
Знакомимся с Dagster и переходом от запуска задач к управлению активами данных: SDA, Resources, IOManagers и Asset Checks.
Чему научитесь:
- Проектировать устойчивые пайплайны данных.
- Разделять бизнес-логику и инфраструктуру через Resources и IOManagers.
- Запускать локальный проект Dagster и настраивать проверки качества.
3 SDA в Dagster
Практикуемся с Software Defined Assets: создаем ассеты, настраиваем зависимости, метаданные и смотрим граф данных в UI.
Чему научитесь:
- Проектировать связанные цепочки ассетов.
- Управлять контекстом выполнения и логированием.
- Внедрять Asset Checks, чтобы останавливать обработку при ошибках.
- Asset-based подход. Смещает фокус с простого выполнения задач на управление качеством и актуальностью самих данных (Software Defined Assets).
- Observability. Делает процессы прозрачными за счет автоматического сбора богатых метаданных.
- Data Lineage. Визуализирует весь путь данных — от сырого источника до финального отчета, упрощая отладку.
- Гибкая интеграция. Позволяет объединить разрозненные инструменты и подсистемы в единый управляемый процесс.
Почему стоит освоить?
в портфолио
Создадим подключение к внешнему API.
Создадим IOManager для записи сырых данных в PostgreSQL.
Напишем несколько расписаний и зададим правило для автоматической материализации ассета.
Создадим утилитарные задачи, которые сможем запускать из UI, а также добавим алертинг и юнит-тесты.
Запустим все, что сделали раньше, в Docker.
Работает в IT более 17 лет и около 15 лет занимается разработкой. Последние 2 года развивает проект загрузки сырых данных в компании как архитектор и владелец продукта. Имеет опыт запуска продукта на основе Apache NIFI для крупного Enterprise. Является администратором и активным участником сообщества пользователей NiFi в России.
Авторы тренажера
программа
От теории ETL до production-деплоя Dagster: учимся проектировать пайплайны, работать с Software Defined Assets, ресурсами, партициями, расписаниями и интеграцией с dbt.
0 Теория ETL — доступно в бесплатной части
Теоретический фундамент инженерии данных: как сырая информация превращается в бизнес-ценность через ETL-процессы. Разбираем OLTP и OLAP, batch и stream обработку.
Чему вы научитесь:
- Выбирать ETL, ELT или EtLT под требования бизнеса к скорости и качеству данных.
- Извлекать и нормализовать данные на Python.
- Готовить первый пайплайн к загрузке в аналитическое хранилище.
1 Введение в Dagster — доступно в бесплатной части
Погружаемся в экосистему Dagster и переход от выполнения задач к управлению активами данных через Software Defined Assets. Разбираем декларативный подход, ресурсы и проверки качества.
Чему вы научитесь:
- Проектировать устойчивые пайплайны данных.
- Разделять бизнес-логику и инфраструктуру через IOManagers и Resources.
- Запускать локальный проект Dagster и настраивать Asset Checks.
2 SDA в Dagster — доступно в бесплатной части
Практика работы с Software Defined Assets: пишем первый ассет, настраиваем зависимости, добавляем метаданные и смотрим граф данных в UI.
Чему вы научитесь:
- Проектировать связанные цепочки ассетов.
- Управлять контекстом выполнения и логированием.
- Внедрять Asset Checks, которые блокируют обработку данных при ошибках.
3 Configurable Resource
Цель урока:
Научиться создавать собственные ресурсы для работы с внешними системами.
Практика на уроке:
Создадим подключение к внешнему API.
4 IOManager
Цель урока:
Научиться создавать инструменты для сохранения и последующего использования данных из SDA.
Практика на уроке:
Создадим IOManager для записи сырых данных в PostgreSQL.
5 Partitions
Цель урока:
Научиться разбивать SDA на более мелкие логические и физические части.
Практика на уроке:
Разделим данные по дате, напишем методы для ресурса и менеджера.
6 Автоматизация
Цель урока:
Научиться создавать правила для автоматического получения и обработки данных.
Практика на уроке:
Напишем несколько расписаний и зададим правила для автоматической материализации ассета.
7 Ops, Jobs, Hooks
Цель урока:
Научиться управлять задачами, которые не связаны напрямую с данными.
Практика на уроке:
Создадим утилитарные задачи для запуска из UI, добавим алертинг и юнит-тесты.
8 Интеграция с dbt
Цель урока:
Запустить dbt-проект в Dagster.
Практика на уроке:
Познакомимся с подходами к интеграции, добавим расписание и настройку партиционирования.
9 Деплой
Цель урока:
Запустить Dagster в Docker.
Практика на уроке:
Запустим все, что сделали ранее, отдельно, и подготовим к релизу в production.
Учимся собирать data flow: получать данные из внешних источников, обрабатывать, разделять, маршрутизировать и сохранять их в PostgreSQL.
10 Введение в NiFi
Получите понимание, какие задачи может решать NiFi, а для каких лучше выбрать другой инструмент.
11 Получение и обработка данных
Цель урока:
Научиться создавать потоки NiFi, получать данные и выполнять простейшие операции обработки.
Практика на уроке:
Создадим подключение к внешнему API.
12 Сохранение данных
Цель урока:
Научиться обрабатывать структурированные данные и сохранять их в системы.
Практика на уроке:
Создадим поток для записи сырых данных в PostgreSQL.
13 Сложная обработка
Цель урока:
Разобраться со сложными механизмами обработки и управления данными.
Практика на уроке:
Будем делить данные, управлять обработкой и распределением данных в кластере.
Собираем практический стек DLT: ресурсы и источники, REST API, файловые источники, S3, интеграцию с Dagster и финальный пайплайн.
14 Знакомство с DLT и создание первого пайплайна
- Установка DLT и настройка рабочего окружения.
- Работа с демонстрационными данными о шахматных партиях.
- Загрузка данных в DuckDB и анализ через SQL-клиент.
15 Ресурсы и источники данных в DLT
- Понятия @dlt.resource и @dlt.source, их назначение и различия.
- Создание ресурсов для работы с CSV-файлами.
- Подключение к ClickHouse как источнику данных.
16 Работа с REST API и конфигурацией
- Подключение к GitHub API для получения issues и данных о контрибьюторах.
- Использование встроенного источника rest_api_source.
- Настройка пагинации для обработки больших объемов данных.
17 Загрузка файлов из различных источников
- Работа с локальными и облачными файлами.
- Обработка Parquet-файлов на примере данных о поездках самокатов.
- Подключение и загрузка данных из Amazon S3.
- Анализ загруженных данных: подсчет записей в таблице events.
18 Интеграция с Dagster
- Создание проекта Dagster с помощью scaffold.
- Работа с @dlt_assets для управления активами данных.
- Кастомизация пайплайнов через DagsterDltTranslator.
- Безопасное хранение токенов и конфигурации через .env файлы.
19 Практический проект: end-to-end пайплайн
- Создание единого пайплайна с интеграцией API, ClickHouse и файловых источников.
- Настройка ассетов и мониторинг через интерфейс Dagster.
- Валидация результатов: консолидация всех данных в едином хранилище.
Стоимость курса
по оркестрации данных на Dagster и DLT
- Бессрочный доступ к тренажеру и обновлениям
- Домашние задания с мгновенной автопроверкой
- ИИ-ментор ДуДу: CodeReview и подсказки 24/7
- Доступ к комьюнити и чату с преподавателем
- Проект в портфолио
- Сертификат (RU / EN/ гособразца по запросу)
- БОНУС доступы к 2 курсам:
+ Тренажер DLT – Python ETL
Преподаватель отвечает лично в чате. Разбираем твой код и рабочие задачи.
- Бессрочный доступ к тренажеру и обновлениям
- Домашние задания с мгновенной автопроверкой
- ИИ-ментор ДуДу: CodeReview и подсказки 24/7
- Доступ к комьюнити и чату с преподавателем
- Проект в портфолио
- Сертификат (RU / EN/ гособразца по запросу)
Преподаватель отвечает лично в чате. Разбираем твой код и рабочие задачи.
- Бессрочный доступ к тренажеру и обновлениям
- Домашние задания с мгновенной автопроверкой
- ИИ-ментор ДуДу: CodeReview и подсказки 24/7
- Доступ к комьюнити и чату с преподавателем
- Проект в портфолио
- Сертификат (RU / EN/ гособразца по запросу)
- БОНУС доступы к 2 курсам:
+ Тренажер DLT – Python ETL
Преподаватель отвечает лично в чате. Разбираем твой код и рабочие задачи.
- Бессрочный доступ к тренажеру и обновлениям
- Домашние задания с мгновенной автопроверкой
- ИИ-ментор ДуДу: CodeReview и подсказки 24/7
- Доступ к комьюнити и чату с преподавателем
- Проект в портфолио
- Сертификат (RU / EN/ гособразца по запросу)
Преподаватель отвечает лично в чате. Разбираем твой код и рабочие задачи.
- Бессрочный доступ к тренажеру и обновлениям
- Домашние задания с мгновенной автопроверкой
- ИИ-ментор ДуДу: CodeReview и подсказки 24/7
- Доступ к комьюнити и чату с преподавателем
- Проект в портфолио
- Сертификат (RU / EN/ гособразца по запросу)
- БОНУС доступы к 2 курсам:
+ Тренажер DLT – Python ETL
Преподаватель отвечает лично в чате. Разбираем твой код и рабочие задачи.
- Бессрочный доступ к тренажеру и обновлениям
- Домашние задания с мгновенной автопроверкой
- ИИ-ментор ДуДу: CodeReview и подсказки 24/7
- Доступ к комьюнити и чату с преподавателем
- Проект в портфолио
- Сертификат (RU / EN/ гособразца по запросу)
Преподаватель отвечает лично в чате. Разбираем твой код и рабочие задачи.
- Бессрочный доступ к тренажеру и обновлениям
- Домашние задания с мгновенной автопроверкой
- ИИ-ментор ДуДу: CodeReview и подсказки 24/7
- Доступ к комьюнити и чату с преподавателем
- Проект в портфолио
- Сертификат (RU / EN/ гособразца по запросу)
- БОНУС доступы к 2 курсам:
+ Тренажер DLT – Python ETL
Преподаватель отвечает лично в чате. Разбираем твой код и рабочие задачи.
- Бессрочный доступ к тренажеру и обновлениям
- Домашние задания с мгновенной автопроверкой
- ИИ-ментор ДуДу: CodeReview и подсказки 24/7
- Доступ к комьюнити и чату с преподавателем
- Проект в портфолио
- Сертификат (RU / EN/ гособразца по запросу)
Преподаватель отвечает лично в чате. Разбираем твой код и рабочие задачи.
Мы обучили команды, которые строят современный IT-рынок
на вопросы