Курс по ETL-разработке и
оркестрации на Dagster и Apache Nifi

Стройте качественные ETL на базе Dagster и Apache Nifi

Получайте сырые данные из источника с помощью Software Defined Asset.
Подключайтесь к внешнему API.
Создайте IOManager для записи сырых данных в PostgreSQL.
Создавайте правила для автоматического получения и обработки данных.
Запускайте Dagster в Docker.

Получить демо-доступ

О нас

Курсы

Стоимость

Заказать консультацию

Смотреть программу

Старт:

27 октября

INZHENERKA.TECH

DAGSTER

Решите 60+ задач
Pet-проект в портфолио
для CV в международном рынке

Среднее прохождение курса 2,5 месяца

Осталось 15 из 15 мест

Партнер курса
сообщество dbt & modern data stack

Стек, который вы освоите: Dagster, SDA (Software Defined Asset), IOManager, dbt, Docker, PostgreSQL, API Integration

Почему на базе dagster и Nifi?

Dagster – это один из ключевых инструментов современной modern data stack. Он завоевал любовь аналитиков и дата-инженеров по всему миру. Он дает больше гибкости и позволяет строить более сложные пайплайны.

Пройдя наш тренажер, вы сможете работать в любом оркестраторе, будь то Airflow, Dagster и т. д.

Нужно освоить ETL-разработку и оркестрацию?

Меняет подход с управления задачами на управление ассетами данных.
Повышает наблюдаемость данных за счет сбора большого количества метаданных.
Визуализирует Data Lineage, начиная от источника данных и заканчивая ответами. Позволяет управлять каждым отдельным компонентом.
Позволяет интегрировать разные подсистемы вместе в одном оркестраторе.

Dagster завоевал любовь на международном рынке, потому что он:

Знание ETL-разработки и оркестрации – это must have для уровня middle/senior-аналитика и инженера как на российском, так и на международном рынке

Почему стоит освоить?

Вас ждет более 60 задач из разных бизнес-сфер, которые вы возьмете
в портфолио

Начнем получать сырые данные из источника в проекте.
Создадим подключение к внешнему API.
Создадим IOManager для записи сырых данных в PostgreSQL.

Самокат-шеринг

Партиционируем по дате ассет, напишем для этого методы в ресурсе и менеджере.
Напишем несколько расписаний и зададим правило для автоматической материализации ассета.
Создадим утилитарные задачи, которые сможем запускать из UI, а также добавим алертинг и юнит-тесты.

Проект «Самокат-шеринг в Москве»

Познакомимся с двумя разными подходами к интеграции, добавим расписание и партиционирование.
Запустим все, что сделали раньше, в Docker.

Проект «Самокат-шеринг в Москве»

Как проходит обучение?

Наш подход к обучению стирает границы между теорией и практикой, предлагая вам немедленное применение знаний в реальных условиях. Забудьте о скучных видеолекциях и бесконечном запоминании правил.

Браузерная IDE для запуска проектов

Геймифицированная теория и задания с подробным описанием и подсказками

Мы подготовили для вас бота с датасетами вашего бизнес-кейса, а также облачную инфраструктуру, чтобы обучение в симуляторе было максимально приближенным к реальности.

Инфраструктура, стенды и боты с подготовленными данными для учебы

Вас ждет закрытый чат с преподавателем и другими участниками курса, где можно смело задавать вопросы и быстро получать на них ответы.

Поддержка на всем
пути обучения

Преподаватель блока Dagster

Дмитрий Володин

Занимается построением корпоративных хранилищ данных с 2019 года. Создавал платформы аналитики для издательской группы «Альпина», московской библиотеки им. Некрасова и digital-сегмента российского McDonald’s. С 2022 года на солнечном Кипре разрабатывает аналитические решения для одной из крупнейших рекламных сетей в мире – TrafficStars.

Смотреть программу

Преподаватель блока Apache Nifi

Бронислав Житников
Positive Technologies, ex Т-Банк

Состоит в программном комитете SmartData
Работает в IT более 17 лет и около 15 лет занимается разработкой. Последние 2 года развивает проект загрузки сырых данных в компании как архитектор и владелец продукта. Имеет опыт запуска продукта на основе Apache NIFI для крупного Enterprise. Является администратором и активным участником сообщества пользователей NiFi в России.

Смотреть программу