Курс по ETL-разработке и
оркестрации на Dagster и Apache Nifi

Стройте качественные ETL на базе Dagster и Apache Nifi
  • Получайте сырые данные из источника с помощью Software Defined Asset.
  • Подключайтесь к внешнему API.
  • Создайте IOManager для записи сырых данных в PostgreSQL.
  • Создавайте правила для автоматического получения и обработки данных.
  • Запускайте Dagster в Docker.
Получить демо-доступ
О нас
Курсы
Стоимость
Заказать консультацию
Смотреть программу
Старт:
31 марта
INZHENERKA.TECH
ETL
Решите 60+ задач
Pet-проект в портфолио
для CV в международном рынке
Среднее прохождение курса 2,5 месяца
Осталось 10 из 10 мест
Партнер курса
сообщество dbt & modern data stack
Стек, который вы освоите: Dagster, SDA (Software Defined Asset), IOManager, dbt, Docker, PostgreSQL, API Integration
Почему на базе dagster и Nifi?
Dagster – это один из ключевых инструментов современной modern data stack. Он завоевал любовь аналитиков и дата-инженеров по всему миру. Он дает больше гибкости и позволяет строить более сложные пайплайны.
Пройдя наш тренажер, вы сможете работать в любом оркестраторе, будь то Airflow, Dagster и т. д.
Нужно освоить ETL-разработку и оркестрацию?
  • Меняет подход с управления задачами на управление ассетами данных.
  • Повышает наблюдаемость данных за счет сбора большого количества метаданных.
  • Визуализирует Data Lineage, начиная от источника данных и заканчивая ответами. Позволяет управлять каждым отдельным компонентом.
  • Позволяет интегрировать разные подсистемы вместе в одном оркестраторе.
Dagster завоевал любовь на международном рынке, потому что он:
Знание ETL-разработки и оркестрации – это must have для уровня middle/senior-аналитика и инженера как на российском, так и на международном рынке

Почему стоит освоить?

Вас ждет более 60 задач из разных бизнес-сфер, которые вы возьмете
в портфолио
Начнем получать сырые данные из источника в проекте.
Создадим подключение к внешнему API.
Создадим IOManager для записи сырых данных в PostgreSQL.
Самокат-шеринг
Партиционируем по дате ассет, напишем для этого методы в ресурсе и менеджере.
Напишем несколько расписаний и зададим правило для автоматической материализации ассета.
Создадим утилитарные задачи, которые сможем запускать из UI, а также добавим алертинг и юнит-тесты.
Проект «Самокат-шеринг в Москве»
Познакомимся с двумя разными подходами к интеграции, добавим расписание и партиционирование.
Запустим все, что сделали раньше, в Docker.
Проект «Самокат-шеринг в Москве»
Встречайте вашего
персонального помощника ДуДу
ДуДу всегда под рукой – доступен 24/7. Он помогает в обучении, готов ответить на любые вопросы по курсу и провести быстрый Code Review.
Кто это?
Как проходит обучение?
Наш подход к обучению стирает границы между теорией и практикой, предлагая вам немедленное применение знаний в реальных условиях. Забудьте о скучных видеолекциях и бесконечном запоминании правил.
Браузерная IDE для запуска проектов
Геймифицированная теория и задания с подробным описанием и подсказками
Мы подготовили для вас бота с датасетами вашего бизнес-кейса, а также облачную инфраструктуру, чтобы обучение в симуляторе было максимально приближенным к реальности.
Инфраструктура, стенды и боты с подготовленными данными для учебы
Вас ждет закрытый чат с преподавателем и другими участниками курса, где можно смело задавать вопросы и быстро получать на них ответы.
Поддержка на всем
пути обучения
Бессрочный доступ к
постоянно обновляемым материалам
Каждые 3 месяца мы обновляем наш тренажер, поэтому вы будете возвращаться к нему снова и снова.
Март 2025
  • Добавлен блок NiFI
  • Разработка блока DLT
Вы примерите на себя роль дата-инженера в молодой компании кикшеринга. Вы только что ушли из банка, где вам не давали развиваться и пробовать современные подходы. Потому в новой компании вы будете изучать построение ETL и сразу внедрять его для решения реальных проблем, связанных с аналитикой поездок самокатов, событий пользователей, финансов и не только.
А что такое сюжетный симулятор?
Справитесь?
А поможет вам в ваших начинаниях AI-помощник ДуДу, который прокачает ваши знания в области Big Data-аналитики и поможет решить проблемы по ходу курса.
Преподаватель блока Dagster
Дмитрий Володин

Занимается построением корпоративных хранилищ данных с 2019 года. Создавал платформы аналитики для издательской группы «Альпина», московской библиотеки им. Некрасова и digital-сегмента российского McDonald’s. С 2022 года на солнечном Кипре разрабатывает аналитические решения для одной из крупнейших рекламных сетей в мире – TrafficStars.
Смотреть программу
Преподаватель блока Apache Nifi
Бронислав Житников
Positive Technologies, ex Т-Банк

Состоит в программном комитете SmartData
Работает в IT более 17 лет и около 15 лет занимается разработкой. Последние 2 года развивает проект загрузки сырых данных в компании как архитектор и владелец продукта. Имеет опыта запуска продукта на основе Apache NIFI для крупного Enterprise. Является администратором и активным участником сообщества пользователей NiFi в России.
Смотреть программу

программа

блок Nifi

🔥 Скидка до 10 000 рублей на любой тариф до 28 марта
Мастер задач
30 000 руб.
25 000 руб.
без % за 10 000 руб. на 3 месяца
  • Бессрочный доступ к тренажеру
  • Вебинар по Airflow
  • Вебинар по Dagster
  • Чат курса с поддержкой и преподавателем
  • AI-бот ДуДу для мгновенного CodeReview
  • Сертификат на русском и английском языке
Оплатить
Основательный подход
45 000 руб.
35 000 руб.
без % за 15 000 руб. на 3 месяца
  • Бессрочный доступ к тренажеру
  • Блок по Apache NiFi
  • Чат курса с поддержкой и преподавателем
  • AI-бот ДуДу для мгновенного CodeReview
  • Бонус: курс по Pandas, Numpy и Matplotlib
  • Сертификат на русском и английском языке
Оплатить
Купить в рассрочку
Купить в рассрочку

Что такое тимлид/ментор и почему это эффективнее и выгоднее?

Какие могут быть запросы:
Как это работает:
Персональные консультации с Тимлидом сделают обучение более эффективным, так как на них можно будет обсудить решение ваших рабочих задач. Тимлид – это опытный и компетентный коллега, выступающий в качестве ментора/репетитора для взрослых, который поможет вам с конкретным вопросом.

Вы не отвлекаетесь на вопросы группы, а решаете только свои задачи по своему запросу.
  • Накопились вопросы по нашему тренажеру.
  • Нет конкретной темы, которая нужна только вам.
  • У вас есть рабочая задача по курсу или на схожую тему, и вы хотели бы ее решить.
3 встречи входят в тариф «Основательный подход».
Одна встреча – это час вашего времени.
  • Вы букируете встречу через наш саппорт Миру и присылаете нам ваш запрос (вопросы/задачу/проблему).
  • Мы подбираем ментора и предлагаем вам его календарь.
  • Встречаетесь с ментором в Zoom, запись остается у вас.

Встречи не сгорают! Это значит, что при покупке тарифа вы всегда сможете воспользоваться этой возможностью. Даже через год или два :)

На рынке стоимость часа ментора/Тимлида составляет от 7000 до 12 000 рублей. В тарифе «Основательный подход» вы получаете тренажер, бонус-курс и три встречи с ментором. Это значительно выгоднее.
Остались вопросы или хотите пройти обучение от компании? Напишите нам в поддержку
Написать нам
Открытый урок по dbt в ИнженеркаТех
Обсудим аспекты работы с Dagster, такие как software defined assets, ops, jobs.

На уроке научимся:
Запускать сборку моделей dbt руками.
Настраивать запуск по расписанию.
Работать с селекторами dbt.
Запускать тесты dbt assets.
Присоединяйтесь к довольным выпускникам и нашему сообществу в телеграм
Вступить в сообщество
Ответы
на вопросы
О нас
Курсы
Блог
Заказать консультацию
INZHENERKA.TECH
Хотите пройти обучение у нас от вашей компании?
Отправить
Сообщение об успешной отправке!