Симулятор Data Warehouse Analytics Engineer на базе dbt для инженеров и аналитиков данных
Изучите один из самых востребованных инструментов аналитики, решая сложные практические задачи, научитесь DataOps-практикам, постройте хранилище данных на базе dbt, подготовьте и проанализируйте данные.
Глубокий курс, которые закроет 95% вопросов
Глубокий курс, которые закроет 95% вопросов
Старт:
31 марта
Решите 100+ задач
Реальные стенды
Пет-проект в портфолио
Упакуйте навыки в CV для международного рынка
Реальные стенды
Пет-проект в портфолио
Упакуйте навыки в CV для международного рынка
Осталось 3 из 10 мест
Среднее прохождение курса 3 месяца
Мини-группы стартуют каждые 2 недели
Оставьте свои контакты, для того чтобы получить демо-доступ к первым четырем урокам
🫰🏻 Симулятор Data Warehouse Analytics Engineer на базе dbt | Тариф "Ниндзя данных" со скидкой
75000
р.
78000
р.
Изучите один из самых востребованных инструментов аналитики, решая сложные практические задачи, научитесь DataOps практикам, постройте хранилище данных на базе dbt, подготовьте и проанализируйте данные
Симулятор Data Warehouse Analytics Engineer на базе dbt | Тариф "Ниндзя данных"
78000
р.
р.
Изучите один из самых востребованных инструментов аналитики, решая сложные практические задачи, научитесь DataOps практикам, постройте хранилище данных на базе dbt, подготовьте и проанализируйте данные
Рассрочка на 3 месяца |Симулятор Data Warehouse Analytics Engineer на базе dbt | Тариф "Ниндзя данных"
26000
р.
р.
Изучите один из самых востребованных инструментов аналитики, решая сложные практические задачи, научитесь DataOps практикам, постройте хранилище данных на базе dbt, подготовьте и проанализируйте данные
Симулятор Data Warehouse Analytics Engineer на базе dbt | Тариф "Мастер задач"
45000
р.
р.
Изучите один из самых востребованных инструментов аналитики, решая сложные практические задачи, научитесь DataOps практикам, постройте хранилище данных на базе dbt, подготовьте и проанализируйте данные
Рассрочка на 3 месяца |Симулятор Data Warehouse Analytics Engineer на базе dbt | Тариф "Мастер задач"
11250
р.
р.
Изучите один из самых востребованных инструментов аналитики, решая сложные практические задачи, научитесь DataOps практикам, постройте хранилище данных на базе dbt, подготовьте и проанализируйте данные
Рассрочка на 3 месяца |Симулятор Data Warehouse Analytics Engineer на базе dbt | Тариф "Основательный подход"
17500
р.
р.
Изучите один из самых востребованных инструментов аналитики, решая сложные практические задачи, научитесь DataOps практикам, постройте хранилище данных на базе dbt, подготовьте и проанализируйте данные
Стек, который вы освоите на курсе: dbt Core, dbt Cloud, SQL, Jinja, DuckDB, PostgreSQL, Dagster, Airflow
Почему обучение на базе dbt?
dbt строит data lineage всей базы и сам пересчитывает ее от источников к витринам.
dbt – это один из ключевых инструментов современной аналитики и modern data stack. Он завоевал любовь аналитиков и дата-инженеров по всему миру
Не помните, в каком порядке надо обновлять таблицы?
Проект dbt позволит хранить весь ваш код в git и пересоздавать все таблицы одной командой.
До сих пор кое-как храните SQL-код прямо в базе в виде представлений и хранимых процедур?
С dbt вы сами трансформируете данные на языке SQL. Тяжелые инструменты типа Spark и Hadoop больше не нужны.
Устали ждать, пока дата-инженеры подготовят данные под ваши требования?
dbt сам создаст интерактивный каталог данных с документацией, чтобы упростить жизнь стейкхолдерам.
Результаты вашей работы теряются на фоне других таблиц?
Как проходит обучение?
Наш подход к обучению стирает границы между теорией и практикой, предлагая вам немедленное применение знаний в реальных условиях. Забудьте о скучных видеолекциях и бесконечном запоминании правил.
Геймифицированное задание с подробным описанием и подсказками
Наша облачная LMS с встроенной IDE и поддержкой 50+ языков программирования доступна вам 24/7 с любого устройства. Интегрированный ИИ объяснянит материал, а тренажер с 100+ задачами и решениями помогает сразу закреплять знания без ожидания.
Решайте сложные задачи сразу в тренажере
Мы объясняем просто и по делу, с примерами из жизни и рабочими ситуациями — плюс добавляем мемы, чтобы учиться было веселее.
Понятная теория
Мы подготовили для вас бота с датасетами вашего бизнес-кейса, а также облачную инфраструктуру, чтобы обучение в симуляторе было максимально приближенным к реальности.
Инфраструктура, стенды и боты с подготовленными данными для учебы
Вас ждет закрытый чат с преподавателем и другими участниками курса, где можно смело задавать вопросы и быстро получать на них ответы.
Поддержка на всем
пути обучения
пути обучения
Вас ждет более 100 задач из разных бизнес-сфер, которые вы возьмете
в портфолио
в портфолио
Выстроить аналитический пайплайн из таблиц и представлений, который выдает общую и дневную статистику поездок с учетом данных пользователей. Покрыть его тестами качества данных и документацией.
Статистика поездок на самокатах
Разработать SQL-пайплайн, который будет инкрементально очищать и обрабатывать таблицу событий из мобильного приложения, обогащать ее данными поездок и пользователей и в конечном итоге представлять продуктовые метрики. Внедрить контракты данных, чтобы продуктовые аналитики знали, что ожидать на выходе.
Аналитика ивентов приложения
Помочь финансовым аналитикам обработать данные в Excel с помощью SQL, dbt и аналитической in-memory базы данных DuckDB, не передавая данные в сеть.
Анализ финансовых данных
Выступить в роли настоящего инженера аналитики и развернуть аналитические dbt-пайплайны с планировщиком, мониторингом и централизованным git-репозиторием для всей команды аналитиков. Внедрить проверку качества данных и веб-портал с каталогом данных и документацией.
Создание аналитической платформы
Что вы получите
после прохождения курса
после прохождения курса
Основы и принципы, преимущества перед ETL.
Понимание их специфики и подводных камней.
Опыт построения хранилищ данных (DWH)
Знания в создании ELT-пайплайнов
С использованием dbt и PostgreSQL, DuckDB.
Практику по моделированию данных
А также обеспечения их качества (Data Quality).
Навыки подготовки и тестирования данных
От постановки задачи до разработки SQL-моделей и тестирования качества данных.
Решение реальных бизнес-проблем с помощью аналитики
На примере кикшеринга в Москве.
Навыки аналитики и визуализации данных
Оптимизация производительности, мониторинг, настройка CI/CD и разработка end-to-end-решений.
Освоение современных DataOps-практик
Знание DWH и dbt – это must have для уровня middle/senior-аналитика и инженера как на российском, так и на международном рынке.
Почему стоит освоить?
А еще dbt – это тестирование качества данных, проверка контрактов, интеграция с Airflow и многое другое.
Бессрочный доступ к
постоянно обновляемым материалам
постоянно обновляемым материалам
Каждые 3 месяца мы обновляем наш тренажер, поэтому вы будете возвращаться к нему снова и снова.
Осень 2024
- Курс переработан под использование dbt Core (dbt Cloud теперь опционален).
- Добавлена возможность работать с локальным PostgreSQL.
- AI-помощник ДуДу теперь помогает на каждой странице.
- Переработана миссия про использование генеративного AI.
- Еще больше практики и экспресс-квизов для мгновенного закрепления материала.
Лето 2024
Весна 2024
- Внедрен ИИ-помощник ДуДу для обучения и мгновенного CodeReview.
- Внедрены новые датасеты с поездками по Москве.
Добавлены побочные квесты:
- К миссии 8. Задаем название схемы – развернутый ответ на самый частый вопрос новичков в dbt.
- К миссии 10. Управляем моделью с помощью метаданных.
- К миссии 12. Подготовка новой базы к работе. Для тех, кто с нами уже давно, и у кого облачный Postgres требует пересоздания.
Вы примерите на себя роль начинающего аналитика Марка в молодой компании кикшеринга. Вы только что ушли из банка, где вам не давали развиваться и пробовать современные подходы. Потому в новой компании вы будете изучать dbt и сразу внедрять его для решения реальных проблем, связанных с аналитикой поездок самокатов, событий пользователей, финансов и не только.
А что такое сюжетный симулятор?
И не все так просто, ведь задач полно, а старший аналитик Игорь все делает по-своему и отказывается помогать... Поэтому вам предстоит показать, на что вы способны, и убедить Игоря, что без dbt компания не сможет быстро расти дальше.
Справитесь?
Поможет вам в ваших начинаниях AI-помощник ДуДу, который прокачает ваши знания в области Big Data-аналитики и поможет решить проблемы по ходу курса.
Персонажи
- Игорь ДушнинСтарший аналитик, ваш наставник, настоящая заноза
- Марк (это вы)Молодой и перспективный аналитик
- ФаряРуководитель отдела аналитики, которая в вас верит
- Олег ПетровичБывший босс, от которого вы сбежали, любитель OLAP-кубов
- DoudouНезаменимый помощник
Автор курса
Павел Рословец
Principal Engineer в NXP Semiconductors, ex-Senior Engineer представительства MathWorks и компании Whoosh.
Ex-Senior Data Engineer в Whoosh с более чем 15-летним опытом в IT, от стартапов до госкорпораций. Провел множество тренингов, обучив сотни разработчиков в Inzhenerka.tech.
Principal Engineer в NXP Semiconductors, ex-Senior Engineer представительства MathWorks и компании Whoosh.
Ex-Senior Data Engineer в Whoosh с более чем 15-летним опытом в IT, от стартапов до госкорпораций. Провел множество тренингов, обучив сотни разработчиков в Inzhenerka.tech.
Преподаватель курса
Дмитрий Володин
Занимается построением корпоративных хранилищ данных с 2019 года. Создавал платформы аналитики для издательской группы "Альпина", московской библиотеки им. Некрасова и digital-сегмента российского McDonald’s. С 2022 года на солнечном Кипре разрабатывает аналитические решения для одной из крупнейших рекламных сетей в мире – TrafficStars.
Занимается построением корпоративных хранилищ данных с 2019 года. Создавал платформы аналитики для издательской группы "Альпина", московской библиотеки им. Некрасова и digital-сегмента российского McDonald’s. С 2022 года на солнечном Кипре разрабатывает аналитические решения для одной из крупнейших рекламных сетей в мире – TrafficStars.
программа
Роли в отеле аналитики и как сюда вписывается новая профессия. Какие старые боли аналитиков решает dbt.
Полученные навыки:
Полученные навыки:
- Понимание ролей и обязанностей в сфере аналитики и места в ней новой профессии Analytics Engineer.
- Понимание, какие преимущества дает dbt и какие старые проблемы эффективно решает.
- Тренируемся эффективно использовать большие языковые модели, генерировать SQL-скрипты и дебажить ошибки dbt
- Осваиваем AI-помощника ДуДу
- Краткое введение в промпт-инжиниринг
Как получить доступ к dbt и чем отличается dbt Core от облака dbt Cloud. Создаем GitHub-репозиторий будущего проекта, поднимаем PostgreSQL и подключаем к новому проекту dbt.
Полученные навыки:
Полученные навыки:
- Понимание, чем отличаются разные виды хранилищ данных, какие у них достоинства, недостатки и границы применимости.
- Умение настраивать локальную и облачную инфраструктуру для персональных проектов.
Разбираем устройство проекта dbt, изучаем сущности и основные понятия. Учимся запускать dbt. Загружаем данные кикшеринга в базу и применяем первые трансформации.
Полученные навыки:
Полученные навыки:
- Понимание, как устроен проект dbt и описание моделей.
- Умение создавать таблицы из SQL-моделей dbt.
Создаем таблицы и представления для анализа статистики поездок на самокатах. Реализуем граф зависимостей (DAG) между моделями, разбираем логи и ошибки.
Полученные навыки:
Полученные навыки:
- Понимание, как аналитики моделируют и перемоделируют хранилище данных.
- Умение создавать модели dbt из SQL-запросов.
- Расчет и визуализация географических данных.
Учимся инкрементально обновлять большие таблицы на примере очистки и обогащения таблицы поездок. Стратегии инкрементальности в dbt. Пересчет таблиц и хитрости заполнения исторических данных.
Полученные навыки:
Полученные навыки:
- Понимание, когда нужно превращать обычные модели в инкрементальные и что для этого требуется.
- Умение выбирать инкрементальную стратегию в зависимости от задачи и типа хранилища.
- Базовое владение техникой шаблонизации SQL-моделей dbt с помощью встроенного инструмента Jinja.
- Умение внедрять инкрементальность в SQL-код модели, проводить их отладку и заполнять исторические данные.
Инджестинг данных на минималках: создаем таблицу с моделями самокатов из файла. Внедрение CSV-файлов с данными в проект dbt, особенности и ограничения.
Полученные навыки:
Полученные навыки:
- Понимание границ применения CSV-файлов в аналитике, их достоинств, недостатков, изучение альтернатив.
- Умение создавать таблицы из CSV-файлов с помощью dbt seed.
- Умение строить и обновлять пайплайны данных на основе CSV-файлов.
- Умение генерировать CSV-файлы под заданные требования с помощью сервисов LLM.
Оптимизируем SQL-код моделей посредством переиспользуемых текстовых макросов Jinja. Параметризация моделей с помощью переменных. Автоматизируем рутинные задачи типа выдачи доступов к таблицам.
Полученные навыки:
Полученные навыки:
- Умение создавать макросы Jinja для переиспользования бизнес-логики между моделями.
- Умение создавать параметризованные модели, управляемые с помощью переменных из командной строки.
- Умение правильно работать с тайм-зонами в хранилище.
- Автоматизация проекта dbt для решения вспомогательных задач с помощью хуков.
- Понимание основ низкоуровневой оптимизации данных в хранилище.
- Настройка автоматической раздачи доступов к артефактам dbt.
Введение в Data Quality.Учимся внедрять автотесты таблиц и колонок. Проверяем таблицу событий на отсутствие дублей и пропусков. Проверяем свежесть источников и пишем свои автотесты на SQL.
Полученные навыки:
Полученные навыки:
- Понимание основных проблем качества данных, умение диагностировать и решать их.
- Использование взвешенного подхода при внедрении тестов данных с фокусом на основных проблемах.
- Умение использовать стандартные тесты dbt для быстрого внедрения типовых проверок данных.
- Умение создавать свои тесты данных на основе SQL для моделей и отдельных колонок.
Добавляем в проект метаданные и data contracts. Генерируем интерактивный портал с каталогом всего проекта и учимся работать с ним. Что такое артефакты dbt и как их можно использовать для анализа проекта.
Настраиваем CI/CD с GitHub Actions для автоматического обновления каталога данных из исходного кода.
Настраиваем CI/CD с GitHub Actions для автоматического обновления каталога данных из исходного кода.
Что такое пакеты dbt, какие возможности дают, где их брать и устанавливать. Обзор dbt Package Hub и наиболее интересных пакетов.
Переиспользование сложной бизнес-логики для быстрого построения моделей и создания тестов данных.
Переиспользование сложной бизнес-логики для быстрого построения моделей и создания тестов данных.
Изучаем особенности семантического слоя, отличие от OLAP-кубов и разные способы его реализации. Создаем семантический слой в проекте dbt с MetricFlow.
Переносим старый непонятный и недокументированный SQL-код из представлений и сохраненных процедур в проект dbt. Автоматизируем расчет показателей бизнеса с помощью dbt.
Что такое in-memory-аналитика и почему DuckDB набирает популярность. Заменяем расчеты в Excel на DuckDB и документированные SQL-модели. Выполняем финансовый анализ компании.
Методы деплоя аналитических пайплайнов. Multi-stage окружение. Запускаем dbt-core в GitHub Actions по расписанию. Обзор оркестраторов для dbt.
Введение в Dagster и Airflow.
Введение в Dagster и Airflow.
Учимся красиво представлять свой опыт и полученные знания. Как составить эффективное резюме, оформить демо-проект на GitHub и пройти техническое интервью на должность дата-инженера/аналитика. Дальнейшие пути развития в рамках dbt и не только.
На уроке научимся:
- Запускать сборку моделей dbt руками.
- Настраивать запуск по расписанию.
- Работать с селекторами dbt.
- Запускать тесты dbt assets.
На уроке научимся:
- Запускать сборку моделей dbt руками.
- Настраивать запуск по расписанию.
- Работать с селекторами dbt.
Цена обучения
Мастер задач
45 000 руб.
за 15 000 руб. на 3 месяца
- Бессрочный доступ к тренажеру
- Чат курса с поддержкой и преподавателем
- AI-бот ДуДу для мгновенного CodeReview
- Сертификат
Основательный подход
Ниндзя данных
70 000 руб.
за 23 333 руб. на 3 месяца
- Бессрочный доступ к тренажеру
- Чат курса с поддержкой и преподавателем
- AI-бот ДуДу для мгновенного CodeReview
- Бонус: тренажер по работе в GIT и Английский для IT
- 2 встречи вопрос-ответ с Team Lead 1 на 1 (по запросу)
- Сертификат
- Бессрочный доступ к тренажерам
- Курс по ETL-разработке и оркестрации на Dagster и Apache Nifi
- Чат курса с поддержкой и преподавателем
- AI-бот ДуДу для мгновенного CodeReview
- Курс Английский для IT
- Сертификат
за 26 000 руб. на 3 месяца
78 000 руб.
3 курса в комплекте
Можно получить налоговый вычет 13%
Что такое тимлид/ментор и почему это эффективнее и выгоднее?
Какие могут быть запросы:
Как это работает:
Персональные консультации с Тимлидом сделают обучение более эффективным, так как на них можно будет обсудить решение ваших рабочих задач. Тимлид – это опытный и компетентный коллега, выступающий в качестве ментора/репетитора для взрослых, который поможет вам с конкретным вопросом.
Вы не отвлекаетесь на вопросы группы, а решаете только свои задачи по своему запросу.
Вы не отвлекаетесь на вопросы группы, а решаете только свои задачи по своему запросу.
- Накопились вопросы по нашему тренажеру
- Нет конкретной темы, которая нужна только вам
- У вас есть рабочая задача по курсу или на схожую тему, и вы хотели бы ее решить
3 встречи входят в тариф "Основательный подход".
Одна встреча – это час вашего времени.
Одна встреча – это час вашего времени.
- Вы присылаете нам ваш запрос (вопросы/задачу/проблему)
- Мы подбираем ментора и предлагаем вам его календарь
- Вы букируете встречу через наш саппорт Миру
- Встречаетесь с ментором в Zoom, запись остается у вас
Встречи не сгорают! Это значит, что при покупке тарифа вы всегда сможете воспользоваться этой возможностью. Даже через год или два :)
На рынке стоимость часа ментора/Тимлида составляет от 7000 до 12 000 рублей. В тарифе "Основательный подход" вы получаете тренажер, бонус-курс и три встречи с ментором. Это значительно выгоднее.
Как пройти обучение от компании?
Чем больше учеников, тем больше корпоративная скидка 😏
1
Согласуем обучение
Для начала загляните в программу курса и выберите тариф, который вам подходит. Обсудите обучение с руководителем или просто дайте нам его контакт — мы всё согласуем сами.
2
Обмен документами
Вы присылаете реквизиты вашей компании (их можно взять у HR, на сайте или уточнить у бухгалтерии). Если нужен список доп. документов, просто дайте знать, мы всё подготовим.
Далее мы вышлем счет на оплату.
Далее мы вышлем счет на оплату.
3
Всё готово — приступаем!
Вы получаете доступ к курсу, а по завершению сертификат.
Закрывающие документы по итогам обучения отправляем ЭДО, а ваша бухгалтерия их подписывает. Всё быстро, удобно и по делу.
Закрывающие документы по итогам обучения отправляем ЭДО, а ваша бухгалтерия их подписывает. Всё быстро, удобно и по делу.
Открытый урок по dbt в ИнженеркаТех
Обсудим, как dbt может упрощать ежедневные задачи аналитиков и инженеров.
Познакомимся с основными концепциями dbt и методами моделирования хранилищ данных.
Изучим создание каталога данных и управления data lineage для обеспечения прозрачности и отслеживаемости данных.
Ответим на любые вопросы участников и расскажем о нашем сюжетном симуляторе.
Познакомимся с основными концепциями dbt и методами моделирования хранилищ данных.
Изучим создание каталога данных и управления data lineage для обеспечения прозрачности и отслеживаемости данных.
Ответим на любые вопросы участников и расскажем о нашем сюжетном симуляторе.
Мы поддерживаем сообщества инженеров и
аналитиков данных, помогая им развиваться
и обмениваться знаниями
аналитиков данных, помогая им развиваться
и обмениваться знаниями
Мы перевели документацию dbt на русский язык, и теперь она доступна бесплатно для всех ♥️
Ответы
на вопросы
на вопросы
Среднее время прохождения курса по database на нашем тренажере составляет 3-4 месяца.
После оплаты на указанную вами почту будет отправлен доступ в личный кабинет, а в течение дня вы получите приглашение в закрытый чат студентов. Вы можете сразу приступить к первым урокам в тренажере, не дожидаясь старта потока. Наши мини-группы созданы для минимизации типовых вопросов к автору курса, но если вы уверены в своих силах, то можете начать обучение уже сегодня.
Да. От вас требуется только желание ковыряться в данных и искать там инсайты.
Несмотря на то, что для обучения желательно знать базу SQL, вы сможете изучить основы по ходу курса.
Вы научитесь решать реальные бизнес-задачи с помощью аналитики больших данных. Также у вас сформируется представление о текущем состоянии отрасли и понимание, куда можно развиваться дальше.
Да, вы можете приобрести курс в рассрочку на 4 или 6 месяцев без лишних процентов и переплат.
Конечно, для этого напишите нам в саппорт.
На нашем сайте в разделе "Тарифы". Если у вас возникают сложности с оплатой, то напишите нам в саппорт.
Да, конечно! Если вам нужна помощь с оформлением документов, то напишите нам на почту info@inzhenerka.tech или в саппорт.
Обязательно! Мы выдаем сертификаты как на русском, так и на английском языке.
dbt курс, обучение dbt, dbt для аналитиков данных, dbt для инженеров данных, Data Warehouse Analytics Engineer курс, курс по построению хранилищ данных, DataOps практики обучение, современный стек данных курс, dbt и DataOps курс, интеграция dbt в DataOps, обучение dbt Core, dbt Cloud курс, курс по Jinja для dbt, обучение работе с DuckDB, построение ETL процессов с dbt, интеграция dbt с Airflow, стать Data Warehouse Engineer, курсы для аналитиков данных, повышение квалификации инженера данных, сертификация dbt специалиста.
Сообщение об успешной отправке!