Симулятор Data Warehouse Analytics Engineer на базе dbt для инженеров и аналитиков данных
Изучите один из самых востребованных инструментов аналитики, решая сложные практические задачи, научитесь DataOps-практикам, постройте хранилище данных на базе dbt, подготовьте и проанализируйте данные.
Старт:
28 октября
Решите 100+ задач
Реальные стенды
Пет-проект в портфолио
Упакуйте навыки в CV для международного рынка
Реальные стенды
Пет-проект в портфолио
Упакуйте навыки в CV для международного рынка
Осталось 10 из 10 мест
Мини-группы стартуют каждые 2 недели
Оставьте свои контакты, для того чтобы получить демо-доступ к первым четырем урокам
Симулятор Data Warehouse Analytics Engineer на базе dbt | Тариф "Мастер задач"
40000
р.
45000
р.
Изучите один из самых востребованных инструментов аналитики, решая сложные практические задачи, научитесь DataOps практикам, постройте хранилище данных на базе dbt, подготовьте и проанализируйте данные
Рассрочка на 4 месяца |Симулятор Data Warehouse Analytics Engineer на базе dbt | Тариф "Мастер задач"
11250
р.
р.
ВНИМАНИЕ! Вы приобретаете курс по dbt без скидки в рассрочку на 3 месяцев. После оплаты вам придут доступы с инструкцией для входа в личный кабинет и ссылкой на чат группы.
Рассрочка на 6 месяцев |Симулятор Data Warehouse Analytics Engineer на базе dbt | Тариф "Основательный подход"
???? Вы приобретаете курс в рассрочку на 6 месяцев без скидки
11666
р.
р.
ВНИМАНИЕ! Вы приобретаете курс по DBT без скидки в рассрочку на 6 месяцев. После оплаты вам придут доступы с инструкцией для входа в личный кабинет и ссылкой на чат группы.
Стек, который вы освоите: dbt, Cloud, SQL, Jinja, In-memory аналитическая база данных DuckDB, GPostgreSQL
Почему на базе dbt?
dbt строит data lineage всей базы и сам пересчитывает ее от источников к витринам.
dbt – это один из ключевых инструментов современной аналитики и modern data stack. Он завоевал любовь аналитиков и дата-инженеров по всему миру
Не помните, в каком порядке надо обновлять таблицы?
Проект dbt позволит хранить весь ваш код в git и пересоздавать все таблицы одной командой.
До сих пор кое-как храните SQL-код прямо в базе в виде представлений и хранимых процедур?
С dbt вы сами трансформируете данные на языке SQL. Тяжелые инструменты типа Spark и Hadoop больше не нужны.
Устали ждать, пока дата-инженеры подготовят данные под ваши требования?
dbt сам создаст интерактивный каталог данных с документацией, чтобы упростить жизнь стейкхолдерам.
Результаты вашей работы теряются на фоне других таблиц?
Знание DWH и dbt – это must have для уровня middle/senior-аналитика и инженера как на российском, так и на международном рынке.
Почему стоит освоить?
А еще dbt – это тестирование качества данных, проверка контрактов, интеграция с Airflow и многое другое.
Вас ждет более 100 задач из разных бизнес-сфер, которые вы возьмете
в портфолио
в портфолио
Выстроить аналитический пайплайн из таблиц и представлений, который выдает общую и дневную статистику поездок с учетом данных пользователей. Покрыть его тестами качества данных и документацией.
Статистика поездок на самокатах
Разработать SQL-пайплайн, который будет инкрементально очищать и обрабатывать таблицу событий из мобильного приложения, обогащать ее данными поездок и пользователей и в конечном итоге представлять продуктовые метрики. Внедрить контракты данных, чтобы продуктовые аналитики знали, что ожидать на выходе.
Аналитика ивентов приложения
Помочь финансовым аналитикам обработать данные в Excel с помощью SQL, dbt и аналитической in-memory базы данных DuckDB, не передавая данные в сеть.
Анализ финансовых данных
Выступить в роли настоящего инженера аналитики и развернуть аналитические dbt-пайплайны с планировщиком, мониторингом и централизованным git-репозиторием для всей команды аналитиков. Внедрить проверку качества данных и веб-портал с каталогом данных и документацией.
Создание аналитической платформы
Пример задания №5
Пример задания №6
Что вы получите
после прохождения курса
после прохождения курса
Основы и принципы.
И понимание их специфик.
Опыт построения разных типов хранилищ данных (DWH)
Знания в создании ELT-пайплайнов
С использованием dbt и PostgreSQL.
Практику по моделированию данных
А также обеспечения их качества (Data Quality).
Навыки подготовки и тестирования данных
Доступ к боту с датасетами для вашего бизнес-кейса и облачная инфраструктура для практики в условиях, максимально приближенных к реальным.
Знание принципов работы с СУБД на базе Postgres
На примере кикшеринга в Москве.
Продвинутые навыки аналитики и визуализации данных
Оптимизация производительности, мониторинга, работа с инкрементальными моделями и разработка end-to-end-решений.
Освоение современных DataOps-практик
Встречайте вашего
персонального помощника ДуДу
персонального помощника ДуДу
ДуДу всегда под рукой – доступен 24/7. Он помогает в обучении, готов ответить на любые вопросы по курсу и провести быстрый Code Review.
Кто это?
Как проходит обучение?
Наш подход к обучению стирает границы между теорией и практикой, предлагая вам немедленное применение знаний в реальных условиях. Забудьте о скучных видеолекциях и бесконечном запоминании правил.
Изложенная простым языком, с примерами из жизни/рабочих ситуаций и мемами, чтобы было не скучно.
Понятная теория
Мы подготовили для вас бота с датасетами вашего бизнес-кейса, а также облачную инфраструктуру, чтобы обучение в симуляторе было максимально приближенным к реальности.
Инфраструктура, стенды и боты с подготовленными данными для учебы
Вас ждет закрытый чат с преподавателем и другими участниками курса, где можно смело задавать вопросы и быстро получать на них ответы.
Поддержка на всем
пути обучения
пути обучения
Бессрочный доступ к
постоянно обновляемым материалам
постоянно обновляемым материалам
Каждые 3 месяца мы обновляем наш тренажер, поэтому вы будете возвращаться к нему снова и снова.
16 марта
Внесены пояснения к терминам в миссию №2 и №3.
28 марта
Созданы новые дата-сеты поездок по Москве.
1 мая
Внедрен ИИ-помощник ДуДу для обучения и мгновенного CodeReview.
Август 2024
Добавлены побочные квесты.
- К миссии 8. Задаем название схемы – развернутый ответ на самый частый вопрос новичков в dbt.
- К миссии 10. Управляем моделью с помощью метаданных.
- К миссии 12. Подготовка новой базы к работе. Для тех, кто с нами уже давно и у кого база данных Render.com истекла и требует пересоздания.
Вы примерите на себя роль начинающего аналитика Марка в молодой компании кикшеринга. Вы только что ушли из банка, где вам не давали развиваться и пробовать современные подходы. Потому в новой компании вы будете изучать dbt и сразу внедрять его для решения реальных проблем, связанных с аналитикой поездок самокатов, событий пользователей, финансов и не только.
А что такое сюжетный симулятор?
И не все так просто, ведь задач полно, а старший аналитик Игорь все делает по-своему и отказывается помогать... Поэтому вам предстоит показать, на что вы способны, и убедить Игоря, что без dbt компания не сможет быстро расти дальше.
Справитесь?
Поможет вам в ваших начинаниях GPT, который прокачает ваши знания в области Big Data-аналитики и поможет решить проблемы по ходу курса.
Персонажи
- Игорь ДушнинСтарший аналитик, ваш наставник, настоящая заноза
- Марк (это вы)Молодой и перспективный аналитик
- ФаряРуководитель отдела аналитики, которая в вас верит
- Олег ПетровичБывший босс, от которого вы сбежали, любитель OLAP-кубов
- GPTВаш незаменимый помощник
Автор курса
Павел Рословец
Principal Engineer в NXP Semiconductors, ex-Senior Engineer представительства MathWorks и компании Whoosh.
Ex-Senior Data Engineer в Whoosh с более чем 15-летним опытом в IT, от стартапов до госкорпораций. Провел множество тренингов, обучив сотни разработчиков в Inzhenerka.tech.
Principal Engineer в NXP Semiconductors, ex-Senior Engineer представительства MathWorks и компании Whoosh.
Ex-Senior Data Engineer в Whoosh с более чем 15-летним опытом в IT, от стартапов до госкорпораций. Провел множество тренингов, обучив сотни разработчиков в Inzhenerka.tech.
Преподаватель курса
Дмитрий Володин
Занимается построением корпоративных хранилищ данных с 2019 года. Создавал платформы аналитики для издательской группы "Альпина", московской библиотеки им. Некрасова и digital-сегмента российского McDonald’s. С 2022 года на солнечном Кипре разрабатывает аналитические решения для одной из крупнейших рекламных сетей в мире – TrafficStars.
Занимается построением корпоративных хранилищ данных с 2019 года. Создавал платформы аналитики для издательской группы "Альпина", московской библиотеки им. Некрасова и digital-сегмента российского McDonald’s. С 2022 года на солнечном Кипре разрабатывает аналитические решения для одной из крупнейших рекламных сетей в мире – TrafficStars.
программа
Роли в отеле аналитики и как сюда вписывается новая профессия. Какие старые боли аналитиков решает dbt.
Полученные навыки:
Полученные навыки:
- Понимание ролей и обязанностей в сфере аналитики и места в ней новой профессии Analytics Engineer.
- Понимание, какие преимущества дает dbt и какие старые проблемы эффективно решает.
- Обсудим, как dbt может упрощать ежедневные задачи аналитиков и инженеров.
- Познакомимся с основными концепциями dbt и методами моделирования хранилищ данных.
- Изучим создание каталога данных и управления data lineage для обеспечения прозрачности и отслеживаемости данных.
Как получить доступ к большим языковым моделям из России и эффективно использовать их при обучении. Дополнительные источники знаний о dbt.
Полученные навыки: использование больших языковых моделей для решения широкого круга задач – от жизненных до профессиональных, включая генерацию кода, исправление ошибок и получение справочной информации.
Полученные навыки: использование больших языковых моделей для решения широкого круга задач – от жизненных до профессиональных, включая генерацию кода, исправление ошибок и получение справочной информации.
Как получить доступ к dbt и какие преимущества дает облако dbt Cloud. Создаем GitHub-репозиторий будущего проекта, поднимаем PostgreSQL и подключаем к облаку dbt.
Полученные навыки:
Полученные навыки:
- Понимание, чем отличаются разные виды хранилищ данных, какие у них достоинства, недостатки и границы применимости.
- Умение настраивать бесплатную облачную инфраструктуру для персональных проектов.
Разбираем устройство проекта dbt, изучаем сущности и основные понятия. Учимся запускать dbt в облаке. Основы работы с Git и тонкости взаимодействия с аналитическими проектами.
Полученные навыки:
Полученные навыки:
- Понимание, как устроен проект dbt и описание моделей.
- Умение создавать таблицы из SQL-моделей dbt.
Разворачиваем первые модели dbt. Создаем таблицы и представления для анализа статистики поездок на самокатах. Реализуем граф зависимостей (DAG) между моделями, разбираем логи и ошибки.
Полученные навыки:
Полученные навыки:
- Понимание, как аналитики моделируют и перемоделируют хранилище данных.
- Умение создавать модели dbt из SQL-запросов.
- Расчет и визуализация географических данных.
Учимся инкрементально обновлять большие таблицы на примере очистки и обогащения таблицы поездок. Стратегии инкрементальности в dbt. Пересчет таблиц и хитрости заполнения исторических данных.
Полученные навыки:
Полученные навыки:
- Понимание, когда нужно превращать обычные модели в инкрементальные и что для этого требуется.
- Умение выбирать инкрементальную стратегию в зависимости от задачи и типа хранилища.
- Базовое владение техникой шаблонизации SQL-моделей dbt с помощью встроенного инструмента Jinja.
- Умение внедрять инкрементальность в SQL-код модели, проводить отладку таких моделей и заполнять исторические данные.
Инджестинг данных на минималках: создаем таблицу с моделями самокатов из файла. Внедрение CSV-файлов с данными в проект dbt, особенности и ограничения.
Полученные навыки:
Полученные навыки:
- Понимание границ применения CSV-файлов в аналитике, их достоинств, недостатков, изучение альтернатив.
- Умение создавать таблицы из CSV-файлов с помощью dbt seed.
- Умение строить и обновлять пайплайны данных на основе CSV-файлов.
- Умение генерировать CSV-файлы под заданные требования с помощью сервисов LLM.
Оптимизируем SQL-код моделей посредством переиспользуемых текстовых макросов Jinja2. Параметризация моделей с помощью переменных. Автоматизируем рутинные задачи типа выдачи доступов к таблицам.
Полученные навыки:
Полученные навыки:
- Умение создавать макросы Jinja для переиспользования бизнес-логики между моделями.
- Умение создавать параметризованные модели, управляемые с помощью переменных из командной строки.
- Умение правильно работать с тайм-зонами в хранилище.
- Автоматизация проекта dbt для решения вспомогательных задач с помощью хуков.
- Понимание основ низкоуровневой оптимизации данных в хранилище.
- Настройка автоматической раздачи доступов к артефактам dbt.
Учимся внедрять автотесты таблиц и колонок. Проверяем таблицу событий на отсутствие дублей и пропусков. Проверяем свежесть источников и пишем свои автотесты на SQL.
Полученные навыки:
Полученные навыки:
- Понимание основных проблем качества данных, умение диагностировать и решать их.
- Использование взвешенного подхода при внедрении тестов данных с фокусом на основных проблемах.
- Умение использовать стандартные тесты dbt для быстрого внедрения типовых проверок данных.
- Умение создавать свои тесты данных на основе SQL для моделей и отдельных колонок.
Добавляем в проект метаданные и data contracts. Генерируем интерактивный портал с каталогом всего проекта и учимся работать с ним. Что такое артефакты dbt и как их можно использовать для анализа проекта.
Что такое пакеты dbt, какие возможности дают, где их брать и устанавливать. Обзор dbt Package Hub и наиболее интересных пакетов.
Изучаем особенности семантического слоя, отличие от OLAP-кубов и разные способы его реализации. Настраиваем семантический слой в dbt Cloud, подключаем его к BI.
Переносим старый непонятный и недокументированный SQL-код из представлений и сохраненных процедур в проект dbt. Заменяем Python-скрипты SQL-моделями. Оптимизируем статистический анализ тенденций пользователей с помощью dbt.
Что такое in-memory-аналитика и почему DuckDB набирает популярность. Переходим из dbt Cloud к dbt-core и локальной разработке. Заменяем Excel на DuckDB и SQL-модели. Проводим финансовый анализ компании.
Используем встроенные средства dbt Cloud для развертывания проекта в разных окружениях. Методы деплоя аналитических пайплайнов. Настраиваем бесплатный CI/CD для dbt-core в GitHub Actions. Обзор оркестраторов для dbt.
Учимся красиво представлять свой опыт и полученные знания. Как составить эффективное резюме, оформить демо-проект на GitHub и пройти техническое интервью на должность дата-инженера/аналитика. Дальнейшие пути развития в рамках dbt и не только.
На уроке научимся:
- Запускать сборку моделей dbt руками.
- Настраивать запуск по расписанию.
- Работать с селекторами dbt.
- Запускать тесты dbt assets.
На уроке научимся:
- Запускать сборку моделей dbt руками.
- Настраивать запуск по расписанию.
- Работать с селекторами dbt.
🔥 Скидка до 15 000 рублей на любой тариф до 25 октября
Мастер задач
38 500 руб.
без % за 11 250 руб. на 4 месяца
- Бессрочный доступ к тренажеру
- Чат курса с поддержкой и преподавателем
- AI-бот ДуДу для мгновенного CodeReview
- Сертификат
Основательный подход
55 000 руб.
без % за 11 666 руб. на 6 месяцев
- Бессрочный доступ к тренажеру
- Вебинар по Airflow
- Вебинар по Dagster
- Чат курса с поддержкой и преподавателем
- AI-бот ДуДу для мгновенного CodeReview
- 2 встречи вопрос-ответ с Team Lead 1 на 1 (по запросу)
- Бонус-курс по основам GIT
- Сертификат
Что такое тимлид/ментор и почему это эффективнее и выгоднее?
Какие могут быть запросы:
Как это работает:
Персональные консультации с Тимлидом сделают обучение более эффективным, так как на них можно будет обсудить решение ваших рабочих задач. Тимлид – это опытный и компетентный коллега, выступающий в качестве ментора/репетитора для взрослых, который поможет вам с конкретным вопросом.
Вы не отвлекаетесь на вопросы группы, а решаете только свои задачи по своему запросу.
Вы не отвлекаетесь на вопросы группы, а решаете только свои задачи по своему запросу.
- Накопились вопросы по нашему тренажеру
- Нет конкретной темы, которая нужна только вам
- У вас есть рабочая задача по курсу или на схожую тему, и вы хотели бы ее решить
3 встречи входят в тариф "Основательный подход".
Одна встреча – это час вашего времени.
Одна встреча – это час вашего времени.
- Вы присылаете нам ваш запрос (вопросы/задачу/проблему)
- Мы подбираем ментора и предлагаем вам его календарь
- Вы букируете встречу через наш саппорт Миру
- Встречаетесь с ментором в Zoom, запись остается у вас
Встречи не сгорают! Это значит, что при покупке тарифа вы всегда сможете воспользоваться этой возможностью. Даже через год или два :)
На рынке стоимость часа ментора/Тимлида стоит от 7000 до 12 000 рублей. В тарифе "Основательный подход" вы получаете тренажер, бонус-курс и три встречи с ментором. Это значительно выгоднее.
Открытый урок по dbt в ИнженеркаТех
Обсудим, как dbt может упрощать ежедневные задачи аналитиков и инженеров.
Познакомимся с основными концепциями dbt и методами моделирования хранилищ данных.
Изучим создание каталога данных и управления data lineage для обеспечения прозрачности и отслеживаемости данных.
Ответим на любые вопросы участников и расскажем о нашем сюжетном симуляторе.
Познакомимся с основными концепциями dbt и методами моделирования хранилищ данных.
Изучим создание каталога данных и управления data lineage для обеспечения прозрачности и отслеживаемости данных.
Ответим на любые вопросы участников и расскажем о нашем сюжетном симуляторе.
Ответы
на вопросы
на вопросы
Среднее время прохождения курса на нашем тренажере составляет 3-4 месяца.
После оплаты на указанную вами почту будет отправлен доступ в личный кабинет, а в течение дня вы получите приглашение в закрытый чат студентов. Вы можете сразу приступить к первым урокам в тренажере, не дожидаясь старта потока. Наши мини-группы созданы для минимизации типовых вопросов к автору курса, но если вы уверены в своих силах, то можете начать обучение уже сегодня.
Да. От вас требуется только желание ковыряться в данных и искать там инсайты.
Несмотря на то, что для обучения желательно знать базу SQL, вы сможете изучить основы по ходу курса.
Вы научитесь решать реальные бизнес-задачи с помощью аналитики больших данных. Также у вас сформируется представление о текущем состоянии отрасли и понимание, куда можно развиваться дальше.
Да, вы можете приобрести курс в рассрочку на 4 или 6 месяцев без лишних процентов и переплат.
Конечно, для этого напишите нам в саппорт.
На нашем сайте в разделе "Тарифы". Если у вас возникают сложности с оплатой, то напишите нам в саппорт.
Да, конечно! Если вам нужна помощь с оформлением документов, то напишите нам на почту info@inzhenerka.tech или в саппорт.
Обязательно! Мы выдаем сертификаты как на русском, так и на английском языке.
Сообщение об успешной отправке!