Симулятор по проектированию Lakehouse на стеке Apache Spark и Iceberg

Практический тренажер: от настройки стека до инкрементальных загрузок и версионирования витрин. Всё в боевом Docker-окружении, максимально близком к реальному продакшену.
Купить курс за 20 000 руб.
Смотреть программу
🔥 Старт 26 апреля
Осталось 9 из 15 мест
Часть 1 / База
Стек, который вы освоите на курсе: Apache Spark, Apache Iceberg, MinIO, Lakekeeper, JupyterLab, Docker Compose, Cloud Ready, Parquet / CSV
ICEBERG
Настройка связки Spark + REST Catalog + S3 для работы с табличными форматами
Управление схемами и атомарные обновления через MERGE и INSERT OVERWRITE
Time Travel через снапшоты и теги для версионирования витрин данных
Реализация историчности данных через SCD Type 2 в условиях Lakehouse
Оптимизация хранения с помощью партиционирования и скрытого партиционирования
Аудит хранилища через метаданные — контроль объёма данных и количества файлов
Партнер курса
сообщество dbt & modern data stack
Отработайте навыки построения архитектур с разделением хранения и вычислений на реальных кейсах.
Проектирование модульных систем
Дата Архитектор
Разберитесь в устройстве табличных форматов и управлении метаданными в масштабируемых системах.
Архитектура хранения больших данных
Дата Администратор
Переход с классических СУБД на Big Data
Если вы работаете с реляционными базами и хотите освоить современный индустриальный стандарт этот симулятор для вас.
Дата Инженер
Для кого тренажер?
Бронислав Житников
Состоит в программном комитете SmartData
Работает в IT более 17 лет и около 15 лет занимается разработкой. Последние 2 года развивает проект загрузки сырых данных в компании как архитектор и владелец продукта. Имеет опыт запуска продукта на основе Apache NIFI для крупного Enterprise. Является администратором и активным участником сообщества пользователей NiFi в России.
Positive Technologies, ex Т-Банк

Автор симулятора

Наша облачная LMS с встроенной IDE и поддержкой 50+ языков программирования доступна вам 24/7 с любого устройства. Интегрированный ИИ объяснянит материал, а тренажер с 100+ задачами и решениями помогает сразу закреплять знания без ожидания.
Решайте сложные задачи сразу в тренажере
Вас ждет закрытый чат с преподавателем и другими участниками курса, где можно смело задавать вопросы и быстро получать на них ответы.
Поддержка на всем пути обучения
Мы подготовили для вас бота с датасетами вашего бизнес-кейса, а также облачную инфраструктуру, чтобы обучение в симуляторе было максимально приближенным к реальности.
Инфраструктура, стенды и боты с подготовленными данными
Купить доступ к курсу
Как проходит обучение?
Наш подход к обучению стирает границы между теорией и практикой, предлагая вам немедленное применение знаний в реальных условиях. Забудьте о скучных видеолекциях и бесконечном запоминании правил.

программа

Модуль #1 Построение MVP
На этом этапе вы создаете фундамент системы и переводите сырые данные в структурированный вид
Модуль #2 Наполнение и управление схемами
Переход от разовой загрузки к регулярным процессам обновления данных

Стоимость обучения
на курсе по проектированию Lakehouse на стеке Apache Spark и Iceberg

Мастер задач
для первого потока
20 000 руб.
  • Бессрочный доступ к тренажеру
  • Домашние задания с мгновенной автопроверкой
  • AI-ментор ДуДу: CodeReview и подсказки 24/7
  • Доступ к комьюнити и чату с преподавателем
  • Сертификат (RU / EN / гособразца по запросу)
Оплатить картой России
Оплатить иностранной картой
Оплатить в рассрочку 10 000 руб. / 2 мес.
Можно получить налоговый вычет 13%

Мы обучили команды, которые строят современный IT-рынок

и еще в более 120 компаний
Хотите пройти обучение от компании? Напишите нам в поддержку
Написать нам
Персонажи
Все обучение проходит в сюжетном симуляторе
  • Енисей
    Руководитель ИТ Главный по срокам и бюджетам. Его задача следить за тем, чтобы разработка не превратилась в бесконечный процесс. Он жестко держит рамки дедлайнов и напоминает о бизнес-ценности
  • Эдик
    Руководитель инженерного направления Человек, который отвечает за железо и инфраструктуру. Немного ворчлив, не любит работать без ТЗ, но именно он предоставляет доступы к облаку и Docker-окружению
  • Ариела
    Руководитель BI Внутренний заказчик данных. Она ставит задачи на разработку витрин и слоев данных. Ариела следит за тем, чтобы аналитики получили удобный инструмент для отчетов, а не просто набор таблиц
  • Бронислав
    Тимлид. Ключевой наставник в тренажере. Он объясняет теорию, подкидывает ссылки на документацию и учит принимать правильные архитектурные решения. Именно Бронислав помогает превратить просто код в надежный фундамент
  • Толик
    Инженер. Роль, которую занимает студент. Толик - это руки проекта. Он разбирается со Spark-сессиями, пишет MERGE-запросы и набивает шишки на практике, попутно вникая в офисную политику.
Открытый урок по dbt в ИнженеркаТех
Обсудим, как dbt может упрощать ежедневные задачи аналитиков и инженеров.
Познакомимся с основными концепциями dbt и методами моделирования хранилищ данных.
Изучим создание каталога данных и управления data lineage для обеспечения прозрачности и отслеживаемости данных.
Ответим на любые вопросы участников и расскажем о нашем сюжетном симуляторе.
Ответы
на вопросы