Тренажер Apache Spark для инженеров и аналитиков данных
- Изучите архитектуру PySpark на практике и поймите, как она вписывается в экосистему Big Data
- Научитесь работать со внешними источникам данных (на примере Postgres)
- Разберитесь с особенностями работы с колоночными форматами хранения данных
- Научитесь методам пакетной обработки данных, напишите свой первый ETL-процесс на PySpark
- Изучите подходы для потоковой обработки данных через Spark Structured Streaming
Старт:
Декабрь
Решите 100+ задач
Реальные стенды
Пет-проект в портфолио
Упакуйте навыки в CV для международного рынка
Реальные стенды
Пет-проект в портфолио
Упакуйте навыки в CV для международного рынка
Осталось 0 из 0 мест
Мини-группы стартуют каждые 2 недели
Стек, который вы освоите: Apache Spark (PySpark), Kafka, Spark Structured Streaming, Postgres
Вас ждет более 100 задач из разных бизнес-сфер, которые вы возьмете
в портфолио
в портфолио
Участники загрузят и обработают данные о поездках с использованием RDD. Выполнят базовые операции фильтрации, преобразования и агрегации данных для расчёта таких метрик, как общее количество поездок, среднее расстояние поездок, и топ популярных районов для посадки и высадки пассажиров.
Анализ данных NYC Taxi с использованием RDD
Участники создадут DataFrame из данных поездок такси и проведут аналитические запросы, такие как подсчёт средней продолжительности поездок, анализ типов оплаты и чаевых. Используя SparkSQL, они будут выполнять SQL-запросы для извлечения дополнительных метрик, таких как топ маршрутов поездок по количеству пассажиров.
Аналитика на основе DataFrame и Spark SQL
Участники настроят потоковую обработку данных такси, симулируя поступление данных в режиме реального времени. Они разработают систему, которая будет подсчитывать количество поездок, их общую стоимость и динамику в реальном времени. Для визуализации результатов можно использовать инструменты мониторинга.
Потоковая обработка данных (Streaming) с использованием Structured Streaming
Встречайте вашего
персонального помощника ДуДу
персонального помощника ДуДу
ДуДу всегда под рукой – доступен 24/7. Он помогает в обучении, готов ответить на любые вопросы по курсу и провести быстрый Code Review.
Кто это?
Как проходит обучение?
Наш подход к обучению стирает границы между теорией и практикой, предлагая вам немедленное применение знаний в реальных условиях. Забудьте о скучных видеолекциях и бесконечном запоминании правил.
Браузерная IDE для запуска проектов
Геймифицированное теория и задания с подробным описанием и подсказками
Мы подготовили для вас бота с датасетами вашего бизнес-кейса, а также облачную инфраструктуру, чтобы обучение в симуляторе было максимально приближенным к реальности.
Инфраструктура, стенды и боты с подготовленными данными для учебы
Вас ждет закрытый чат с преподавателем и другими участниками курса, где можно смело задавать вопросы и быстро получать на них ответы.
Поддержка на всем
пути обучения
пути обучения
Бессрочный доступ к
постоянно обновляемым материалам
постоянно обновляемым материалам
Каждые 3 месяца мы обновляем наш тренажер, поэтому вы будете возвращаться к нему снова и снова.
Октябрь 2024
- Разработка курса
- Ожидается набор в фокус-группу
программа
- Предпоссылки развития Apache Spark
- Основные компоненты Spark
- Установка и настройка в локальном режиме
- Обработка текстовых файлов и фильтрация данных, подсчет встречающихся элементов (word count).
- Работа с простыми форматами хранения данных (JSON, CSV)
- Изучаем actions/transformations при работе с данными через DataFrame API (группировки, агрегации, фильтрации)
- Понимание принципов формата хранения данных, преимущества и недостатки строковых vs колоночных форматов
- Навык обработки данных из различных источников в одном пайплайне. Эффективное написание Spark Job для параллельного чтения/запись при работе со внешними источниками
- Оптимизация запросов на большом наборе данных.
- Реализация обработки данных в реальном времени на "игрушечных" кейсах доступных в Spark.
- Практика работы с Kafka (1) - базовое чтение и обработка данных, а также запись результатов вычислений в различных вариантах (sink).
- Практика работы с Kafka (2) - агрегация и преобразования на лету.
Ответы
на вопросы
на вопросы
Среднее время прохождения курса на нашем тренажере составляет 3-4 месяца.
После оплаты на указанную вами почту будет отправлен доступ в личный кабинет, а в течение дня вы получите приглашение в закрытый чат студентов. Вы можете сразу приступить к первым урокам в тренажере, не дожидаясь старта потока. Наши мини-группы созданы для минимизации типовых вопросов к автору курса, но если вы уверены в своих силах, то можете начать обучение уже сегодня.
Да. От вас требуется только желание ковыряться в данных и искать там инсайты.
Несмотря на то, что для обучения желательно знать базу SQL, вы сможете изучить основы по ходу курса.
Вы научитесь решать реальные бизнес-задачи с помощью аналитики больших данных. Также у вас сформируется представление о текущем состоянии отрасли и понимание, куда можно развиваться дальше.
Да, вы можете приобрести курс в рассрочку на 4 или 6 месяцев без лишних процентов и переплат.
Конечно, для этого напишите нам в саппорт.
На нашем сайте в разделе "Тарифы". Если у вас возникают сложности с оплатой, то напишите нам в саппорт.
Да, конечно! Если вам нужна помощь с оформлением документов, то напишите нам на почту info@inzhenerka.tech или в саппорт.
Обязательно! Мы выдаем сертификаты как на русском, так и на английском языке.
Сообщение об успешной отправке!