Профессия Data Engineer

Среднее время прохождения — 5 месяцев.

Введение в Data Science
Пройдёте все этапы работы с данными. Научитесь выявлять проблемы, собирать бизнес-требования. Будете выгружать данные из различных источников, проводить разведочный анализ и готовить датасет к дальнейшему использованию. Обучите и внедрите готовую ML-модель, попробуете себя в роли продуктового и маркетингового аналитика. Узнаете, как формулировать и проверять гипотезы. Создадите первый проект на основе реальных данных совместно с VK и сервисом «СберАвтоподписка».

Среднее время прохождения — 4 месяца. В процессе вам предстоит решить 6 реальных кейсов из практики дата-инженера и выполнить итоговый проект.

Data Engineer Junior
Разбираемся в типах источников данных.
Работаем с потоковыми источниками и API: загружаем данные из внешних сервисов.
Подключаем источники с помощью Data Ingestion Tool.
Кейс: напишете приложение, которое загружает данные в базу, или построите процесс обработки данных с помощью NiFi.
Используем Docker для автоматизации.
Подключаем мониторинг для контроля за сервисами.
Настраиваем логирование для анализа работы сервисов.
Кейс: развернёте приложение для загрузки данных в продовом окружении. Упакуете его в Docker, подключите сервисы мониторинга и логирования для контроля его работы.
Разбираемся с Hadoop для масштабирования вычислений.
Используем Spark для обработки данных.
Учимся обрабатывать сложные данные в Spark.
Используем Hive для анализа слабоструктурированных данных.
Кейс: подготовить датасет клиентских запросов компании, чтобы найти причины сбоя сервиса.
Разбираемся в хранилищах данных для аналитики.
Строим хранилище по архитектуре Data Lake.
Управляем ETL-процессами с помощью Airflow.
Знакомимся с ClickHouse.
Кейс: подготовить Data Lake на основе данных IoT для анализа энергопотребления арендаторов жилья.
Моделируем DWH.
Работаем с аналитическими базами данных.
Строим DWH.
Создаём витрины данных.
Кейс: подготовить DWH для анализа успеваемости студентов на онлайн-курсах.
Тестируем Python-приложения на примере DAG Airflow.
Ищем проблемы в данных и учимся их устранять.
Создаём процедуры для контроля качества данных.
Кейс: создать пайплайн обработки данных биллинга с проверкой качества данных и бизнес-правил для телеком-компании.

Карьерный консультант поможет подготовиться к собеседованию в компании-партнёре. Разберёте частые вопросы и научитесь меньше переживать на интервью.
Напишете сопроводительное письмо и грамотно оформите резюме.
Будете готовы пройти собеседование — карьерный консультант организует встречу с работодателем.
На интервью презентуете проекты, над которыми вы работали на курсе, а знания и навыки пригодятся для выполнения тестовых задач.

Среднее время прохождения — 3 месяца

Data Engineer advanced
Научитесь пользоваться типовыми средствами мониторинга, настраивать алерты. Будете выбирать архитектуру для хранения данных и работать со сложными типами архитектуры хранилищ. Выстраивать инфраструктуру и пайплайны для обучения ML-моделей.

Основы математики для Data Science
Получите базовые знания по математике для работы с машинным обучением. Поймёте, что такое аппроксимация, интерполяция, функции, регрессии, матрицы и векторы. Научитесь работать с математическими сущностями в Python-библиотеке SymPy.

Основы статистики и теории вероятностей
Поймёте принципы работы со случайными величинами и событиями. Познакомитесь с некоторыми видами распределений и статистическими тестами, которые пригодятся при составлении моделей и проверке гипотез.

Основы статистики и теории вероятностей. Advanced
Узнаете подробнее о случайных величинах, зависимостях и процессах. Научитесь использовать Python для проверки закономерностей, применять функции генерации основных распределений. Протестируете гипотезы и поставите задачи А/В-тестирования.

Карьера разработчика: трудоустройство и развитие
Узнаете, как выбрать подходящую вакансию, подготовиться к собеседованию и вести переговоры с работодателем. Сможете быстрее получить должность, которая соответствует вашим ожиданиям и умениям.

Система контроля версий Git
Научитесь версионировать изменения в коде, создавать и управлять репозиториями, ветками, разрешать конфликты версий. Узнаете полезные правила работы с Git.

Английский для IT-специалистов
Получите языковые навыки, которые помогут пройти собеседование в иностранную компанию и комфортно общаться в смешанных командах.