Data Engineer с нуля до Junior

359 студентов зачислены

Авторы курса

эксперты из Сбера, ЮMoney, Visa

2 проекта

на основе реальных данных

Доступ к курсу

навсегда

Дата-инженер создаёт отказоустойчивые системы для работы с Big Data. Он программирует на Python, пишет SQL-запросы, работает с базами данных и облачными хранилищами, знаком с инструментами Kafka, Airflow, Git, Spark.

Задачи специалиста — собрать сырые данные, очистить их и разработать пайплайн для последующей работы ML-инженеров и дата-аналитиков.

Кому подойдёт этот курс

Новичкам

С нуля освоите Python и SQL. Научитесь собирать, анализировать и обрабатывать данные. Решите задачи на основе реальных кейсов и добавите их в портфолио. Сможете начать карьеру в Data Engineering во время обучения.

Начинающим аналитикам

Изучите все этапы работы с данными. Научитесь собирать информацию из разных источников, выстраивать архитектуру для её хранения и визуализировать отчёты. Сможете самостоятельно подготовить данные для последующего анализа.

Программистам

Подтянете знание SQL для работы с базами данных. Пройдёте весь путь дата-инженера от сбора сырых данных до деплоя модели. Опыт в программировании поможет быстро разобраться в новой профессии и сменить сферу.

Чему вы научитесь

Использовать инструменты анализа

Освоите языки Python и SQL. Сможете работать с библиотеками и фреймворками pandas, airflow, spark.

Тестировать код

Поймёте, как проводить регрессионное тестирование. Сможете тестировать пакеты, пайплайны и обрабатывать ошибки.

Разворачивать Data Science проект

Поймёте, как реализовать загрузку данных и собирать информацию из разных источников. Сможете выстраивать готовый пайплайн проекта.

Обрабатывать данные

Узнаете, как подключаться к источникам. Сможете очищать, сохранять и интегрировать данные.

Взаимодействовать с заказчиком

Разберётесь, как готовить отчётность и согласовывать инфраструктуру данных. Сможете предоставить корректные данные заказчику.

Работать в команде

Познакомитесь с git и облачными сервисами для совместной работы. Сможете эффективно взаимодействовать со всеми участниками процесса.

Содержание курса

Первый уровень: базовая подготовка

Пройдёте все этапы работы с данными. Научитесь выявлять проблемы, собирать бизнес-требования. Будете выгружать данные из различных источников, проводить разведочный анализ и готовить датасет к дальнейшему использованию. Обучите и внедрите готовую ML-модель, попробуете себя в роли продуктового и маркетингового аналитика. Узнаете, как формулировать и проверять гипотезы. Освоите базовые инструменты для работы: Python, SQL, Excel, Power Bi, Airflow.

 

Получите базовые знания по математике для работы с машинным обучением. Поймёте, что такое аппроксимация, интерполяция, функции, регрессии, матрицы и векторы. Научитесь работать с математическими сущностями в Python-библиотеке SymPy.

 

Поймёте принципы работы со случайными величинами и событиями. Познакомитесь с некоторыми видами распределений и статистическими тестами, которые пригодятся при составлении моделей и проверке гипотез.

 

Второй уровень: Data Engineer Junior

Узнаете, чем занимается Data Engineer, какую роль играет в Data Science проекте и какие у него пути карьерного развития. Поймёте, как построен курс и какие темы вы будете изучать.

Научитесь манипулировать данными в существующих таблицах, выполнять операции вставки, очистки и обновления данных. Сможете сохранять данные из БД в различные форматы.
Познакомитесь с оконными функциями и основами подготовки витрин данных, использующих SQL. Научитесь обеспечивать корректную вставку информации в режиме транзакции. Сможете читать и понимать лог транзакций.
Узнаете, что такое индексы и архитектура индексов, где они применяются. Изучите методы ускорения запросов.

Рассмотрите типы данных, возможности их преобразования и принцип совместной работы Python и SQL — получение данных из БД, работа с данными и выполнение запросов. Изучите основные понятия схем данных JSON и XML. Сможете настраивать отладку приложений, писать тесты, обезличивать и шифровать данные.

Узнаете, что такое библиотеки для работы с графиками, обучение с учителем, визуализация метрик и источники датасетов. Научитесь использовать Python и библиотеки для работы с данными. Сможете продолжить изучение Pandas.

Итоговые проекты

Закрепите новые знания на индивидуальном проекте — пройдёте путь от загрузки данных до внедрения модели. Решите задачи дата-инженера, ML-инженера и дата-аналитика, чтобы определиться со специализацией.

 

Итоговый проект уровня Junior. Проведёте когортный анализ и выгрузите справочники по API. Построите дашборды по полученным данным.

 

Познакомитесь с оконными функциями и основами подготовки витрин данных, использующих SQL. Научитесь обеспечивать корректную вставку информации в режиме транзакции. Сможете читать и понимать лог транзакций.
Узнаете, что такое индексы и архитектура индексов, где они применяются. Изучите методы ускорения запросов.

Курс подходит новичкам без специальных знаний, высшего образования и талантов. Главное — не пожалейте времени на первый этап, в котором вы получите базовые навыки. Внимательно выполняйте практические работы и не забывайте читать дополнительную литературу. Чем лучше вы поймёте основы, тем легче вам будет учиться дальше.
Мы составили курс с учётом требований работодателей, а итоговые проекты и практические работы основаны на реальных проблемах, которые решают дата-сайентисты. Если заниматься регулярно, практиковаться и не пропускать теоретические видео, то у вас будут все необходимые знания и сильное портфолио, чтобы удачно пройти собеседование.
На начальных этапах от вас не требуется продвинутых знаний — достаточно школьного курса математики. Не пугайтесь, если вам придётся разобраться в темах, которые вы забыли или не проходили — куратор поможет освежить знания или даст ссылки на полезные материалы.

Будьте первым кто оставит отзыв.

Оставить отзыв можно только с предоставлением сертификата о прохождении курса.

Пожалуйста, войдите чтобы оставить отзыв
Data Engineer с нуля до Junior
Цена:
204 960 ₽ 112 727,98 ₽