DataOps-инженер

230 студентов зачислены

Длительность

11 месяцев

Формат

Видеолекции, домашние работы, итоговые проекты, вебинары с практикой

Документ

Диплом о профессиональной переподготовке

DataOps-инженер может развернуть и конфигурировать все эти инструменты там, где остро встаёт вопрос масштабирования и гибкости. Специалисты по дата-инжинирингу востребованы в разных сферах, в том числе — банковской, ритейле и телекоме.

Кому подойдёт этот курс

ETL-разработчикам

Сделаете следующий шаг в карьере и сможете помочь бизнесу в процессах масштабирования

Разработчикам Scala, Python, Java

Сможете сменить разработку на работу с данными, при этом глубокие знания языков позволят это сделать безболезненно и продуктивно

Аналитикам и Data Scientists

Сможете перейти из анализа и построения моделей в инжиниринг, стать специалистом редкого профиля и зарабатывать больше

Чему вы научитесь

Предобрабатывать данные с помощью Python

Освоите синтаксис и библиотеки универсального инструмента аналитики, заложите фундамент для ML-изысканий

Писать приложения на Kafka Streams DSL

Настроите приложение, в котором алерт-сообщения будут отправляться при заданных условиях

Работать с данными в облаке

Научитесь строить пайплайн, оптимизировать расходы и обеспечивать безопасность в облачной среде

Выстраивать инфраструктуру для больших данных

Сможете подбирать решения в зависимости от задач и особенностей бизнеса

Использовать в работе Spark SQL

Получите практические навыки работы с DataFrame API

Внедрять принципы гибкого подхода MLOps

Узнаете о философии CI\CD, пройдёте путь тестирования, продакшена и автоматического обучения ML-моделей

Содержание курса

Вы научитесь пользоваться базовыми инструментами и подходами в Python, чтобы начать работать с данными. Научитесь получать и очищать данные, находить связи и проверять гипотезы. Сможете работать с главными аналитическими библиотеками.

Управляющие конструкции и коллекции

Работа с файловой системой и модули

Исключения и обработка ошибок

Регулярные выражения и основы синтаксического разбора

Библиотека NumPy

Библиотека Pandas

Познакомитесь с основным инструментом обработки больших данных. Разберётесь в возможностях управления ресурсами кластера.

Основы Hadoop: архитектура

Data Lake vs Data Warehouse

HDFS: логика работы, Namenode и Datanode

MapReduce: алгоритм и решение задач

Yarn, Pig & Hive

Pig & Hive

HBase & Cassandra: возможности и основные характеристики

Управление и администрирование кластера

Обзор Apache Ambari, Apache Ranger, Apache Atlas

Изучите способы обработки разных видов данных. Узнаете, что такое оркестратор и какие задачи он решает. Поймёте, как эффективно преобразовывать данные в хранилищах.

Apache Spark: основные команды и RDD

Spark SQL: DataFrame API и Dataset API

Архитектура Spark: компоненты и идеи

Apache Airflow: основные сущности для построения задач и взаимодействие сущностей

Работа с Airflow: запуск DAG и механизм XCom

Data Build Tool как инструмент ETL

 

Поймёте особенности работы с потоковыми данными. Разберётесь в логике работы брокеров сообщений.

Устройство Clickhouse и загрузка данных в корпоративное хранилище

Устройство Kafka и работа с кластером

Конфигурация Kafka Streams

Kafka Streams Interactive Queries, Kafka Streams Processor API, Kafka Connect

Spark Streaming: характеристики и особенности использования

Создание простого приложения на Spark Structure Streaming + Kafka

Обучение проходит на образовательной платформе Нетологии. У вас будет личный кабинет с доступом к вебинарам, видеолекциям, дополнительным материалам, домашним заданиям и чату.
Вы можете учиться в удобное время. Если не успеваете на вебинары и воркшопы, сможете посмотреть запись занятия — она будет доступна в личном кабинете.
Практические задания проверяют преподаватели с экспертизой в области аналитики. Вы получите развёрнутую обратную связь и индивидуальные рекомендации по улучшению работы.

Будьте первым кто оставит отзыв.

Оставить отзыв можно только с предоставлением сертификата о прохождении курса.

Пожалуйста, войдите чтобы оставить отзыв
Цена:
108 000 ₽ 64 800 ₽