Длительность
11 месяцев
Формат
Видеолекции, домашние работы, итоговые проекты, вебинары с практикой
Документ
Диплом о профессиональной переподготовке
DataOps-инженер может развернуть и конфигурировать все эти инструменты там, где остро встаёт вопрос масштабирования и гибкости. Специалисты по дата-инжинирингу востребованы в разных сферах, в том числе — банковской, ритейле и телекоме.
Кому подойдёт этот курс
ETL-разработчикам
Сделаете следующий шаг в карьере и сможете помочь бизнесу в процессах масштабирования
Разработчикам Scala, Python, Java
Сможете сменить разработку на работу с данными, при этом глубокие знания языков позволят это сделать безболезненно и продуктивно
Аналитикам и Data Scientists
Сможете перейти из анализа и построения моделей в инжиниринг, стать специалистом редкого профиля и зарабатывать больше
Чему вы научитесь
Предобрабатывать данные с помощью Python
Освоите синтаксис и библиотеки универсального инструмента аналитики, заложите фундамент для ML-изысканий
Писать приложения на Kafka Streams DSL
Настроите приложение, в котором алерт-сообщения будут отправляться при заданных условиях
Работать с данными в облаке
Научитесь строить пайплайн, оптимизировать расходы и обеспечивать безопасность в облачной среде
Выстраивать инфраструктуру для больших данных
Сможете подбирать решения в зависимости от задач и особенностей бизнеса
Использовать в работе Spark SQL
Получите практические навыки работы с DataFrame API
Внедрять принципы гибкого подхода MLOps
Узнаете о философии CI\CD, пройдёте путь тестирования, продакшена и автоматического обучения ML-моделей
Содержание курса
Вы научитесь пользоваться базовыми инструментами и подходами в Python, чтобы начать работать с данными. Научитесь получать и очищать данные, находить связи и проверять гипотезы. Сможете работать с главными аналитическими библиотеками.
Управляющие конструкции и коллекции
Работа с файловой системой и модули
Исключения и обработка ошибок
Регулярные выражения и основы синтаксического разбора
Библиотека NumPy
Библиотека Pandas
Познакомитесь с основным инструментом обработки больших данных. Разберётесь в возможностях управления ресурсами кластера.
Основы Hadoop: архитектура
Data Lake vs Data Warehouse
HDFS: логика работы, Namenode и Datanode
MapReduce: алгоритм и решение задач
Yarn, Pig & Hive
Pig & Hive
HBase & Cassandra: возможности и основные характеристики
Управление и администрирование кластера
Обзор Apache Ambari, Apache Ranger, Apache Atlas
Изучите способы обработки разных видов данных. Узнаете, что такое оркестратор и какие задачи он решает. Поймёте, как эффективно преобразовывать данные в хранилищах.
Apache Spark: основные команды и RDD
Spark SQL: DataFrame API и Dataset API
Архитектура Spark: компоненты и идеи
Apache Airflow: основные сущности для построения задач и взаимодействие сущностей
Работа с Airflow: запуск DAG и механизм XCom
Data Build Tool как инструмент ETL
Поймёте особенности работы с потоковыми данными. Разберётесь в логике работы брокеров сообщений.
Устройство Clickhouse и загрузка данных в корпоративное хранилище
Устройство Kafka и работа с кластером
Конфигурация Kafka Streams
Kafka Streams Interactive Queries, Kafka Streams Processor API, Kafka Connect
Spark Streaming: характеристики и особенности использования
Создание простого приложения на Spark Structure Streaming + Kafka
Будьте первым кто оставит отзыв.
Оставить отзыв можно только с предоставлением сертификата о прохождении курса.
Популярные курсы
-
Онлайн-курс для подростков «Стресс...3 900 ₽От Детская бизнес-школа ITC Group
-
MBA: Менеджмент в медицине, програ...350 000 ₽От Emas
-
MBA: Стратегический менеджмент, ди...315 000 ₽От Emas
-
Executive MBA ǀ 1 год385 000 ₽От Emas
-
Executive MBA: Стратегический мене...385 000 ₽От Emas
-
DBA: Стратегический менеджмент, ди...505 000 ₽От Emas