Курсы по Data Engineering в Москве

• Работа в корпоративной среде. Трекинг задач. Постановка задачи. Жизненный цикл задачи.
• Основы Python. Программирование на Python.
• Углублённый Python. Синтаксис Python. Готовим инструменты разработки. Объектно-ориентированное программирование.
• Алгоритмы и структуры данных. Основы алгоритмов. Представление данных в памяти. Рекурсия и сортировки.
• Основы SQL и баз данных. Устройство PostgreSQL. Основы SQL и DDL. Основы SQL и DML. Нормализация и взаимоотношение. Объединение таблиц. Функции.
• Продвинутый SQL для работы с данными. Подзапросы и общие табличные выражения. Оконные функции. Представления. Продвинутые типы данных. Транзакции и блокировки.
• Как построить аналитическое хранилище данных. PostgreSQL и DBeaver. Нормальные формы. Знакомство с DWH. Погружение в DWH. SCD и его типы.
• Работа с данными в хранилище. Витрина данных и VIEW. Оптимизация запросов.
• ELT: автоматизация подготовки данных . Анализ вводных по задаче. Проектирование ETL-процесса. Ликбез по Airflow. Реализация ETL в Airflow.
• Проверка качества данных. Требования к качеству данных. Проектирование и разработка проверки.
• DWH для нескольких источников. Сбор требований и исследование источников. Проектирование DWH. Реализация DWH.Тестирование, интеграция и документация.
• Аналитические базы данных. Аналитические СУБД и Vertica. Разработка аналитической базы данных.
• Организация Data Lake. Проектирование Data Lake. Знакомство со Spark. PySpark для инженера данных.
• Потоковая обработка данных. Потоковая обработка с Kafka и Spark Streaming. Настройка потока данных.
• Облачные технологии. Облачные технологии Yandex Cloud. Подготовка и изучение источников.Создание окружения сервисов. Написание первого сервиса. Знакомство с DataLens.
• Выпускной проект или пет-проект. В конце курса у вас будет выбор: выполнить ещё один учебный проект или реализовать пет-проект. В первом случае нужно выбрать бизнес-задачу и разработать архитектуру данных с использованием всех изученных инструментов. Во втором случае вы сможете воплотить в жизнь и защитить личный проект. Что бы вы ни выбрали, вас поддержат наставники и ревьюеры, а получившийся кейс украсит ваше портфолио.
• Трудоустройство. Эта часть курса для тех, кто решил найти работу в сфере разработки. Вы изучите стратегии поиска работы и узнаете о тонкостях выбора компании-работодателя, подготовите портфолио, напишете резюме и сопроводительное письмо.
• Акселерация. Программа сопровождения: вы ищете работу, мы консультируем и помогаем. Участвовать в программе могут те, кто закончил программу трудоустройства и находится в активном поиске работы.
• Воркшопы для разбора ключевых тем, сессии Q&A. Описание отсутствует

Погружение в профессию Data Scientist на языке Python.

Профессии после обучения - Data Scientist, Аналитик данных, Дата‑инженер.

Программа обучения:

• Базовые инструменты работы: IDE, bash, git. Python и понятия ООП. Работа с данными и визуализацией. Занятость 6-8 часов в день.
• Изучаем необходимый минимум математики и статистики, A/B-тестирование, с помощью классических моделей машинного обучения решаем базовые задачи: классификация, регрессия, кластеризация.
• Решаем задачи с помощью нейросетей. Изучаем pytorch. Строим полносвязные, свёрточные, рекуррентные сети. Применяем модели для классификации изображений, детекции объектов, классификации текста, рекомендаций.
• Деплой моделей. Разворачиваем обученные модели на облачных серверах, настраиваем PostgreSQL, Superset, Airflow. Выполняем финальный групповой проект.