Рассрочка
Data Warehouse Analyst
Создавайте сквозные аналитические решения, используйте продвинутый инструментарий для работы с данными
25 июня
5 месяцев
Онлайн
Вт/Чт 20:00 Мск
Для кого этот курс?
Для системных аналитиков, BI-аналитиков, аналитиков данных: вы изучите инженерию данных, освоите современные инструменты аналитики с открытым кодом и ELT-пайплайны; сможете создавать сквозные аналитические решения.Для инженеров данных, администраторов баз данных, системных администраторов, разработчиков, технических директоров: научитесь решать задачи, связанные с организацией хранения и анализом данных; узнаете, как выбирать эффективные стеки технологий.
Необходимые знания
- SQL & Python
- Docker
- Базовые команды терминала Linux
- Понимать в общих чертах архитектуру хранилищ данных
Что вам даст этот курс?
Курс ставит своей целью научить слушателей собирать полноценные end-to-end аналитические решения с использованием самых актуальных и востребованных инструментов за 120 + академический часов.
Материал будет изучаться как вглубь (например, принципы функционирования аналитических СУБД), так и вширь (сравнение инструментов, анализ сильных и слабых сторон решений).
Вы научитесь:
- Навыкам построения ELT-pipelines: Airflow, Nifi, Airbyte
- Принципам работы аналитических СУБД: Redshift, Greenplum, Clickhouse
- Изучите лучшие практики моделирования данных: dbt, Data Vault
- Визуализации и BI: Metabase, Superset, DataLens
- Продвинутой аналитике: KPI, Funnels, Marketing Attribution, Cohort, RFM
- DevOps-практикам: Continuous Integration, Github Actions
- Сквозная аналитика для B2B-компании / Web analysis (Crawling & parsing websites data)
- RFM Анализ клиентов программы лояльности с использованием dbt и Clickhouse
- Сбор и анализ данных праздничных дней на базе Python, PostgreSQL и Yandex DataLense
- Анализ кибератак на информационную инфраструктуру с помощью Clickhouse + dbt
- Построение DWH в Retail с применением методов ML для расчета прогнозных метрик
- Построение хранилища данных и аналитической отчетности сферы ритэйла Implementation of the data warehouse and analytical reporting in the retail sector
DWH аналитик отвечает за сбор требований, проектирование и формулировку задач. Он работает над определением того, что и зачем необходимо сделать, а также определяет конечные результаты. DWH-аналитик предоставляет детальное описание того, как должно быть реализовано хранение. Таким образом, DWH-аналитик отвечает на вопросы "что" и "почему", а также предоставляет детальное описание требований и ожидаемого конечного результата.
Процесс обучения
Вебинары проводятся 2 раза в неделю по 2 ак. часа и сохраняются в записи в личном кабинете. Вы можете посмотреть их в любое удобное для вас время.
В ходе обучения вы будете выполнять домашние задания. Каждое из них посвящено одному из компонентов вашего выпускного проекта.
Портфолио
Индивидуальная разработка итоговой проектной работы. Оптимальная нагрузка
Возможность совмещать учебу с работой и личной жизнью.Перспективы
Получите знания, которые помогут повысить вашу востребованность и доход.Трудоустройство
Многие студенты еще во время прохождения первой части программы находят или меняют работу, а к концу обучения могут претендовать на повышение в должности.
- Получите помощь с оформлением резюме, портфолио и сопроводительного письма
- Разместите свое резюме в базе OTUS и сможете получать приглашения на собеседования от партнеров
Data Warehouse Analyst
Интерактивные вебинары
2 онлайн-трансляции по 2 ак. часа в неделю. Доступ к записям и материалам остается навсегда.
Обратная связь
Домашние задания с поддержкой и обратной связью наших преподавателей помогут освоить изучаемые технологии.
Активное комьюнити
Чат в Telegram для общения преподавателей и студентов.
Программа
ELT: Структура и типы источников данных
Рассмотрим классификацию основных источников данных для аналитики и их отличительные особенности. Выясним отличие принципов ETL и ELT, структурированных и неструктурированных данных. Научимся подключаться и вычитывать исходные данные, запрашивать ответы от внешних провайдеров через REST API, настраивать потоковую репликацию данных в Хранилище. Проанализируем основные сервисы и инструменты, используемые для этого класса задач.
Тема 1: Аналитические движки (СУБД) для работы с данными
Тема 2: Источники данных: классификация и особенности
Тема 3: Инструментарий разработки: IDE, Terminal, Docker, Codespaces, Terraform
Тема 4: Инструменты для выгрузки данных
DWH Basics
Рассмотрим современные СУБД, используемые для анализа больших данных и ключевые принципы их функционирования. Изучим концепцию Хранилища Данных и вопросы, на которое оно призвано отвечать. Познакомимся с dbt – широко популярный мультитул для работы с DWH, позволяющий выстраивать работу в соответствии с лучшими практиками.
Тема 1: Принципы построения DWH
Тема 2: Знакомство с Data Build Tool
Тема 3: DWH powered by Clickhouse and dbt
Тема 4: Q&A. Сессия вопросов и ответов
DWH Intermediate
Изучим современные инструменты для оркестрации скриптов и задач, управления пайплайнами и цепочками зависимостей (DAGs). Получим представление об организации всестороннего качества данных и актуальности DWH. Познакомимся с ключевыми принципами оптимизации производительности и устранения bottlenecks. На практике применим навыки моделирования Хранилища по методологии Data Vault 2.0.
Тема 1: Введение к оркестрацию
Тема 2: Оркестрация c Apache AirFlow
Тема 3: Оркестрация Dagster и DBT
Тема 4: Data Quality
Тема 5: Вопросы оптимизации производительности
Тема 6: Data Vault – 1
Тема 7: Data Vault – 2
Тема 8: Q&A. Сессия вопросов и ответов
Business Intelligence
Выясним круг задач для решений класса Business Intelligence. Научимся конфигурировать и запускать BI в своих проектах. Изучим лучшие практики визуальной подачи информации и подготовки дашбордов.
Тема 1: BI: Обзор
Тема 2: BI подготовка данных (AirFlow + pipeline)
Тема 3: BI: Deployment
Тема 4: BI: Modeling & Delivering
Тема 5: Разбор ДЗ – Организация детального слоя DWH по методологии Data Vault
Тема 6: Analytics: Базовые аналитические витрины
Тема 7: Analytics: Сквозная аналитика
Тема 8: Разбор ДЗ – Конфигурация и развертывание BI-решения
Тема 9: Analytics: Продвинутые аналитические витрины
DWH Advanced topics
Изучим сложные и продвинутые фишки в работе с Хранилищем Данных: Настроим мониторинг и сбор ключевых метрик Хранилища Данных. Задействуем возможности тесной работы с Data Lake (External Data) и полу-структурированными данными. Найдем точки соприкосновения с Data Scientists, проведем обзор возможностей современных СУБД в сфере распределенного ML.
Тема 1: DWH: CI-пайплайны
Тема 2: DBT: Extending with modules
Тема 3: Разбор кейса: end-to-end solution
Тема 4: Дальнейшее развитие навыков
Проектная работа
Заключительный месяц курса посвящен проектной работе. Свой проект — это то, что интересно писать слушателю. То, что можно создать на основе знаний, полученных на курсе. При этом не обязательно закончить его за месяц. В процессе написания по проекту можно получить консультации преподавателей.
Тема 1: Выбор темы и организация проектной работы
Тема 2: Консультация по проектам и ДЗ
Тема 3: Предзащита
Тема 4: Защита проектных работ
Также вы можете получить полную программу, чтобы убедиться, что обучение вам подходит
Выпускной проект
Для реализации выпуского проекта Вам надо будет сформулировать идею аналитического приложения с business value, представить архитектуру ресурсов и компоненты системы и сформировать Хранилище Данных. Развернуть BI-инструмент. Визуализировать данные в наглядном и понятном виде на дашбордах. Преподаватели курса проверят выпускной проект, дадут обратную связь, а если в процессе будут возникать вопросы, то готовы будут ответить.
Преподаватели
Эксперты-практики делятся опытом, разбирают кейсы студентов и дают развернутый фидбэк на домашние задания
Ближайшие мероприятия
Открытый вебинар — это настоящее занятие в режиме он-лайн с преподавателем курса, которое позволяет посмотреть, как проходит процесс обучения. В ходе занятия слушатели имеют возможность задать вопросы и получить знания по реальным практическим кейсам.
- Как подготовить БД Clickhouse для загрузки данных и их эффективного использования
- Основные принципы работы популярного BI инструмента Apache Superset
- Как связать все воедино, начиная от хранилища и метода загрузки данных, заканчивая графиками
Кому подходит этот урок:
- Начинающим и продолжающим специалистам в области Аналитики данных, Data Engineering
- Бизнес-пользователям и потребителям отчетности и ключевых показателей (KPI)
- Руководителям команд разработки, менеджерам и даже CTO
Результат урока:
- Получите понимание об одном и способов построения хранилища, направленного на визуализацию информации
- Познакомитесь с современными инструментами формирования отчетности
- На прикладных примерах проведете практическое применение теоретических знаний
Преподаватель проведет обзор основных компонентов Airflow, покажет, как создавать и настраивать DAGs, как запускать задачи, контролировать их выполнение и мониторить состояние рабочих процессов. Лекция также охватит практические примеры использования Airflow для автоматизации рабочих процессов и управления данными.
В результате участники лекции получат понимание основных принципов работы Apache Airflow и смогут начать использовать его для организации и оптимизации своих рабочих процессов.
Прошедшие
мероприятия
Возможность пройти вступительное тестирование повторно появится только через 3 дня
Результаты тестирования будут отправлены вам на email, указанный при регистрации.
Тест рассчитан на 30 минут, после начала тестирования отложить тестирование не получится!
Корпоративное обучение для ваших сотрудников
- Курсы OTUS верифицированы крупными игроками ИТ-рынка и предлагают инструменты и практики, актуальные на данный момент
- Студенты работают в группах, могут получить консультации не только преподавателей, но и профессионального сообщества
- OTUS проверяет знания студентов перед стартом обучения и после его завершения
- Простой и удобный личный кабинет компании, в котором можно видеть статистику по обучению сотрудников
- Сертификат нашего выпускника за 5 лет стал гарантом качества знаний в обществе
- OTUS создал в IT более 120 курсов по 7 направлениям, линейка которых расширяется по 40-50 курсов в год
Отзывы
Сертификат о прохождении курса
OTUS осуществляет лицензированную образовательную деятельность. В конце прохождения курса вы получите сертификат OTUS.
После обучения вы:
- Получите материалы по пройденным занятиям (видеозаписи курса, дoполнительные материалы, финальный проект для добавления в портфолио)
- Создадите своё портфолио проектов, которое поможет при прохождении собеседований
- Повысите свою ценность и конкурентоспособность как IT-специалист
- Получите сертификат об окончании курса
Data Warehouse Analyst
Стоимость в рассрочку
Стоимость указана для оплаты физическими лицами
вычета до 13% стоимости обучения. Пройдите тестирование и менеджер вас проконсультирует
+7 499 938-92-02 бесплатно