Аудитория:
специалисты в области управления данными, аналитики, архитекторы уровня данных.
специалисты в области управления данными, аналитики, архитекторы уровня данных.
Предварительная подготовка:
· Базовые знания в предметных областях, связанных с BigData и LongData (например, опыт работы с неструктурированными и слабоструктурированными данными).
· Основы программирования на Python или прослушать курс Python I
· Базовые знания в предметных областях, связанных с BigData и LongData (например, опыт работы с неструктурированными и слабоструктурированными данными).
· Основы программирования на Python или прослушать курс Python I
Программа:
1. Техники и концепции BigData
· Что такое BigData. Датафикация – размер имеет значение!
· Связь с статистикой и программированием
· Навыки, необходимые для работы с BigData
· Как можно заставить информацию приносить пользу людям?
· Использование BigData в маркетинге и научных исследованиях
· Как получать, сохранять, визуализировать и анализировать BigData
2. Три “V” Big Data
В данном разделе рассматриваются основные системы исчисления. Модуль помогает научиться понимать двоичную и шестнадцатеричную системы исчисления. Разъясняется понятие переменных и типов данных.
Объясняются принципы выбора типа используемого при создании переменной.
Области применения:
· BigData для клиентов
· BigData для бизнеса
· Предиктивный маркетинг
· Обнаружение мошенничества (fraud)
3. BigData для исследований
· 10 признаков отличия BigData от обычных данных
· Наука о данных (DataScience)
· Статистика
· Знание предметной области
· Программирование
· Традиционные исследования и machine learning
· Профессиональные компетенции в науке о данных
· Анонимность и этика обработки BigData
4. Источники получения BigData
· Данные, генерируемые людьми
· Данные, генерируемые машинами
· Структурированные и неструктурированные данные
5. Хранение BigData
· Распределенные и облачные хранилища
· Облачные вычисления – Iaas, Paas, Saasи Daas
· Введение в Hadoop
6. Подготовка BigData для анализа
· Соображения качества данных, разбор характеристик данных
· Принципы ETL (Extract Transform Load)
· Дополнительные “V” Big Data (достоверность – Veracity, обоснованность – Validity, ценность – Value, изменчивость – Veriability, расположение – Venue, метаданные – Vocabulary, неопределенность - Vagueness)
7. Анализ BigData
· Мониторинг и обнаружение аномалий
· DataMining и текстовая аналитика
· Предиктивная аналитика
· Визуализация BigData
· Диаграмма Эйлера — Венна в науке о данных.
1. Техники и концепции BigData
· Что такое BigData. Датафикация – размер имеет значение!
· Связь с статистикой и программированием
· Навыки, необходимые для работы с BigData
· Как можно заставить информацию приносить пользу людям?
· Использование BigData в маркетинге и научных исследованиях
· Как получать, сохранять, визуализировать и анализировать BigData
2. Три “V” Big Data
В данном разделе рассматриваются основные системы исчисления. Модуль помогает научиться понимать двоичную и шестнадцатеричную системы исчисления. Разъясняется понятие переменных и типов данных.
Объясняются принципы выбора типа используемого при создании переменной.
Области применения:
· BigData для клиентов
· BigData для бизнеса
· Предиктивный маркетинг
· Обнаружение мошенничества (fraud)
3. BigData для исследований
· 10 признаков отличия BigData от обычных данных
· Наука о данных (DataScience)
· Статистика
· Знание предметной области
· Программирование
· Традиционные исследования и machine learning
· Профессиональные компетенции в науке о данных
· Анонимность и этика обработки BigData
4. Источники получения BigData
· Данные, генерируемые людьми
· Данные, генерируемые машинами
· Структурированные и неструктурированные данные
5. Хранение BigData
· Распределенные и облачные хранилища
· Облачные вычисления – Iaas, Paas, Saasи Daas
· Введение в Hadoop
6. Подготовка BigData для анализа
· Соображения качества данных, разбор характеристик данных
· Принципы ETL (Extract Transform Load)
· Дополнительные “V” Big Data (достоверность – Veracity, обоснованность – Validity, ценность – Value, изменчивость – Veriability, расположение – Venue, метаданные – Vocabulary, неопределенность - Vagueness)
7. Анализ BigData
· Мониторинг и обнаружение аномалий
· DataMining и текстовая аналитика
· Предиктивная аналитика
· Визуализация BigData
· Диаграмма Эйлера — Венна в науке о данных.