Сейчас ищут:

Администрирование и программирование [ВigData Тeam] Практический курс по Big Data. Часть 1. HDFS, Map Reduce, Hive (2023)

Admin

Команда форума
Администратор
Регистрация
15 Дек 2021
Сообщения
210,169
Реакции
735
Баллы
113
77216-png.17853




Практический курс по Big Data. Часть 1. HDFS, Map Reduce, Hive [bigdata team]

Кому подойдет этот курс:

  • Разработчикам
    Вы программируете, но хотите расширить профессиональные возможности и получить практические навыки работы с большими данными? На курсе вы научитесь работать с Hadoop, MapReduce, Hive, Spark, Kafka, Cassandra и будете выполнять задания на реальном кластере.
  • Data Engineers
    Хотите расширить свой арсенал для работы с данными и структурировать свои знания в DE? Вы узнаете о современных технологиях работы с Big Data, научитесь грамотно их использовать и понимать, какую технологию в каких случаях лучше применять.
  • Аналитикам
    Хотите освоить работу с большими данными, чтобы решать более сложные и интересные аналитические задачи? Вы научитесь использовать инструменты работы с большими данными, проводить аналитику с помощью SQL и NoSQL инструментов, готовить данные и отчеты на основе больших массивов информации.
  • Data Scientists
    Ловите себя на мысли, что качество модели во многом зависит от правильного сбора и предобработки данных? Вы получите базу по современным инструментам и подходам, необходимым для сбора, хранения и обработки данных; изучите особенности укладки данных для оптимизации вычислений, подготовки фичей и масштабирования ML-моделей.
Вы научитесь работать с распределенными файловыми системами, познакомитесь с экосистемой Hadoop, разберетесь с оптимизацией MapReduce вычислений и работой с Hive.

Часть 1. HDFS, Map Reduce, Hive

В этом модуле вы изучите:
  • вводная часть: знакомство (задачи, оценки, дедлайны), подробности курса;
  • распределенные файловые системы (GFS, HDFS). Их составляющие, достоинства, недостатки и сфера применения;
  • чтение и запись в HDFS. HDFS APIs: Web, shell.
  • Hadoop Streaming;
  • элементы Hadoop-задачи (Mapper, reducer, combiner, partitioner, comparator).
  • приложения с несколькими Hadoop-задачами;
  • тюнинг Hadoop-job (настройка партиционирования, сложные ключи, uber jobs);
  • задачи с несколькими входами. Joins в Hadoop.
  • архитектура Hive, виды таблиц, форматы хранения данных;
  • трансляция Hive-запросов в MapReduce-задачи;
  • сериализация и десериализация;
  • тюнинг Joinов в Hive;
  • партиционирование, бакетирование, семплирование;
  • User defined functions, Hive Streaming.
Продажник

Скачать:

Для просмотра скрытого содержимого необходимо Войти или Зарегистрироваться

 

Похожие темы

Сверху Снизу
Забыли свой пароль?
или Войдите с помощью