Обработка больших данных (2024)

Книга является пособием для изучения технологий больших данных, охватывая основные и продвинутые аспекты работы с данными в распределенных системах. Начав с основ, она объясняет значение БД, их эволюцию и экосистему Hadoop, включая компоненты и инструменты: HDFS, MapReduce, Hive, Pig, HBase, Sqoop и Flume. Автор раскрывает архитектуру и принципы работы Apache Hadoop, а также примеры использования MapReduce и работу с данными в HDFS, Apache Spark, описывая его основные компоненты, такие как RDD, DataFrames, Spark SQL, Spark Streaming, MLLib и GraphX, и предоставляет практические примеры установки и настройки. Раздел, посвященный Apache Kafka, рассматривает основы архитектуры, проектирование и настройка кластеров, а также интеграция с другими системами. Практические примеры и проекты предлагают возможность применить полученные знания, анализируя данные, разрабатывая потоковые приложения и интегрируя технологии Hadoop, Spark и Kafka в единую систему.