模组

该项目包括以下模块：

• Hadoop Common：支持其他Hadoop模块的通用实用程序。
• Hadoop分布式文件系统（HDFS™）：一种分布式文件系统，可提供对应用程序数据的高吞吐量访问。
• Hadoop YARN：用于作业调度和群集资源管理的框架。
• Hadoop MapReduce：基于YARN的系统，用于并行处理大数据集。
• Hadoop Ozone： Hadoop的对象存储。

相关项目

Apache的其他与Hadoop相关的项目包括：

• Ambari™：一种基于Web的工具，用于供应，管理和监视Apache Hadoop集群，其中包括对Hadoop HDFS，Hadoop MapReduce，Hive，HCatalog，HBase，ZooKeeper，Oozie，Pig和Sqoop的支持。Ambari还提供了一个仪表板，用于查看集群健康状况（例如热图）以及以可视方式查看MapReduce，Pig和Hive应用程序的功能，以及以用户友好的方式诊断其性能特征的功能。
• Avro™：数据序列化系统。
• Cassandra™：可扩展的多主数据库，没有单点故障。
• Chukwa™：一种用于管理大型分布式系统的数据收集系统。
• HBase™：可扩展的分布式数据库，支持大型表的结构化数据存储。
• Hive™：一种数据仓库基础结构，提供数据汇总和即席查询。
• Mahout™：可扩展的机器学习和数据挖掘库。
• Pig™：用于并行计算的高级数据流语言和执行框架。
• Spark™：一种用于Hadoop数据的快速通用计算引擎。Spark提供了一个简单而富有表现力的编程模型，该模型支持广泛的应用程序，包括ETL，机器学习，流处理和图形计算。
• Submarine：一个统一的AI平台，允许工程师和数据科学家在分布式集群中运行机器学习和深度学习工作负载。
• Tez™：基于Hadoop YARN的通用数据流编程框架，它提供了强大而灵活的引擎来执行任意DAG任务，以处理批处理和交互用例的数据。Hadoop生态系统中的Hive™，Pig™和其他框架以及其他商业软件（例如ETL工具）都采用了Tez，以取代Hadoop™MapReduce作为基础执行引擎。
• ZooKeeper™：针对分布式应用程序的高性能协调服务。

谁在使用Hadoop？

各种各样的公司和组织都将Hadoop用于研究和生产。鼓励用户将自己添加到Hadoop PoweredBy Wiki页面。