1.CDH概述
CDH(Cloudra’s Distribution Apache Of Hadoop)是Apache Hadoop和相关项目的最完整,经过测试和最流行的发行版。CDH提供Hadoop的核心要素–可扩展的存储和分布式计算–以及基于Web的用户界面和重要的企业功能。CDH是Apache许可的开源软件,并且是唯一提供统一批处理,交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案。 一句话概括CDH就是集成多种技术的一个框架。
-
灵活性-存储任何类型的数据并使用各种不同的计算框架进行处理,包括批处理,交互式SQL,自由文本搜索,机器学习和统计计算。
-
集成-在可与广泛的硬件和软件解决方案一起使用的完整Hadoop平台上快速启动并运行。
-
安全性-处理和控制敏感数据。
-
可扩展性-启用广泛的应用程序并进行扩展,并扩展它们以满足您的要求。
-
高可用性-自信地执行关键任务业务任务。
-
兼容性-利用您现有的IT基础架构和投资。
Hadoop生态构成
-
HDFS:分布式文件系统
-
ZKFC:为实现NameNode高可用,在NameNode和Zookeeper之间传递信息,选举主节点工具。
-
NameNode:存储文件元数据
-
DateNode:存储具体数据
-
JournalNode:同步主NameNode节点数据到从节点NameNode
-
-
MapReduce:开源的分布式批处理计算框架
-
Spark:分布式基于内存的批处理框架
-
Zookeeper:分布式协调管理
-
Yarn:调度资源管理器
-
HBase:基于HDFS的NoSql列式数据库
-
Hive:将SQL转换为MapReduce进行计算
-
Hue:是CDH的一个UI框架
-
Impala:是Cloudra公司开发的一个查询系统,类似于Hive,可以通过SQL执行任务,但是它不基于MapReduce算法,而是直接执行分布式计算,这样就提高了效率。
-
oozie:是一个工作流调度引擎,负责将多个任务组合在一起按序执行。
-
kudu:Apache Kudu是转为hadoop平台开发的列式存储管理器。和impala结合使用,可以进行增删改查。
-
Sqoop:将hadoop和关系型数据库互相转移的工具。
-
Flume:采集日志
-
还有一些其它的
CDH结构图
2.Cloudra Manager概述
Cloudra Manager简称CM,它是一个web操作平台,可以借助安装CDH然后安装多种Hadoop框架。
CloudraManager技术构成
Clients:客户端,通过web页面和ClouderaManager和服务器进行交互。
API:通过API和ClouderaManagement和服务器进行交互
Cloudera Repository:存储分发安装包
Management Server:进行监控和预警
Database:存储预警信息和配置信息。
Agent:分布在多台服务器,负责配置,启动和停止进程。监控主机。
结构图如下: