一明

键盘侠,完美主义者,跑步爱好者,喜欢做一些没做过的事,去一些没去过的地方。

ClouderaManager和CDH是什么?

1.CDH概述

CDH(Cloudra’s Distribution Apache Of Hadoop)是Apache Hadoop和相关项目的最完整,经过测试和最流行的发行版。CDH提供Hadoop的核心要素–可扩展的存储和分布式计算–以及基于Web的用户界面和重要的企业功能。CDH是Apache许可的开源软件,并且是唯一提供统一批处理,交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案。 一句话概括CDH就是集成多种技术的一个框架。

CDH提供
  • 灵活性-存储任何类型的数据并使用各种不同的计算框架进行处理,包括批处理,交互式SQL,自由文本搜索,机器学习和统计计算。

  • 集成-在可与广泛的硬件和软件解决方案一起使用的完整Hadoop平台上快速启动并运行。

  • 安全性-处理和控制敏感数据。

  • 可扩展性-启用广泛的应用程序并进行扩展,并扩展它们以满足您的要求。

  • 高可用性-自信地执行关键任务业务任务。

  • 兼容性-利用您现有的IT基础架构和投资。

Hadoop生态构成
  • HDFS:分布式文件系统

    • ZKFC:为实现NameNode高可用,在NameNode和Zookeeper之间传递信息,选举主节点工具。

    • NameNode:存储文件元数据

    • DateNode:存储具体数据

    • JournalNode:同步主NameNode节点数据到从节点NameNode

  • MapReduce:开源的分布式批处理计算框架

  • Spark:分布式基于内存的批处理框架

  • Zookeeper:分布式协调管理

  • Yarn:调度资源管理器

  • HBase:基于HDFS的NoSql列式数据库

  • Hive:将SQL转换为MapReduce进行计算

  • Hue:是CDH的一个UI框架

  • Impala:是Cloudra公司开发的一个查询系统,类似于Hive,可以通过SQL执行任务,但是它不基于MapReduce算法,而是直接执行分布式计算,这样就提高了效率。

  • oozie:是一个工作流调度引擎,负责将多个任务组合在一起按序执行。

  • kudu:Apache Kudu是转为hadoop平台开发的列式存储管理器。和impala结合使用,可以进行增删改查。

  • Sqoop:将hadoop和关系型数据库互相转移的工具。

  • Flume:采集日志

  • 还有一些其它的

CDH结构图

《ClouderaManager和CDH是什么?》

2.Cloudra Manager概述

Cloudra Manager简称CM,它是一个web操作平台,可以借助安装CDH然后安装多种Hadoop框架。

CloudraManager技术构成

Clients:客户端,通过web页面和ClouderaManager和服务器进行交互。

API:通过API和ClouderaManagement和服务器进行交互

Cloudera Repository:存储分发安装包

Management Server:进行监控和预警

Database:存储预警信息和配置信息。

Agent:分布在多台服务器,负责配置,启动和停止进程。监控主机。

结构图如下:

《ClouderaManager和CDH是什么?》

点赞

发表评论

电子邮件地址不会被公开。 必填项已用*标注