-
作用
- 子主题 1
- 子主题 2
- 子主题 3
- 子主题 4
-
结构
- zookeeper
-
journalnode
- 保存namenode的运行信息edits
- hdfs
- yarn
-
配置过程
-
zookeeper集群
-
概念
- 冷备
- 热备
-
功能
- 监控resourcemanager的状态
- namenode的故障转移
-
保存resourcemananger的状态信息
- 任务运行的状态(进度)
- 资源分配的状态
-
NameNode HA
-
版本问题
-
hadoop 0.2+ 1.0+ 不支持
- ** 借助keepalived + drbd
-
hadoop 2.0+ 支持
- 借助zookeeper
-
同步问题
-
两台namenode的元数据一致?
- 专业的存储设备: 比较昂贵
- NFS : 成本低、效率也比较低
- QJM (Quorum Journal Manager) 分布式日志系统
-
配置过程
-
两个.xml
- core-site.xml
- hdfs-site.xml
- 拷贝.xml到其他服务器
- 启动服务
-
启动(ZKFC)故障自动转移功能
-
两个.xml
- hdfs-site.xml
- core-site.xml
- 拷贝文件到其他服务器
- 启动响应服务
-
resourcemanager HA
-
目标
- 防止单个resourcemanager宕机以后,整个YARN集群失效
-
配置过程
- yarn-site.xml
- 拷贝文件到其他服务器
- 启动各个服务器