dfs.permissions.enabled false
HA模式下该参数为streamcluster中namenode1节点对外服务的RPC地址
dfs.namenode.rpc-address.streamcluster.nn1 master:8033
HA模式下该参数为streamcluster中namenode1节点对外服务的RPC地址
dfs.namenode.rpc-address.streamcluster.nn2 slave1:8033
HA模式下该参数为streamcluster中namenode1节点对外服务的HTTP地址
dfs.namenode.http-address.streamcluster.nn1 master:50083
HA模式下该参数为streamcluster中namenode1节点对外服务的HTTP地址
dfs.namenode.http-address.streamcluster.nn2 slave1:50083
设置的为journalNode的地址,Activity状态中的Namenode会将edits的Log写入JournalNode,而standby状态中的Namenode会读取这些edits log.
dfs.namenode.shared.edits.dir
qjournal://master:8489;slave1:8489;slave2:8489/streamcluster
JournalNode 所在节点上的一个目录,用于存放 editlog 和其他状态信息。
dfs.journalnode.edits.dir
/home/hadoop/hadoop-2.6.4/data/jn
journalNode RPC服务地址和端口
dfs.journalnode.rpc-address
0.0.0.0:8489
journalNode HTTP服务地址和端口
dfs.journalnode.http-address 0.0.0.0:8484
此参数为客户端与activity状态下的Namenode进行交互的java实现类,DFS客户端通过该类寻找当前activity的Namenode
dfs.client.failover.proxy.provider.streamcluster
org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
使HA模式下不会同时出现两个master,不允许出现两个activity状态下的Namenode
dfs.ha.fencing.methods shell(/bin/true)
SSH的超时时间设置,倘若超过此时间,则认为执行失败.
dfs.ha.fencing.ssh.connect-timeout 10000
指定streamcluster的两个NameNode共享edits文件目录时,使用的JournalNode集群信息
dfs.ha.automatic-failover.enabled true
每个datanode任一时刻可以打开的文件数量上限。
dfs.datanode.max.xcievers 4096
DataNode传送数据出入的最大线程数,等同于dfs.datanode.max.xcievers。
dfs.datanode.max.transfer.threads 4096
块的字节大小
dfs.blocksize 67108864
一般原则是将其设置为集群大小的自然对数乘以20,即20logN, NameNode有一个工作线程池用来处理客户端的远程过程调用及集群守护进程的调用。处理程序数量越多意味着要更大的池来处理来自不同DataNode的并发心跳以及客户端并发的元数据操作。
dfs.namenode.handler.count 20
ha.zookeeper.quorum
master:2183,slave1:2183,slave2:2183
(3)yarn-site.xml
NodeManager的心跳间隔
yarn.resourcemanager.connect.retry-interval.ms 2000
是否启用RM HA,默认为false(不启用)。这里设置为启用。
yarn.resourcemanager.ha.enabled true
是否启用自动故障转移。默认情况下,在启用HA时,启用自动故障转移。
yarn.resourcemanager.ha.automatic-failover.enabled true
启用内置的自动故障转移。默认情况下,在启用HA时,启用内置的自动故障转移。
yarn.resourcemanager.ha.automatic-failover.embedded true
集群的ID,确保ResourceManager不会为成为其他集群的Activity活跃状态。
yarn.resourcemanager.cluster-id yarn-rm-cluster
HA下两个ResourceManager的逻辑名称
yarn.resourcemanager.ha.rm-ids rm1,rm2
用于标识ResourceManager,这里要注意一点,HA备用的RM的服务器需要修改为rm2
yarn.resourcemanager.ha.id rm1
启用重启ResourceManager的功能,默认为false
yarn.resourcemanager.recovery.enabled true
用于状态存储的类,可以设置为
org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore,基于Hadoop文件系统的实现,这里的设置是基于ZooKeeper的实现
yarn.resourcemanager.store.class
org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore
存储RM状态的ZooKeeper Znode全路径。