Hadoop secondarynamenode两种配置方式

安哥网络

Hadoop secondarynamenode两种配置方式
hadoop secondarynamenode的两种配置方式，hadoop版本是hadoop-1.0.4：
集群分配关系：

1. masterJobTracker&&Namenode
   
2. node1Secondarynamenode
   
3. node2TaskTracker&&Datanode
   
4. node3TaskTracker&&Datanode
   
5. node4TaskTracker&&Datanode
   

复制代码

配置1：
1.conf/core-site.xml:

1. <configuration>
   
2. <property>
   
3.         <name>hadoop.tmp.dir</name>
   
4.         <value>/home/hadoop/hadooptmp</value>
   
5.         <description>A base for other temporary directories.</description>
   
6. </property>
   
7. 
   
8. <property>
   
9.         <name>fs.default.name</name>
   
10.         <value>hdfs://master:9000</value>
    
11. </property>
    
12. </configuration>
    

复制代码

2.conf/hadoop-env.sh:

1. export JAVA_HOME=/home/hadoop/jdk1.x.x_xx

复制代码

3. conf/hdfs-site.xml:

1. <configuration>
   
2. <property>
   
3.         <name>dfs.replication</name>
   
4.         <value>2</value>
   
5. </property>
   
6. 
   
7. <property>
   
8.      <name>dfs.data.dir</name>
   
9.      <value>/home/hadoop/hadoopfs/data</value>
   
10. </property>
    
11. <property>
    
12.         <name>dfs.http.address</name>
    
13.         <value>master:50070</value>
    
14. </property>
    
15. 
    
16. <property>
    
17.         <name>dfs.back.http.address</name>
    
18.         <value>node1:50070</value>
    
19. </property>
    
20. 
    
21. <property>
    
22.         <name>dfs.name.dir</name>
    
23.         <value>/home/hadoop/hadoopfs/name</value>
    
24. </property>
    
25. 
    
26. <property>
    
27.         <name>fs.checkpoint.dir</name>
    
28.         <value>/home/hadoop/hadoopcheckpoint</value>
    
29. </property>
    
30. 
    
31. <property>
    
32. <name>dfs.permissions</name>
    
33. <value>false</value>
    
34. </property>
    
35. </configuration>
    

复制代码

4.conf/mapred-site.xml:

1. <configuration>
   
2. <property>
   
3.         <name>mapred.job.tracker</name>
   
4.         <value>master:9001</value>
   
5. </property>
   
6. <property>
   
7.         <name>mapred.tasktracker.map.tasks.maximum</name>
   
8.         <value>4</value>
   
9. </property>
   
10. <property>
    
11.         <name>mapred.tasktracker.reduce.tasks.maximum</name>
    
12.         <value>4</value>
    
13. </property>
    
14. <property>
    
15.         <name>mapred.child.java.opts</name>
    
16.         <value>-Xmx1000m</value>
    
17. </property>
    
18. </configuration>
    

复制代码

5. conf/masters:

1. master

复制代码

6.conf/secondarynamenode(此为新建的文件)

1. node1  

复制代码

7. conf/slaves:

1. node2
   
2. node3
   
3. node4

复制代码

8.bin/start-dfs.sh:

1. "$bin"/hadoop-daemon.sh --config $HADOOP_CONF_DIR start namenode $nameStartOpt
   
2. "$bin"/hadoop-daemons.sh --config $HADOOP_CONF_DIR start datanode $dataStartOpt
   
3. "$bin"/hadoop-daemons.sh --config $HADOOP_CONF_DIR --hosts secondarynamenode start secondarynamenode

复制代码

9.bin/stop-dfs.sh:

1. "$bin"/hadoop-daemon.sh --config $HADOOP_CONF_DIR stop namenode $nameStartOpt
   
2. "$bin"/hadoop-daemons.sh --config $HADOOP_CONF_DIR stop datanode $dataStartOpt
   
3. "$bin"/hadoop-daemons.sh --config $HADOOP_CONF_DIR --hosts secondarynamenode stop secondarynamenode
   

复制代码

配置2：
1.conf/core-site.xml:

1. <configuration>
   
2. <property>
   
3.         <name>hadoop.tmp.dir</name>
   
4.         <value>/home/hadoop/hadooptmp</value>
   
5.         <description>A base for other temporary directories.</description>
   
6. </property>
   
7. 
   
8. <property>
   
9.         <name>fs.default.name</name>
   
10.         <value>hdfs://master:9000</value>
    
11. </property>
    
12. </configuration>
    

复制代码

2.conf/hadoop-env.sh:

1. export JAVA_HOME=/home/hadoop/jdk1.x.x_xx

复制代码

3. conf/hdfs-site.xml:

1. <configuration>
   
2. <property>
   
3.         <name>dfs.replication</name>
   
4.         <value>2</value>
   
5. </property>
   
6. 
   
7. <property>
   
8.      <name>dfs.data.dir</name>
   
9.      <value>/home/hadoop/hadoopfs/data</value>
   
10. </property>
    
11. <property>
    
12.         <name>dfs.http.address</name>
    
13.         <value>master:50070</value>
    
14. </property>
    
15. 
    
16. <property>
    
17.         <name>dfs.back.http.address</name>
    
18.         <value>node1:50070</value>
    
19. </property>
    
20. 
    
21. <property>
    
22.         <name>dfs.name.dir</name>
    
23.         <value>/home/hadoop/hadoopfs/name</value>
    
24. </property>
    
25. 
    
26. <property>
    
27.         <name>fs.checkpoint.dir</name>
    
28.         <value>/home/hadoop/hadoopcheckpoint</value>
    
29. </property>
    
30. 
    
31. <property>
    
32. <name>dfs.permissions</name>
    
33. <value>false</value>
    
34. </property>
    
35. </configuration>
    

复制代码

4.conf/mapred-site.xml:

1. <configuration>
   
2. <property>
   
3.         <name>mapred.job.tracker</name>
   
4.         <value>master:9001</value>
   
5. </property>
   
6. <property>
   
7.         <name>mapred.tasktracker.map.tasks.maximum</name>
   
8.         <value>4</value>
   
9. </property>
   
10. <property>
    
11.         <name>mapred.tasktracker.reduce.tasks.maximum</name>
    
12.         <value>4</value>
    
13. </property>
    
14. <property>
    
15.         <name>mapred.child.java.opts</name>
    
16.         <value>-Xmx1000m</value>
    
17. </property>
    
18. </configuration>
    

复制代码

5. conf/masters:

1. node1

复制代码

7. conf/slaves:

1. node2
   
2. node3
   
3. node4

复制代码

还有就是昨天写的secondarynamenode的使用，应该也是有拷贝secondarynamenode的文件到namenode的过程的，
因为昨天测试的时候只是在一个机器上搞，所以就少了复制这一步，今天用了集群进行测试，才发现要拷贝的。
上面的两种方式已经经过集群测试，证明可用。

分享，快乐，成长

摘自：http://blog.csdn.net/fansy1990/article/details/8990206

Hadoop secondarynamenode两种配置方式