设为首页优惠IDC收藏本站六狼博客六狼论坛
开启辅助访问 切换到窄版

六狼论坛

 找回密码
 立即注册

QQ登录

只需一步，快速开始

新浪微博账号登陆

只需一步，快速开始

搜索
六狼论坛»首页 › 大数据 › Spring Hadoop › 十分钟搭建自己的hadoop2/CDH4集群
返回列表 发新帖
查看: 1066|回复: 0

十分钟搭建自己的hadoop2/CDH4集群

[复制链接]
 楼主| 发表于 2015-4-27 17:24:54 | 显示全部楼层 |阅读模式
十分钟搭建自己的hadoop2/CDH4集群
版本及准备
我部署的是hadoop-2.0.0-cdh4.2.0.tar.gz，下载地址为http://archive.cloudera.com/cdh4/cdh/4/hadoop-2.0.0-cdh4.2.0.tar.gz。在http://archive.cloudera.com/cdh4/cdh/4/下还可以下载到CDH hadoop生态圈内相关的包。再准备一个jdk1.6+的java环境，设置好JAVA_HOME。
需要注意的是，window下直接点击链接下载到的包可能无法解压成功，原因是包是放在linux ftp上的，直接下载会有问题。建议在linux机器上用wget命令下载就可以了，如果你的机器不能联网的话，也可以联系我把包发给你。
基础配置
给集群配好 SSH；在hosts里可以准备好自己机器的名字。比如我的机器1作为namenode(namenode01)，机器2作为secondary namenode(snamenode01)，IT论坛机器作为datanode。以下配置文件里就用该名称代替。
配置文件
tar包的部署方式只要具备CDH4的包就可以了，其余步骤不需联网，只要配置好几个配置文件即可。我提供一份自己的配置，可以完全拷贝下来使用。进入到目录hadoop-2.0.0-cdh4.2.0/etc/hadoop下面，修改这几个文件：
core-site.xml
  1. 版本及准备

  3. 我部署的是hadoop-2.0.0-cdh4.2.0.tar.gz，下载地址为http://archive.cloudera.com/cdh4/cdh/4/hadoop-2.0.0-cdh4.2.0.tar.gz。在http://archive.cloudera.com/cdh4/cdh/4/下还可以下载到CDH hadoop生态圈内相关的包。再准备一个jdk1.6+的java环境，设置好JAVA_HOME。

  5. 需要注意的是，window下直接点击链接下载到的包可能无法解压成功，原因是包是放在linux ftp上的，直接下载会有问题。建议在linux机器上用wget命令下载就可以了，如果你的机器不能联网的话，也可以联系我把包发给你。

  7. 基础配置

  9. 给集群配好 SSH；在hosts里可以准备好自己机器的名字。比如我的机器1作为namenode(namenode01)，机器2作为secondary namenode(snamenode01)，IT论坛机器作为datanode。以下配置文件里就用该名称代替。

  11. 配置文件

  13. tar包的部署方式只要具备CDH4的包就可以了，其余步骤不需联网，只要配置好几个配置文件即可。我提供一份自己的配置，可以完全拷贝下来使用。进入到目录hadoop-2.0.0-cdh4.2.0/etc/hadoop下面，修改这几个文件：

  15. core-site.xml
复制代码
hdfs-site.xml
  1.     <configuration>  
  2.       <property>  
  3.         <name>dfs.replication</name>  
  4.         <value>3</value>  
  5.       </property>  
  6.       <property>  
  7.         <name>hadoop.tmp.dir</name>  
  8.         <value>/home/mywork/work/data/hadoop-${user.name}</value>  
  9.       </property>  
  10.       <property>  
  11.         <name>dfs.namenode.http-address</name>  
  12.         <value>namenode01:50070</value>  
  13.       </property>  
  14.       <property>  
  15.         <name>dfs.namenode.secondary.http-address</name>  
  16.         <value>ssnamenode01:50090</value>  
  17.       </property>  
  18.       <property>  
  19.         <name>dfs.webhdfs.enabled</name>  
  20.         <value>true</value>  
  21.       </property>  
  22.     </configuration>  
复制代码
yarn-site.xml
  1. <configuration>

  3. <!-- Site specific YARN configuration properties -->
  4.   <property>
  5.     <name>yarn.resourcemanager.resource-tracker.address</name>
  6.     <value>namenode01:8031</value>
  7.   </property>
  8.   <property>
  9.     <name>yarn.resourcemanager.address</name>
  10.     <value>namenode01:8032</value>
  11.   </property>
  12.   <property>
  13.     <name>yarn.resourcemanager.scheduler.address</name>
  14.     <value>namenode01:8030</value>
  15.   </property>
  16.   <property>
  17.     <name>yarn.resourcemanager.admin.address</name>
  18.     <value>namenode01:8033</value>
  19.   </property>
  20.   <property>
  21.     <name>yarn.resourcemanager.webapp.address</name>
  22.     <value>namenode01:8088</value>
  23.   </property>
  24.   <property>
  25.     <description>Classpath for typical applications.</description>
  26.     <name>yarn.application.classpath</name>
  27.     <value>$HADOOP_CONF_DIR,$HADOOP_COMMON_HOME/share/hadoop/common/*,
  28.     $HADOOP_COMMON_HOME/share/hadoop/common/lib/*,
  29.     $HADOOP_HDFS_HOME/share/hadoop/hdfs/*,$HADOOP_HDFS_HOME/share/hadoop/hdfs/lib/*,
  30.     $YARN_HOME/share/hadoop/yarn/*,$YARN_HOME/share/hadoop/yarn/lib/*,
  31.     $YARN_HOME/share/hadoop/mapreduce/*,$YARN_HOME/share/hadoop/mapreduce/lib/*</value>
  32.   </property>
  33.   <property>
  34.     <name>yarn.nodemanager.aux-services</name>
  35.     <value>mapreduce.shuffle</value>
  36.   </property>
  37.   <property>
  38.     <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  39.     <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  40.   </property>
  41.   <property>
  42.     <name>yarn.nodemanager.local-dirs</name>
  43.     <value>/home/mywork/work/data/yarn/local</value>
  44.   </property>
  45.   <property>
  46.     <name>yarn.nodemanager.log-dirs</name>
  47.     <value>/home/mywork/work/data/yarn/logs</value>
  48.   </property>
  49.   <property>
  50.     <description>Where to aggregate logs</description>
  51.     <name>yarn.nodemanager.remote-app-log-dir</name>
  52.     <value>/home/mywork/work/data/yarn/logs</value>
  53.   </property>
  54.   <property>
  55.     <name>yarn.app.mapreduce.am.staging-dir</name>
  56.     <value>/home/mywork/work</value>
  57. </property>


  60. </configuration>
复制代码
mapred-site.xml
  1. <configuration>
  2.   <property>
  3.    <name>mapreduce.framework.name</name>
  4.    <value>yarn</value>
  5.   </property>
  6.   <property>
  7.     <name>mapreduce.jobhistory.address</name>
  8.     <value>namenode01:10020</value>
  9.   </property>
  10.   <property>
  11.     <name>mapreduce.jobhistory.webapp.address</name>
  12.     <value>namenode01:19888</value>
  13.   </property>
  14. </configuration>
复制代码
masters
  1. namenode01
  2. ssnamenode01
复制代码
slaves
  1. datanode01
  2. datanode02
  3. datanode03
  4. datanode04
复制代码
最后修改.bashrc里的一些环境，添加如下配置
  1. export JRE_HOME=$JAVA_HOME/jre
  2. export CLASSPATH=./:$JAVA_HOME/lib:$JRE_HOME/lib:$JRE_HOME/lib/tools.jar
  3. export HADOOP_HOME=/home/mywork/work/hadoop-2.0.0-cdh4.2.0
  4. export HADOOP_MAPRED_HOME=${HADOOP_HOME}
  5. export HADOOP_COMMON_HOME=${HADOOP_HOME}
  6. export HADOOP_HDFS_HOME=${HADOOP_HOME}
  7. export YARN_HOME=${HADOOP_HOME}
  8. export HADOOP_YARN_HOME=${HADOOP_HOME}
  9. export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
  10. export HDFS_CONF_DIR=${HADOOP_HOME}/etc/hadoop
  11. export YARN_CONF_DIR=${HADOOP_HOME}/etc/hadoop
  12. export PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/sbin
复制代码
source之使之生效。然后把这台机器上的hadoop scp到IT论坛各台机器上

启动集群
HADOOP_HOME/bin下，第一次格式化namenode
  1. hadoop namenode -format
复制代码
然后在namenode机器上逐个启动
  1. start-dfs.sh
  2. start-yarn.sh
复制代码
可以使用jps命令在各台机器上查看已经起来的进程和端口，在 namenode01:8088/cluster 可以看集群情况。 datanode01:8042/node 可以看到节点情况。


问题排查
如果某几个节点没有起来，很可能是因为端口占用的问题，比如yarn启动的时候会使用8080端口，如果被占用，该datanode就起不了了，可以使用
  1. netstat -anp | grep 8080  
复制代码
找到id，然后kill -9 xxx 掉。
一般可以在指定的HADOOP_HOME/logs下查看各个机器的日志情况，找到问题原因。

(全文完)



十分钟搭建自己的hadoop2/CDH4集群
http://blog.csdn.net/pelick/article/details/12065147
该会员没有填写今日想说内容.
回复

使用道具 举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册 新浪微博账号登陆

本版积分规则

快速回复 返回顶部 返回列表