centos6上安装Hadoop和HBase
centos6上安装Hadoop和HBase安装前的准备操作系统：CentOS 6.5 64位
在linux环境安装Hadoop之前，我们需要使用到ssh，所以要先安装ssh，并且创建一个hadoop用户
备注： 下面所有的命令中，以#开头的表示是root用户，以$开头的是普通用户
安装SSH先切换到root用户，执行下列步骤
12345rpm -qa |grep ssh#检查是否装了SSH包yum install openssh-server#安装sshchkconfig --list sshd #检查SSHD是否设置为开机启动chkconfig --level 2345 sshd on#如果没设置启动就设置下.service sshd restart#重新启动
创建hadoop用户
123456$ supassword:# useradd hadoop# passwd hadoopNew passwd:Retype new passwd
生成pub-key切换到hadoop用户后，执行
123$ ssh-keygen -t rsa$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys$ chmod 0600 ~/.ssh/authorized_keys
然后确认下是否能正常使用ssh连接
1ssh localhost
安装JDK1.7进入oracle官网http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html
下载jdk-7u79-linux-x64.gz，然后执行：
1234567$ tar zxf jdk-7u79-linux-x64.gz$ lsjdk1.7.0_79 jdk-7u79-linux-x64.gz$ supassword:# mv jdk1.7.0_79 /usr/local/# exit
打开~/.bashrc文件，写入JAVA_HOME环境变量
12export JAVA_HOME=/usr/local/jdk1.7.0_79export PATH= $PATH:$JAVA_HOME/bin
保存刷新下：$ source ~/.bashrc
切换到root用户，然后执行下面的语句确保JDK版本更改完成
123456# alternatives --install /usr/bin/java java /usr/local/jdk1.7.0_79/bin/java 2# alternatives --install /usr/bin/javac javac /usr/local/jdk1.7.0_79/bin/javac 2# alternatives --install /usr/bin/jar jar /usr/local/jdk1.7.0_79/bin/jar 2# alternatives --set java /usr/local/jdk1.7.0_79/bin/java# alternatives --set javac /usr/local/jdk1.7.0_79/bin/javac# alternatives --set jar /usr/local/jdk1.7.0_79/bin/jar
最后执行下：java -version看看是不是已经成功安装了JDK7
安装配置Hadoop下载Hadoophadoop2.6.0下载地址：http://apache.fayea.com/hadoop/common/stable/hadoop-2.6.0.tar.gz
1234567$ supassword:# cd /usr/local# wget http://apache.fayea.com/hadoop/common/stable/hadoop-2.6.0.tar.gz# tar xzf hadoop-2.6.0.tar.gz# mv hadoop-2.6.0 hadoop# exit
hadoop有很多种模式，本篇我们演示的是伪分布式模式，包括后面的HBase也选择这种模式。
配置Hadoop环境第一步，配置环境变量
打开~/.bashrc文件，写入如下内容
12345678export HADOOP_HOME=/usr/local/hadoopexport HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport YARN_HOME=$HADOOP_HOMEexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/binexport HADOOP_INSTALL=$HADOOP_HOME
然后应用设置
1$ source ~/.bashrc
第二步，hadoop配置文件
hadoop的配置文件都放在”$HADOOP_HOME/etc/hadoop”目录中，你可以根据自己的需要来修改它们。
在此之前，还需要修改下hadoop-env.sh，更改其中的JAVA_HOME变量
1vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh
然后修改JAVA_HOME为真实的目录
1export JAVA_HOME=/usr/local/jdk1.7.0_79
接下来我们去到hadoop的配置文件目录
1$ cd $HADOOP_HOME/etc/hadoop
1. 首先打开core-site.xml，写入如下配置
12345678910<configuration> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop/tmp</value> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property></configuration>
2. 然后打开hdfs-site.xml，写入如下配置
123456789101112131415161718<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.name.dir</name> <value>file:///home/hadoop/hadoopinfra/hdfs/namenode</value> </property> <property> <name>dfs.data.dir</name> <value>file:///home/hadoop/hadoopinfra/hdfs/datanode</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property></configuration>
上面的文件夹需要我们手动来创建，那么我们创建下就行了
12$ mkdir -p /home/hadoop/hadoopinfra/hdfs/namenode$ mkdir -p /home/hadoop/hadoopinfra/hdfs/datanode
3. 然后打开yarn-site.xml文件，写入如下配置
12345678910<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>localhost:54313</value> </property></configuration>
4. 配置mapred-site.xml，先重命名
1$ cp mapred-site.xml.template mapred-site.xml
打开mapred-site.xml文件，写入如下配置
123456<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property></configuration>
确认Hadoop的安装1. NameNode确认
12$ cd ~$ hdfs namenode -format
结果应该类似下面
STARTUP_MSG: Starting NameNodeSTARTUP_MSG: host = centos00/127.0.0.1STARTUP_MSG: args = [-format]STARTUP_MSG: version = 2.6.0.../************************************************************SHUTDOWN_MSG: Shutting down NameNode at centos00/127.0.0.1************************************************************/2. Hadoop dfs确认
1$ start-dfs.sh
结果应该类似下面
Starting namenodes on localhost: starting namenode, logging to ....outlocalhost: starting datanode, logging to ....outStarting secondary namenodes The authenticity of host '0.0.0.0 (0.0.0.0)' can't be established.RSA key fingerprint is fd:01:fc:f2:53:a0:58:8e:96:9c:5f:f2:6e:5b:69:1a.Are you sure you want to continue connecting (yes/no)? yes0.0.0.0: Warning: Permanently added '0.0.0.0' (RSA) to the list of known hosts.0.0.0.0: starting secondarynamenode, logging to ...3. Yarn Srcipt确认
1$ start-yarn.sh
结果应该类似下面这样
starting yarn daemonsstarting resourcemanager, logging to ....outlocalhost: starting nodemanager, logging to ....out4. 浏览器访问Hadoop
默认访问Hadoop的端口是50070，在浏览器中打开链接http://localhost:50070来访问Hadoop服务。
5. 浏览器确认应用集群
默认访问应用集群的端口号是8088，在浏览器中打开链接http://localhost:8088来确认下。
安装HBase你可以在三种模式下安装HBase：单机模式、伪分布式模式、全分布式模式。下面我们演示在伪分布式模式下HBase的安装和配置。
下载HBase
123456$ su# cd /usr/local/# wget http://apache.fayea.com/hbase/hbase-0.98.12/hbase-0.98.12-hadoop2-bin.tar.gz# tar -zxvf hbase-0.98.12-hadoop2-bin.tar.gz# mv hbase-0.98.12-hadoop2 hbase# chown -R hadoop:hadoop /usr/local/hbase
配置hbase-site.xml
12su hadoop$ cd /usr/local/hbase/conf
然后打开hbase-env.sh文件，修改如下
1export JAVA_HOME=/usr/local/jdk1.7.0_79
修改hbase-site.xml文件，如下
1234567891011121314<property> <name>hbase.rootdir</name> <value>hdfs://localhost:9000/hbase</value></property><property> <name>hbase.zookeeper.property.dataDir</name> <value>/home/hadoop/zookeeper</value></property><property> <name>hbase.cluster.distributed</name> <value>true</value></property>
编辑/etc/profile，增加HBASE_HOME环境变量
12export HBASE_HOME=/usr/local/hbaseexport PATH=$PATH:$HBASE_HOME/bin
应用更改。
1source /etc/profile
OK，现在为止，HBase的安装和配置都已经完成了。
现在你可以通过执行start-hbase.sh来启动HBase
12$ cd /usr/local/hbase/bin$ ./start-hbase.sh
然后执行jps命令应该可以看到HMaster和HRegionServer这两个进程。类似下面
10941 DataNode13744 HQuorumPeer14207 Jps11126 SecondaryNameNode11276 ResourceManager10840 NameNode13843 HMaster10016 HRegionServer11378 NodeManager如果没有看到，可以查看日志/usr/local/hbase/logs/hbase-hadoop-master-xx.log
在HDFS中检查HBase目录HBase会在HDFS中创建自己的目录，在hadoop目录下面执行：
1$ ./bin/hadoop fs -ls /hbase
显示如下
drwxr-xr-x - hadoop supergroup 0 2015-04-24 16:06 /hbase/.tmpdrwxr-xr-x - hadoop supergroup 0 2015-04-24 16:06 /hbase/WALsdrwxr-xr-x - hadoop supergroup 0 2015-04-24 16:06 /hbase/data-rw-r--r-- 1 hadoop supergroup 42 2015-04-24 16:06 /hbase/hbase.id-rw-r--r-- 1 hadoop supergroup 7 2015-04-24 16:06 /hbase/hbase.versiondrwxr-xr-x - hadoop supergroup 0 2015-04-24 16:06 /hbase/oldWALs那么恭喜你，配置成功了！
http://yidao620c.github.io/blog/20150527/hadoop-hbase.html
centos6上安装Hadoop和HBase
页:
[1]