[文章]Hadoop单机模式部署
150****7258
2017-09-10发布
Hadoop集群有3种可以运行的模式：单机（本地）模式、伪分布式模式和全分布式模式。单机模式（standalone）是Hadoop的默认模式，当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。接下来就介绍一下单机模式如何部署。
一、添加用户和用户组
1.1 创建用户hadoop
$ sudo adduser hadoop
1.2 将hadoop用户添加进sudo用户组，编辑/etc/sudoers添加一行
hadoop ALL=(ALL) ALL
二、安装及配置依赖的软件包
2.1 安装JDK
前往http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html下载最新的jdk安装
2.2 配置ssh免密码登录
$ su hadoop，在/home/hadoop目录下执行
$ cd ~;ssh-keygen -t rsa #一路回车
$ cat .ssh/id_rsa.pub >> .ssh/authorized_keys
$ chmod 600 .ssh/authorized_keys
三、下载并安装Hadoop
3.1 下载Hadoop 2.6.0
$ wget http://archive.apache.org/dist/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz
3.2 解压并安装
$ sudo tar zxvf hadoop-2.6.5.tar.gz
$ sudo mv hadoop-2.6.5 /usr/local/hadoop
$ sudo chmod 777 /usr/local/hadoop
3.3 配置Hadoop
$ vim /home/hadoop/.bashrc，在/home/hadoop/.bashrc文件末尾添加下列内容
#HADOOP START
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.65.x86_64/jre
export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
#HADOOP END
四、测试验证
使用/etc/protocols作为输入的数据进行测试
$ cd /usr/local/hadoop;sudo mkdir input;sudo cp /etc/protocols ./input
执行Hadoop WordCount应用（词频统计）
$ bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.6.5-sources.jar org.apache.hadoop.examples.WordCount input output
查看生成的单词统计数据
以上，讲述的就是如何通过单机模式来对开发过程中MapReduce程序进行调试运行。
-
{{post.UserNickName}}
{{post.CreateTime}}{{post.ThumbsUpCount}} {{post.CommentCount}}条评论编辑 采纳 -
- 暂无回答
- 最近热帖
- {{item.Title}} {{item.ViewCount}}
- 近期热议
- {{item.Title}} {{item.PostCount}}