博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop简单安装配置
阅读量:4465 次
发布时间:2019-06-08

本文共 1839 字,大约阅读时间需要 6 分钟。

Hadoop开始设计以Linux平台为运行目标,所以这里推荐在Linux发行版比如Ubuntu进行安装,目前已经有Hadoop for Windows出来,大家自行搜下文章。

Hadoop运行模式分为单机、伪分布式、真实分布式三种,默认安装到本地后是单机模式。

 

1. 安装Jdk

Hadoop是用Java编写的,所以需要先装jdk,在oracle官网()下载压缩包后,放置到/opt目录下,用如下命令解压

sudo tar -xvf jdk-8u77-linux-x64.tar.gz

加入环境变量JAVA_HOME和PATH

export JAVA_HOME=/opt/jdk1.8.0_77export PATH=/opt/jdk1.8.0_77:${PATH}

 

2. 下载安装Hadoop

在官网下载,这里下载Hadoop-1.2.1版本为例子,下载tar.gz压缩包(),同样防止在/opt目录下

如下命令解压

sudo tar -xvf hadoop-1.2.1.tar.gz

加入环境变量HADOOP_HOME和PATH

export HADOOP_HOME=/opt/hadoop-1.2.1export PATH=/opt/hadoop-1.2.1/bin:${PATH}

进入/opt/hadoop-1.2.1/conf目录中,打开hadoop环境变量配置文件hadoop-env.sh,解开JAVA_HOME并修改上自己的jdk目录

 

如果需要将环境变量永久配置建议修改个人目录下的Profile文件:

sudo gedit ~/.bashrc

并在末尾添加

export JAVA_HOME=/opt/jdk1.8.0_77export PATH=$PATH:$JAVA_HOME/binexport HADOOP_INSTALL=/opt/hadoop-1.2.1export PATH=$PATH:$HADOOP_INSTALL/binexport PATH=$PATH:$HADOOP_INSTALL/sbinexport HADOOP_MAPRED_HOME=$HADOOP_INSTALLexport HADOOP_COMMON_HOME=$HADOOP_INSTALLexport HADOOP_HDFS_HOME=$HADOOP_INSTALLexport YARN_HOME=$HADOOP_INSTALLexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/nativeexport HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

 

3. 设置ssh免密码登录

输入以下命令声明ssh秘钥,整个过程都直接回车,不需要输入任何密码信息

ssh-keygen

最后会在你的个人目录下的.ssh文件夹中生成一个id_rsa.pub文件,继续执行下面命令将该秘钥追加到authorized_keys中:

sudo cp /home/xxx/.ssh/id_rsa.pub /home/xxx/.ssh/authorized_keys

这个时候执行下列命令看看是否能登陆

ssh localhost

如果出现下列错误的话说明你本地没有装openssh-server

ssh: connect to host localhost port 22: Connection refused [closed]

则安装openssh-server

sudo apt-get install openssh-server

 

如果出现下列提示,说明你要本地的openssh-client的版本已经过时,需要更新了

因为openssh-server是要依赖client的话,按照如上的截图提示信息,需要安装对应的openssh-client版本:

sudo apt-get install openssh-client=1:5.3p1-3ubuntu3

安装完后,则可以安装openssh-server了。随后启动ssh服务,并查看ssh服务是否启动

这个时候ssh localhost就可以登录本地了

 

到此,本地Hadoop安装完毕

转载于:https://www.cnblogs.com/soaringEveryday/p/5359545.html

你可能感兴趣的文章
iOS开发——捕获崩溃信息
查看>>
(for 循环)编程找出四位整数 abcd 中满足 (ab+cd)(ab+cd)=abcd 的数
查看>>
tomcat使用spring-loaded实现应用热部署
查看>>
boost1.53中的lock-free
查看>>
链表_leetcode203
查看>>
基于ajax 的 几个例子 session ,ajax 实现登录,验证码 ,实现ajax表单展示
查看>>
连接不上sql server服务器的解决方案
查看>>
记录安装oracle的那些事(二)之双系统安装
查看>>
c3po数据库连接池中取出连接
查看>>
bootstrap-table 分页
查看>>
使用本机IP调试web项目
查看>>
【Java面试题】58 char型变量中能不能存贮一个中文汉字?为什么?
查看>>
C++ Primer 第六章 函数
查看>>
交互设计算法基础(3) - Quick Sort
查看>>
Ubuntu各种软件的安装
查看>>
Android电源管理
查看>>
C#_基础_方法以及方法重载(十)
查看>>
新起点新希望
查看>>
LINQ系列:LINQ to DataSet的DataTable操作
查看>>
ASP。net 测验
查看>>