单机开垦情状建立,单节点伪布满式Hadoop的安装

作者: 今晚买四不像计算  发布:2019-11-05

下载意气风发份Hadoop-0.21.0.tar.gz
解压到您想要的目录,笔者这里放到usr下。
将其改名字为:shadoop
修正如下配置文件:
conf/core-site.xml:

单节点伪遍布式Hadoop的安装与布署

<configuration>
     <property>
         <name>fs.default.name</name>
         <value>hdfs://192.168.110.54:9000</value>
     </property>
</configuration>

设置须要八个先决条件,java版本1.6之上和ssh登入本机无需输入密码,差别版本的hadoop安装方式差异,注意要透过apache网址的协作安装表达举行设置
1,安装java
Install java
rpm -ivh jdk-7u7-linux-x64.rpm

conf/hdfs-site.xml:

[root@linux2 ~]# rm /usr/bin/java
rm: remove symbolic link `/usr/bin/java'? y 
[root@linux2 ~]# ln -s  /usr/java/jdk1.7.0_07/bin/java /usr/bin/java
[root@linux2 ~]# java -version
java version "1.7.0_07"
Java(TM) SE Runtime Environment (build 1.7.0_07-b10)
Java HotSpot(TM) 64-Bit Server VM (build 23.3-b01, mixed mode)

<configuration>
     <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
</configuration>

2,配置ssh互通

conf/mapred-site.xml:

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
万一不是root客商,以上措施也许不大概成功,供给改正.ssh目录的权力
先是是给.ssh目录赋三个权力 
1 chmod 700 /home/hadoop/.ssh
2 chmod 600 authorized_keys
3 chmod 600 id_rsa
切实权限应该如下
-rw------- 1 hadoop hadoop  396 05-16 05:10 authorized_keys
-rw------- 1 hadoop hadoop 1675 05-16 05:10 id_rsa
-rwxrwxrwx 1 hadoop hadoop  396 05-16 05:10 id_rsa.pub
-rwxrwxrwx 1 hadoop hadoop  402 05-16 05:10 known_hosts
 .ssh目录权限:
drwx------  2 hadoop hadoop 4096 05-16 05:10 .ssh
3,安装standlone hadoop,即独有七个历程的方式
英特网下载hadoop版本,解压
tar -zxvf hadoop-1.0.4.tar.gz
设置JAVA_HOME
vi conf/hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.7.0_07

<configuration>
     <property>
         <name>mapred.job.tracker</name>
         <value>192.168.110.54:9001</value>
     </property>
</configuration>
ssh密钥:
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
配置conf下hadoop-env.sh:
export JAVA_HOME=/usr/java/jdk1.6.0_21 #配置java_home
格式化namenode:
bin/hadoop namenode -format
敞开服务:
bin/start-all.sh

测量检验安装是或不是中标
./bin/hadoop jar hadoop-examples-1.0.4.jar grep input output '[a-z.]+'
cat output/*
./bin/hadoop jar hadoop-examples-1.0.4.jar wordcount input output

在home下建设构造images,那些文件下归入一批图片。那些文件夹会作为源文件夹使用,一会会将以此文件夹放入分布式文件系统中去。
加上叁个文本夹到布满式文件系统里:
bin/hadoop dfs -put /home/images hdfs://192.168.110.54:9000/usr/shadoop/images
查下刚刚归入分布式文件系统中的文件夹:
bin/hadoop dfs -ls hdfs://192.168.110.54:9000/usr/shadoop/images
拿到叁个文书:
bin/hadoop dfs -get hdfs://192.168.110.54:9000/usr/shadoop/images/1028030.jpg /home/
删去叁个文件夹:
bin/hadoop dfs -rmr hdfs://192.168.110.54:9000/usr/shadoop/images

4,安装伪布满式架构hadoop
1) 解压缩文件,同上,配置ssh无密码登入
2卡塔 尔(阿拉伯语:قطر‎纠正配置文件
vi conf/core-site.xml:

关闭服务:
bin/stop-all.sh

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>
vi conf/hdfs-site.xml:
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>
vi conf/mapred-site.xml:

指令使用手册:

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:9001</value>
    </property>
</configuration>
3) 格式化布满式文件系统
 bin/hadoop namenode -format
4)启动haddop
bin/start-all.sh
备考:首要运维后要保障如下三个网页平常浏览,且active node为1(假设频仍设置注意清理tmp目录下的有关文书卡塔 尔(阿拉伯语:قطر‎
也可使用浏览器浏览下列网站实行求证
    NameNode -
    JobTracker -
5卡塔 尔(阿拉伯语:قطر‎生成目录
hadoop fs -mkdir test
hadoop fs -ls test
hadoop fs -put conf test

越来越多Hadoop相关新闻:http://www.linuxidc.com/search.aspx?Where=Nkey&Keyword=Hadoop

6)执行
hadoop jar hadoop-examples-1.0.4.jar grep test/conf output 'dfs[a-z.]+'
hadoop fs -ls output
[hadoop@linux1 hadoop-1.0.4]$ hadoop fs -cat /user/hadoop/output/part-00000 | head -13
1      dfs.replication
1      dfs.server.namenode.
1      dfsadmin

图片 1

兑现到位后前面一个实验不成事,能够去除test
# hadoop fs -rmr test
Deleted hdfs://localhost/user/root/test

图片 2

本文由今晚买四不像发布于今晚买四不像计算,转载请注明出处:单机开垦情状建立,单节点伪布满式Hadoop的安装

关键词:

上一篇:没有了
下一篇:没有了