Cubieboard终极应用：Hadoop云计算平台

play4fun

本帖是为了赚积分的，哈哈。

在双核版子之前，想过用4块Cubieboard搭建微型Hadoop云计算平台，
听到即将出双核版，就暂停计划了。
不过，以下操作，在个人笔记本上的Vmware虚拟机验证过。
------------------------------------
机器准备：
1.笔记本电脑，4核CPU，8G内存
2.vmware player 4.0.4
3.Linux系统：ubuntu Server最新版
------------------------------------
安装系统：
1.新建一个Linux虚拟机，为hadoop-master，安装ubuntu Server最新版
2.安装openssh-server，default-jdk，python，perl，等软件。
3.设置静态IP，192.168.47.10，
sudo vi /etc/network/interfaces
---------
# The loopback network interface
auto lo
iface lo inet loopback

# The primary network interface
auto eth0
#iface eth0 inet dhcp
iface eth0 inet static
address 192.168.47.10
netmask 255.255.255.0
broadcast 192.168.47.255
gateway 192.168.47.2
---------
虚拟机的Network Adapter设置为NAT

4.复制hadoop-master，2份，分别为hadoop-slave1，hadoop-slave2
hadoop-slave1的Ip为192.168.47.11
hadoop-slave2的Ip为192.168.47.12





------------------------------------
hadoop完全分布式
1，在所有机器上配置NameNode和DataNode
在/etc/hosts添加IP地址和对应的主机名
192.168.179.10 master
192.168.179.11 slave1
192.168.179.12 slave2

2,在所有机器上建立相同的用户grid
sudo useradd -m grid
sudo passwd grid
123456


3,SSH配置
在NameNode上生成密钥对，其他DataNode也是一样。
ssh-keygen -t rsa
cp id_rsa.pub authorized_keys
复制公钥到其他NameNode
把所有机器的公钥组合成一个大文件authorized_keys ,然后复制到其他节点，覆盖掉。
在master上
scp authorized_keys grid@slave1:/home/grid/.ssh
scp authorized_keys grid@slave2:/home/grid/.ssh
进入所有机器的.ssh目录，改变authorized_keys 文件的权限：
chmod 644 authorized_keys

4.在所有机器上配置Hadoop
core-site.xml
<configuration>
        <property>
                <name>fs.default.name</name>
                <value>hdfs://master:9000</value>
        </property>        
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/grid/hadoop-0.20.2/Hadoop.tmp.dir</value>
        </property>        
</configuration>
hdfs-site.xml
<configuration>
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
</configuration>

     
你希望Hadoop存储数据块的位置，手动创建。
hdfs-site.xml，副本数，根据集群中Slave节点的数目而定，
一般小于Slave节点数。

4.2，编辑conf/masters,修改为Master的主机名，每行一个，
即是master
编辑conf/slaves,
slave1
slave2
4.3复制hadoop到其他机器上
scp -r hadoop-0.20.2 grid@slave1:/home/grid
scp -r hadoop-0.20.2 grid@slave2:/home/grid


4.4,修改所有机器的conf/hadoop-env.sh,设置JAVA_HOME
hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-i386  
部署完毕。
如果要新加入或删除节点，仅需要修改NameNode，conf文件夹的Master和Slave
------------------------------------
5.运行Hadoop
格式化分布式文件系统
bin/hadoop namenode -format
----------------
启动守护进程
bin/start-all.sh
----------------
用jps命令检测启动情况：
sudo /usr/lib/jvm/java-1.6.0-openjdk/bin/jps
grid@master:~/hadoop-0.20.2$ jps
5400 SecondaryNameNode
5464 JobTracker
5158 NameNode
5533 Jps

----------------
汇总
bin/hadoop dfsadmin -report
grid@master:~/hadoop-0.20.2$ bin/hadoop dfsadmin -report
Safe mode is ON
Configured Capacity: 39891361792 (37.15 GB)
Present Capacity: 34845970432 (32.45 GB)
DFS Remaining: 34845921280 (32.45 GB)
DFS Used: 49152 (48 KB)
DFS Used%: 0%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0

----
Datanodes available: 2 (2 total, 0 dead)

Name: 192.168.47.12:50010
Decommission Status : Normal
Configured Capacity: 19945680896 (18.58 GB)
DFS Used: 24576 (24 KB)
Non DFS Used: 2522812416 (2.35 GB)
DFS Remaining: 17422843904(16.23 GB)
DFS Used%: 0%
DFS Remaining%: 87.35%
Last contact: Tue May 21 16:33:23 CST 2013


Name: 192.168.47.11:50010
Decommission Status : Normal
Configured Capacity: 19945680896 (18.58 GB)
DFS Used: 24576 (24 KB)
Non DFS Used: 2522578944 (2.35 GB)
DFS Remaining: 17423077376(16.23 GB)
DFS Used%: 0%
DFS Remaining%: 87.35%
Last contact: Tue May 21 16:33:25 CST 2013

----------------
停止Hadoop进程
bin/stop-all.sh
--------------------------------
修改windows
C:\Windows\System32\drivers\etc\hosts
加入三台虚拟机的ip
192.168.179.10 master
192.168.179.11 slave1
192.168.179.12 slave2

在windows便可以通过浏览器
DFS系统
http://master:50070/




Hadoop Map/Reduce Administration
http://master:50030/
查看Hadoop后台信息了。

siriux

mark

flyword

学习了！

andy

这个值得学习

hitsword

mark　　　

cubieplayer

标题党！！！没看到应用就看到了软件

play4fun

cubieplayer 发表于 2013-5-28 12:06
标题党！！！没看到应用就看到了软件

你以为应用就是软件？

anhe

学习啊