本文详细介绍了如何在Ubuntu 10.04上搭建一个包含Hadoop、Zookeeper和HBase的小型集群。首先，通过安装Ubuntu、开启SSH服务并配置无密码登录来准备环境。接着，关闭防火墙，安装JDK 1.6，然后安装和配置Hadoop，包括设置masters、slaves文件，配置HDFS和MapReduce。在Zookeeper的配置中，主要涉及dataDir和clientPort属性。最后，配置和启动HBase集群，包括修改相关配置文件、拷贝必要文件和启动服务。文章还提供了一个简单的HBase Java客户端实例作为应用演示。
（注：本内容已迁移到最新博客，地址：http://www.jmatrix.org/bigdata/80.html)
出于种种原因，想要搭建一个小集群，来搞搞数据处理。
1、安装ubuntu10.04
为了操作的简便，在所有机器上创建相同用户名和相同密码的用户。本例创建了相同的用户ibm。
修改机器名：$ hostname 机器名。(注：重启ubuntu后，hostname会变为原来的默认值，所以重启电脑后记得把hostname改回来，免得与下面设置的/etc/hosts文件不一致！)
在/etc/hosts 中添加机器名和相应的IP：
127.0.0.1 localhost
125.216.227.182 ibm
125.216.227.53 ibm00
2、开启ssh 服务
注意：自动安装openssh-server 时，先要进行sudo apt-get update 操作。
安装openssh-server：$ sudo apt-get install openssh-server
3、建立ssh 无密码登录
(1)在NameNode 上实现无密码登录本机：
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa ，
直接回车，完成后会在~/.ssh/生成两个文件：id_dsa 和id_dsa.pub。这两个是成对出现，类似钥匙和锁。
再把id_dsa.pub 追加到授权key 里面(当前并没有authorized_keys文件)：
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys。
完成后可以实现无密码登录本机：$ ssh localhost。
(2)实现NameNode 无密码登录其他DataNode（不用设置DataNode无密码登录NameNode！）：
把NameNode 上的id_dsa.pub 文件追加到dataNode 的authorized_keys 内( 以125.216.227.182节点为例)：
a. 拷贝NameNode 的i
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
