Skip to content

Latest commit

 

History

History
 
 

old

Folders and files

NameName
Last commit message
Last commit date

parent directory

..
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
   安装Hadoop有点繁琐,都是力气活,测试和演示时常常要部署它,
zhenghh@ucweb.com 同学开发了一键安装的脚本,简单快捷,用
起来很舒心。这个项目是把一键安装的脚本修改一下,发布成开
源版本,希望能帮到大家。

   本程序全部是shell脚本。部署后的hadoop可以直接格式化启
动,但是如果要良好运行,还需要你直接配置Hadoop的各个参数。

   本项目现在由 zhaigy@ucweb.com 维护。

说明:
1. 本程序可以安装Hadoop,Hive,HBase,HUE,并可安装配置
   LZO和Fuse-Dfs
2. 本程序必须在用户home目录下,安装后的程序也都是在用户
   的home目录下,即本安装是和用户紧密结合的,通常这个用
   户是hadoop
3. 本程序可以安装32位机,也可以安装64位机
4. 默认情况下,本程序会对集群做一些简单配置,安装机被配
   置成NN和JT,你可以在安装后修改配置文件
5. 本程序的目的是简化安装过程,相关的细节方面的配置,例
   如数据磁盘目录等,仍需要你配置 


必备条件:
1. 仅能用于linux系统
2. shell使用的是bash
3. 根据hadoop的要求,机器间通信时要使用host而不是ip,要
   求各个机器的host已经正确设置,请用hostname命令验证
4. 各个机器上,用于安装的用户名和密码必须一致
5. 必须有ssh,本程序会自动配置免密码登录
6. 安装的那台机器必须是集群中的一台,并且最好就是主节点
7. 安装时需要连接网络下载安装包,或者你手动下载好放到
   tars目录


安装hadoop:
1. 修改install_env.sh中配置,如果此文件不存在,会出提示要求
   逐个的输入,所以,你也可以把此文件删除,直接进行下一步
2. sh install_hadoop.sh


为了快速安装,最好先修改 install_env.sh ,然后运行上面的命令。
install_env.sh中内容是:
----------------------------------------------------
PASS=$USER #用户登录其它机器的密码
SSH_PORT=22 #ssh服务端口

NN="host1"      #在哪台机器上安装NN,最好就是安装机
SNN="host2"     #在哪台机器上安装SNN,空表示不安装
#                #DN:在哪些机器上安装DN
DN="
host3
host4
host5
host6
"
----------------------------------------------------
默认启动后的端口是50***,你可以打开 deployer_env.sh 修改
HADOOP_PORT_PREFIX,也可以在安装后对个别的端口进行调整。


安装hive
sh install_hive.sh

默认是derby存储元数据
建议使用mysql,不过这个需要你自己安装mysql并对应的修改
hive-site.xml 中配置


安装hbase
sh install_hbase.sh


安装hue
sh install_hue.sh


安装全部
sh install_all.sh


非常重要
关于下载
download.list.txt文件中列举了全部要下载的tar文件,你可以修改
成最快速的网址,对于你不需要用的包也可以删除。
对于有一些不能直接下载的包,你需要手动下载并放到tars目录中,
例如jdk包就是不能直接下载的,你可以从这里下载jdk:
http://www.oracle.com/technetwork/java/javase/downloads/index.html
请注意要和操作系统匹配,如果你要安装的机器既有32位的,又有64位的,
你需要两个版本都下载

由于自带的默认下载软件地址在github上,测试时下载有时会中断,所以,
建议大家先手动下载需要的包,放到hadoop-deployer中的tars子目录下,
然后把download.list.txt置空。