storm集群搭建及numbus,supervisor启动异常

1.安装

(1)下载
wget https://archive.apache.org/dist/storm/apache-storm-1.1.2/apache-storm-1.1.2.tar.gz

(2)创建文件夹
mkdir -p /export/server

(3)解压
tar -zxvf apache-storm-1.1.2.tar.gz -C /export/server

(4)重命名
mv apache-storm-1.1.2 storm

(5)创建storm工作目录
mkdir -p /export/data/storm/workdir

(6)修改/etc/hosts 在每台机器上,配上要启动节点的机器
192.168.44.133 storm01 hadoop000
192.168.44.134 storm02 hadoop001

2.配置storm/conf/storm.yaml文件

#指定storm使用的zk集群
storm.zookeeper.servers:
- “hadoop000”
- “hadoop001”
- “hadoop002”
#指定storm本地状态保存地址
storm.local.dir: “/export/data/storm/workdir”
#指定storm集群中的nimbus节点所在的服务器 老大
nimbus.host: “storm01”
#指定nimbus启动JVM最大可用内存大小
nimbus.childopts: “-Xmx1024m”
#指定supervisor启动JVM最大可用内存大小
supervisor.childopts: “-Xmx1024m”
#指定supervisor节点上，每个worker启动JVM最大可用内存大小
worker.childopts: “-Xmx768m”
#指定ui启动JVM最大可用内存大小，ui服务一般与nimbus同在一个节点上。
ui.childopts: “-Xmx768m”
#指定supervisor节点上，启动worker时对应的端口号，每个端口对应槽，每个槽位对应一worker
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703

3.发送给其他机器

sudo scp -r export/ hadoop001:/

4.启动集群

zookeeper要提前启动要连接,在/export/servers/storm/bin/下输入
(1)在nimbus.host所属的机器上启动 nimbus服务
./storm nimbus
nohup storm nimbus & 在后台启动 输入完后快速回车
(2)在nimbus.host所属的机器上启动ui服务
./storm ui
(3)在其它个点击上启动supervisor服务
克隆机器需要在/export/data/storm/workdir/supervisor/isupervisor修改id
./storm supervisor

5.检验

http://hadoop000:8080/index.html

6.常用命令

(1)杀死任务命令 1秒后kill
storm kill topology-name -w 1
(2)停用任务命令格式：
storm deactivte topology-name
(3)启用任务命令格式：
storm activate topology-name
(4)重新部署任务命令格式. 将集群中的机器重新负载均衡
storm rebalance topology-name

7.FQA

在/export/server/storm/logs下查看日志.
在根目录下创建目录,会有一些用户权限问题.
(1)启动 supervisor时报错:
vi supervisor.log
main ERROR Unable to invoke factory method in class class org.apache.logging.log4j.core.appender.RollingFileAppender for element RollingFile. java.lang.IllegalStateException: No factory method found for class org.apache.logging.log4j.core.appender.RollingFileAppender
没有权限修改日志文件
解决:sudo 启动supervisor 或者chmod 777 /export/server/storm/logs/*
或 sudo chown -R hadoop:root server/
将root的data/文件夹的权限给hadoop用户

(2)启动nimbus报错:
vi nimbus.log
nimbus timer [ERROR] Error when processing event
java.lang.ClassCastException: java.lang.String cannot be cast to java.lang.Throwable
删除/export/data/storm/workdir目录下的文件

(3).运行程序时报错
Exception in thread “main” java.lang.RuntimeException: org.apache.storm.thrift.transport.TTransportException
权限不足不能加载/export/server/storm/lib的jar包
sudo chmod 777 storm/ -R
或sudo chown -R hadoop:root /export/server/storm/lib
将root的server/文件夹的权限给hadoop用户