前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Twitter Storm安装配置(Ubuntu系统)单机版

Twitter Storm安装配置(Ubuntu系统)单机版

作者头像
磊哥
发布于 2018-05-08 07:40:22
发布于 2018-05-08 07:40:22
62900
代码可运行
举报
文章被收录于专栏:王磊的博客王磊的博客
运行总次数:0
代码可运行

要使用storm首先要安装以下工具:JDK、Python、zookeeper、zeromq、jzmq、storm

(注:各个模块都是独立的,如果安装失败或者卡顿可以单独百度某个模块的安装,都是可以的。)

JDK1.7安装 参见上篇Ubuntu下安装配置JDK1.7》http://www.cnblogs.com/stone_w/p/4469548.html

第一步,安装Python2.7.2(ubuntu)

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
wget http://www.python.org/ftp/python/2.7.2/Python-2.7.2.tgz
tar zxvf Python-2.7.2.tgz
cd Python-2.7.2
./configure
make
make install
vi /etc/ld.so.conf
追加/usr/local/lib/
sudo ldconfig

第二步,安装zookeeper  

下载zookeeper  解压,安装:http://pan.baidu.com/s/1jGjA90M

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
tar -zxvf zookeeper-3.3.5.tar.gz 
cp -R zookeeper-3.3.5 /usr/local/
ln -s /usr/local/zookeeper-3.3.5/ /usr/local/zookeeper
gedit /etc/profile (设置ZOOKEEPER_HOMEZOOKEEPER_HOME/bin) 
export ZOOKEEPER_HOME="/path/to/zookeeper"
export PATH=$PATH:$ZOOKEEPER_HOME/bin
cp /usr/local/zookeeper/conf/zoo_sample.cfg /usr/local/zookeeper/conf/zoo.cfg (用zoo_sample.cfg制作$ZOOKEEPER_HOME/conf/zoo.cfg)
mkdir /tmp/zookeeper
mkdir /var/log/zookeeper

zookeeper的单机安装已经完成了。

第三步,安装zeromq以及jzmq jzmq的安装貌似是依赖zeromq的,所以应该先装zeromq,再装jzmq。 1)安装zeromq:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
wget http://download.zeromq.org/zeromq-2.2.0.tar.gz
tar zxf zeromq-2.2.0.tar.gz 
cd zeromq-2.2.0
./configure
make
make install
sudo ldconfig (更新LD_LIBRARY_PATH)

zeromq安装完成。 注意:如有有依赖报错,需要安装: jzmq dependencies 依赖包 sudo yum install uuid* sudo yum install libtool sudo yum install libuuid  sudo yum install libuuid-devel 2)安装jzmq

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
yum install git 
git clone git://github.com/nathanmarz/jzmq.git
cd jzmq
./autogen.sh
./configure
make
make install

然后,jzmq就装好了. 注意:在./autogen.sh这步如果报错:autogen.sh:error:could not find libtool is required to run autogen.sh,这是因为缺少了libtool,可以用#yum install libtool*来解决。

第四步,安装Storm

我使用的Storm版本是最新的稳定版0.8.2,下载,解压,修改/conf/storm.yaml配置文件:

Storm 0.8.2 下载  http://pan.baidu.com/s/1sjODKPB

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
unzip storm-0.8.2.zip
mv storm-0.8.2 /usr/local/
ln -s /usr/local/storm-0.8.2/ /usr/local/storm
gedit /etc/profile
export STORM_HOME=/usr/local/storm-0.8.2
export PATH=$PATH:$STORM_HOME/bin

到此为止单机版的Storm就安装完毕了。

启动Storm

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
/usr/local/zookeeper/bin/zkServer.sh start
cd /usr/local/storm-0.8.2
bin/storm nimbus &
bin/storm supervisor &
bin/storm ui &  

如果我们没有为storm添加环境变量,那么在启动的时候,我们就需要使用绝对路径或相对路径来定位/chenny/Storm/storm-0.8.2/bin/storm这个程序。启动完成后,我们可以使用jps来查看进程状态: >>jps    在没有运行任务时,我们必须应该要看到5个进程:QuorumPeerMain、nimbus、core、Jps、supervisor。否则 就需要检查是否正确地启动,如果启动之后没有过多久就停止了,我们就需要查看~/storm-0.8.2/logs下面的对应的log文件,查看引起异常 的原因是什么,然后解决后再次启动。    同时,我们可以在浏览器中输入http://127.0.0.1:8080来进入Storm UI的界面,可以查看Storm运行期间的相关信息。

第五步,测试一下本地模式的WordCount

网上别的资料介绍了许多方式来编译可执行的Topology程序,我们这里提供一个简单的办法,只需要使用Eclipse和相关的Jar包即 可,Ubuntu或者Windows环境下均可。我们需要从github上下载下来一个供初学者学习的storm-starter,同时,我们还需要有 commons-collections-3.2.1-bin.tar.gz、twitter4j-2.2.6.zip和storm-0.8.2.zip 等软件包,如果没有的话,需要去下载。以Windows XP下的Eclipse为例。首先我们将所有需要的包解压放到桌面,打开Eclipse,新建Java Project,名字任意取,我取名叫做MyFirstStormApp,然后点击Finish。

在MyFirstStormApp上右键,选择Import,然后选择File System:

在From Directory中输入相应的路径或者点击Browse,选择路径:

我们依次展开storm-starter-master/src/jvm/storm,选中jvm文件夹,点击确定,然后勾选jvm,点击finish:

这样,我们就在左侧看到Project的结构: 

拖动storm到src中,然后安装同样的方式将 storm-starter-master/storm-starter-master/multilang导入到项目中,然后我们就在左侧看到如下图所示的结构:

可以看到上面有很多红叉,此时,我们就需要导入项目所依赖的jar包,在项目上右键,选择Properties,然后Java Build Path,切换到Libraries选项夹下,点击Add External JARs: 

将storm-0.8.2/lib目录下的所有jar包都加入到项目中,将

commons-collections-3.2.1.jar添加到 项目中,将twitter4j-2.2.6/lib中的所有jar包加入到项目中,将storm-0.8.2/storm-0.8.2.jar加入到项目 中,然后点击OK,这个时候,可以看到项目中的所有错误都消失了。接下来,我们将PrintSampleStream.java和 TwitterSampleSpout.java中的注释取消,或者将这两个文件删除

在项目上选择Export,然后选择JAR file,在下一页,我们将项目导出,勾选如下图所示:

点击finish后,如果没有错误,只有warning的话,就不用管了,否则我们需要检查错误,然后重新打包。打包后的jar包是MyFirstStormApp.jar,将它拷贝到部署有Storm的机器上(/usr/local/storm-0.8.2目录下),然后在终端中输入: 

>>bin/storm jar MyFirstStormApp.jar storm.starter.WordCountTopology test2   如果没有错误,就成功提交了,在浏览器中输入http://127.0.0.1:8080,可以看到这个Topology已经在运行了,点击它的名字,可以进入Topology summary:

如果看到这些数据,就说明我们正确地完成了配置。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2015-05-08 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
安装Apache Storm
Apache Storm是一个免费的开源分布式实时计算系统。Apache Storm使可靠地处理无界数据流变得容易,为实时处理做了Hadoop为批处理做的事情。Apache Storm很简单,可以和任何编程语言一起使用,使用起来很有趣!Apache Storm有很多用例:实时分析、在线机器学习、连续计算、分布式RPC、ETL等等。ApacheStorm速度很快:一个基准测试显示每个节点每秒处理超过一百万个元组。它是可扩展的,容错的,保证您的数据将被处理,并且易于设置和操作。
顾翔
2022/02/13
6720
Twitter Storm 集群搭建
Storm特点:(Storm类似手扶电梯,不出故障就会一直运行,Hadoop类似升降电梯,到达一定程度会停止)。
星哥玩云
2022/06/30
4010
Twitter Storm 集群搭建
Storm集群安装详解
本地模式:你可以在你的本地机器上开发测试你的topology, 一切都在你的本地机器上模拟出来;
黄规速
2022/04/14
2K0
Storm集群安装详解
CentOS 6.8 安装并使用JStorm集群
JStorm 是参考 Apache Storm 实现的实时流式计算框架,在网络IO、线程模型、资源调度、可用性及稳定性上做了持续改进,已被越来越多企业使用。
会长君
2023/04/26
7350
storm单机版部署
storm可以看做是跟hadoop平行的产品,部署storm并不依赖于hadoop 而之前部署的hbase、hive、spark等都或多或少的依赖hadoop 这里简单记录一下storm的部署过程 需要下载包:
全栈程序员站长
2022/07/05
3490
storm安装教程
Storm是Twitter开源的分布式实时大数据处理框架,被业界称为实时版Hadoop。按照storm作者的说法,Storm对于实时计算的意义类似于Hadoop对于批处理的意义。 应用场景包括推荐系统(实时推荐,根据下单或加入购物车推荐相关商品)、金融系统、预警系统、网站统计(实时销量、流量统计,如淘宝双11效果图)、交通路况实时系统等等。 storm一般从日志系统通过kafka收集数据,然后对数据进行处理运算(运算可以结合数据库以及hdfs的存量数据),不断将运算结果写入redis,然后需要展示这个运算结果的系统从redis读取数据。运算结果写入redis和读取展示运算结果是不断重复的(例如1秒一次),这样能实时观察数据的变化。例如双十一的销售额会不断增长,那么storm就要不断解析日志累加销售额,展示页面也要不断读取redis最新的销售额。 twitter和微博实时统计热搜也是一样,实时分析日志才能发现今天的高频词是哪个。 也可以用于埋点收集日志,用户做某个动作,会触发在日志里打印出某个关键字,通过对关键字的统计,可以实时分析用户行为特征。 本文演示安装单机storm系统,并运行内置的示例程序。分为四个步骤:
震八方紫面昆仑侠
2020/08/12
1.1K0
storm安装教程
CentOS 6.8 安装JStorm集群(jstorm-2.1.1 )
shaonbean
2018/01/02
9820
CentOS 6.8 安装JStorm集群(jstorm-2.1.1 )
Twitter Storm: 搭建Storm集群
本文翻译自: https://github.com/nathanmarz/storm/wiki/Setting-up-a-Storm-cluster。
星哥玩云
2022/06/30
5380
搭建storm集群
搭建storm集群 系统centos7 1、安装Java jdk  1.7 2、安装zookeeper 3.4.8 3、安装Python2.7X 4、安装storm0.9 5、安装git 6、安装maven 所有安装包,等会我会打包上传,地址会放到最后,大家需要可以下载 1、安装jdk很简单 下载jdk压缩包 解压压缩包 ,我的安装目录是/software/ 在etc/profile中加入环境变量 JAVA_HOME=/software/jdk1.7.0_80 PATH=$JA
汤高
2018/01/11
1.1K0
搭建storm集群
安装配置ZooKeeper及基本用法
要想学习分布式应用,ZooKeeper是一个绕不过去的基础系统。它为大型分布式计算提供开源的分布式配置服务、同步服务和命名注册。
程序猿讲故事
2019/09/26
1.3K0
安装配置ZooKeeper及基本用法
storm集群部署
机子配置信息 操作系统:CentOS release 6.5 (Final) cpu:Intel(R) Xeon(R) CPU E5-2630 v2 @ 2.60GHz 内存:32G 磁盘大小:1.5T storm 软件包 apache-storm-1.0.0.tar.gz Python 版本 Centos 6.5 系统自带有如下版本 Python,满足 storm 部署的要求 Python 2.6.6 (r266:84292, Nov 22 2013, 12:16:22) [GCC 4.4.7 20120313 (Red Hat 4.4.7-4)] on linux2 JDK storm1.0.0 官方要求 JDK1.7 及以上,本次实验使用 JDK1.8 java version "1.8.0_91" zookeeper 版本 zookeeper-3.4.9.tar.gz
用户3148308
2018/09/13
1.7K0
tesseract-ocr安装
语言包地址:https://github.com/tesseract-ocr/tessdata
jaychou
2022/12/26
1.1K0
HBase搭建单机版
链接:https://pan.baidu.com/s/1vi3TNtnauqd-x0FQkpaZig 提取码:ffo9 复制这段内容后打开百度网盘手机App,操作更方便哦
CBeann
2023/12/25
2330
HBase搭建单机版
Opentsdb安装部署(单机版)
opentsdb是基于Hbase的时序数据库[时间序列数据库]。不具备通用性,主要针对具有时间特性和需求的数据,如监控数据、温度变化数据等。opentsdb说是数据库,但并不能称作为数据库,他是在Hbase(HBase才是具有存储功能的)的基础上,进行数据结构的优化和处理,从而适合存储具有时间特性的数据,同时提供特定的工具进行查询等操作。
子润先生
2021/07/09
1.5K0
【程序源代码】Java版企业微信SCRM系统
国外的营销触达通道比较单一,主要以EDM为主。国内就复杂很多,回想一下当前国内做用户的营销触达主要的场景通道都有哪些。
程序源代码
2023/02/08
1.7K0
Linux下安装Zookeeper、Redis、Nexus和Jenkins
公司搞了个新的服务器,啥也没有,让我部署项目上去(本来老板是问我会不会,我想着我博客就是自己部署的,就说了会),没想到搞了两天。
sunonzj
2022/06/21
4.7K0
Linux下安装Zookeeper、Redis、Nexus和Jenkins
windows 安装 storm 及 eclipse 调试 TopN 实例
一:安装JDK 下载地址:地址一 地址二 配置Java环境变量 JAVA_HOME、Path、CLASSPATH三个值分别为(按照自己安装状况设置,此处供参考): D:\java\jdk1.8 %JAVA_HOME%/bin;%JAVA_HOME%/jre/bin .;%JAVA_HOME%/lib/dt.jar;%JAVA_HOME%/lib/tools.jar (要加.表示当前路径) 二:安装 Python 这是为了测试安装效果,我们将部署 storm-starter project案例中word co
用户1177713
2018/02/24
7080
windows 安装 storm 及 eclipse 调试 TopN 实例
ZooKeeper学习第二期--ZooKeeper安装配置
■ 单机模式:Zookeeper只运行在一台服务器上,适合测试环境; ■ 伪集群模式:就是在一台物理机上运行多个Zookeeper 实例; ■ 集群模式:Zookeeper运行于一个集群上,适合生产环境,这个计算机集群被称为一个“集合体”(ensemble)
用户5640963
2019/07/26
5810
ZooKeeper学习第二期--ZooKeeper安装配置
Ubuntu 16下单机安装配置zookeeper和kafka
用户1141560
2017/12/25
2.4K2
Ubuntu 16下单机安装配置zookeeper和kafka
zookeeper(单机、伪集群、集群)部署
ZooKeeper是一个分布式的、开源的分布式应用程序协调服务,可以在分布 式环境中实现应用配置管理、统一命名服务、状态同步服务等功能。 ZooKeeper是一种为分布式应用所设计的高可用、高性能的开源协调服务,它提供了一项基本服务:分布式锁 服务。由于ZooKeeper开源的特性,在其分布式锁实现的基础上,又被摸索出了其它的功用,譬如:配置维 护、组服务、分布式消息队列等等。 ZooKeeper维护了一个类似文件系统的数据结构,其内部每个子目录都被 称作znode(目录节点),与文件系统一样,我们可以自由的增删改查znode。ZooKeeper集群适合搭建在奇数 台机器上。只要集群中半数以上主机处于存活,那么服务就是可用的。 ZooKeeper在配置文件中并没有指定 master和slave,但是,ZooKeeper在工作时,只有一个节点为leader,其余节点为follower,leader是通过内部 的选举机制临时产生的。
小手冰凉
2020/04/08
6.4K0
相关推荐
安装Apache Storm
更多 >
领券
💥开发者 MCP广场重磅上线!
精选全网热门MCP server,让你的AI更好用 🚀
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验