之前做BI项目,数据工程师从业务pg数据库导入hive, 然后在hive数据仓库利用hive/spark处理完数据,结果再通过sqoop导出到pg数据库,或者存储到es/hbase里供BI使用。BI需要开发接口,然后前端人员编写页面。
缺点:
流程长,涉及部门人多
基本都是离线数据分析
kylin通过预计算支持OLAP,tableau通过拖拽形成漂亮的报表,节省前端工作量,甚至数据开发人员可以独立完成BI工作。本文关注kylin与tableau的集成
注意:
1.kylin使用预计算,cube技术,将结果以维度作为rowkey存入到hbase里。所以kylin需要大数据集群里的hive/hbase技术框架。
2.由于tableau连接kylin需要通过ODBC驱动,所以tableau desktop需要安装在windows电脑上。
本文按以下顺序:
一)kylin服务器的安装
二)tableau配置连接kylin server
一。kylin安装(单节点)
最好的安装材料就是官方文档:
安装指南:
http://kylin.apache.org/cn/docs/install/manual_install_guide.html
kylin下载:
http://kylin.apache.org/download/
Installation Guide:
http://kylin.apache.org/cn/docs/install/index.html
1.下载apache-kylin-2.4.0-bin-hbase1x
2.解压,配置kylin_home
export KYLIN_HOME=/data/bdsofts/apache-kylin-2.4.0-bin-hbase1x
3.cd $KYLIN_HOME
执行bin/check-env.sh检查大数据集群是否满足kylin条件
4.启动单节点Kylin
以./bin/kylin.sh start
启动Kylin
并以./bin/Kylin.sh stop
停止Kylin
http://:7070/kylin/login
安装后默认用户名密码:ADMIN/KYLIN
(二)tableau配置
1.tableau下载试用版地址15天:
https://www.tableau.com/zh-cn/products/desktop/download
2.kylin_tableau配置指南
http://kylin.apache.org/cn/docs/tutorial/tableau_91.html
3.kylin_odbc指南
http://kylin.apache.org/cn/docs/tutorial/odbc.html
领取专属 10元无门槛券
私享最新 技术干货