基于业务自动化需求,搭建Apache Kylin用于实时OLAP场景。

1. 编译

  官方提供的Apache Kylin目前仅支持到CDH5.7,更高版本的没有发布,或测试。针对公司的CDH版本,需要进行相关设置与编译,才能适用于公司的环境。

1.1. Github获取代码

git clone https://github.com/apache/kylin.git
git checkout yang21-cdh5.7

1.2. 进行配置

主要进行一下几方面的更改:

  1. JDK版本:1.7→1.8
  2. CDH版本:cdh5.7.0→cdh5.12.1
  3. 代码修改:涉及到的类
    A、engine-spark/src/main/java/org/apache/kylin/engine/spark/SparkCubing.java 
    B、server-base/src/main/java/org/apache/kylin/rest/security/MockHTable.java

1.3. 进行编译

./build/script/package.sh

2. 安装

上述编译完成之后,安装相对简单,直接解压即可。

3. 配置

  原始信息存在差距,无法直接使用,因此需要针对出现问题的位置进行修改。主要涉及到的配置

3.1. Hbase配置【数据存储位置,必须】

3.2. Hive配置【数据来源,需要】

4. 使用

  到这里,可以直接在浏览器中访问了。
  本地浏览器访问:http://localhost:7070/kylin
  默认用户名/密码:ADMIN/KYLIN

5. 参考

  1. https://github.com/Xinshiyou/kylin
  2. https://www.kancloud.cn/cxfeel/cdh5_12_0/370970