Apache Kylin 安装说明

Kylin运行依赖于Hive,MR,Hbase等,所以Kylin的安装需要先配置好Hive,Hadoop,Hbase环境才行。
首先要注意的是,Kylin运行提交任务默认会认为MR任务所在的文件夹jar包,在集群其它机器上相同的位置也有相应的jar包。比如hadoop-mapreduce-client-core-2.4.0.jar位置在kylin机器上为 /usr/local/hadoop, 那么默认运行时候在集群中的机器上jar包的位置也需要在同样的位置。这样的话,我们就需要根据Hadoop集群位置来命名Kylin机器上hadoop安装包路径。
其次就是安装hive,hbase,并且注意的是我们采用的是跑kylin构建任务的Hadoop集群与提供查询服务的Hbase底层Hadoop集群分离的架构,需要跑任务的集群能够有权限访问Hbase集群中Hadoop的各个节点。
最后是关于Kylin的配置,Kylin的配置都在$KYLIN_HOME/conf/kylin.properties
需要注意的几个选项:
kylin.metadata.url=kylin_metadata@hbase kylin元数据存储
kylin.hdfs.working.dir=/user/jiangyu2/kylin Kylin构建过程结果存储路径
kylin.hbase.cluster.fs=hdfs://ns-test 如果是两个hdfs,需要设置hbase的hdfs
kylin.hbase.cluster.hdfs.config.file=hbase.hdfs.xml 如果是两个集群,需要设置hbase的conf ,位置在$KYLIN_HOME/conf下面的hbase.hdfs.xml
最后需要修改Hbase的一个配置

  <property>
      <name>hbase.use.dynamic.jar</name>
      <value>false</value>
  </property>

另外,Kylin的权限可以通过LDAP来管理的,也可以通过硬编码,如果采用硬编码,修改位置在$KYLIN_HOME/tomcat/webapps/kylin/WEB-INF/classes/kylinSecurity.xml

        <beans profile="testing">
                <!-- user auth -->
                <bean id="passwordEncoder" class="org.springframework.security.crypto.bcrypt.BCryptPasswordEncoder" />

                <scr:authentication-manager alias="testingAuthenticationManager">
                        <scr:authentication-provider>
                                <scr:user-service>
                                        <scr:user name="MODELER" password="$2a$10$Le5ernTeGNIARwMJsY0WaOLioNQdb0QD11DwjeyNqqNRp5NaDo2FG" authorities="ROLE_MODELER" />
                                        <scr:user name="ANALYST" password="$2a$10$s4INO3XHjPP5Vm2xH027Ce9QeXWdrfq5pvzuGr9z/lQmHqi0rsbNi" authorities="ROLE_ANALYST" />
                                        <scr:user name="ADMIN" password="$2a$10$o3ktIWsGYxXNuUWQiYlZXOW5hWcqyNAFQsSSCSEWoC/BRVMAUjL32" authorities="ROLE_MODELER, ROLE_ANALYST, ROLE_ADMIN" />
                                </scr:user-service>
                                <scr:password-encoder ref="passwordEncoder" />
                        </scr:authentication-provider>
                </scr:authentication-manager>
        </beans>

可以新增加用户,新增加的用户密码由下面的代码来实现

package search;

import org.springframework.security.crypto.bcrypt.BCryptPasswordEncoder;
import org.springframework.security.crypto.password.PasswordEncoder;

/**
 * Created by jiangyu2 on 12/7/16.
 */
public class F {
  public static void main(String[] args) {
    String password = "suda_test";
    PasswordEncoder passwordEncoder = new BCryptPasswordEncoder();
    String encodedPassword = passwordEncoder.encode(password);
    System.out.print(encodedPassword);
  }
}

Print Friendly

jiang yu

Leave a Reply