如何使用Hue通过数据文件创建Collections

Fayson

修改于 2018-04-01 12:47:39

2K0

文章被收录于专栏：Hadoop实操Hadoop实操

温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。

1.文档编写目的

在CDH5.9版本及更新版本中，Hue新增一个全新工具从数据文件中创建Apache Solr的Collections,可以通过该工具轻松的将数据加载到Solr的Collection中。

过去，将数据索引到Solr是相当困难。这项任务涉及到编写一个Solr的Schema和一个morphlines文件，然后将一个Job提交给YARN来建索引。这种做法往往需要较长的时间，现在Hue的新功能可以以界面的方式在几分钟内为您启动一个YARN的作业来创建索引工作。本篇文章主要介绍如何使用Hue通过数据文件创建Collections。

内容概述

1.安装依赖库

2.修改Hue配置及集成Solr

3.功能测试

测试环境

1.CM和CDH版本为5.13.0

2.采用root用户操作

前置条件

1.集群已安装Solr服务

2.安装依赖库

1.在HDFS上创建一个目录用于存放依赖库

[root@ip-172-31-9-33 conf]# hadoop fs -mkdir /tmp/smart_indexer_lib

2.将/opt/cloudera/parcels/CDH/jars目录下如下jar包上传至/tmp/smart_indexer_lib目录

[root@ip-172-31-6-148 smart_indexer_lib]# cd /opt/cloudera/parcels/CDH/jars
[root@ip-172-31-6-148 jars]# scp argparse4j-0.4.3.jar httpmime-4.2.5.jar search-mr-1.0.0-cdh5.13.0-job.jar kite-morphlines-core-1.0.0-cdh5.13.0.jar solr-core-4.10.3-cdh5.13.0.jar kite-morphlines-solr-core-1.0.0-cdh5.13.0.jar solr-solrj-4.10.3-cdh5.13.0.jar noggit-0.5.jar /root/smart_indexer_lib

[root@ip-172-31-6-148 jars] cd /root/smart_indexer_lib

[root@ip-172-31-6-148 jars] hadoop fs –put *.jar /tmp/smart_indexer_lib

[root@ip-172-31-6-148 smart_indexer_lib]# hadoop fs -ls /tmp/smart_indexer_lib

3.修改目录属主

[root@ip-172-31-6-148 jars]# sudo -u hdfs hadoop fs -chown -R hue:supergroup /tmp/smart_indexer_lib
[root@ip-172-31-6-148 jars]# hadoop fs -ls /tmp/smart_indexer_lib

3.修改Hue配置

1.登录Hue Server所在的服务器，修改/etc/hue/conf目录下的hue.ini文件

[root@ip-172-31-6-148 smart_indexer_lib]# cd /etc/hue/conf/
[root@ip-172-31-6-148 conf]# ll
total 72
-rwxr-xr-x 1 root root 61986 Dec 10 17:19 hue.ini
-rwxr-xr-x 1 root root  1843 Oct  4 20:12 log4j.properties
-rwxr-xr-x 1 root root  1809 Oct  4 20:12 log.conf
[root@ip-172-31-6-148 conf]# vim hue.ini

###########################################################################
# Settings to configure Solr Indexer
###########################################################################

[indexer]

  enable_new_indexer=true
  config_indexer_libs_path=/tmp/smart_indexer_lib