我需要使用apache nifi将基于表名的多个csv文件摄取到它们各自的配置单元表中。源json文件中的table_address数据应该转到配置单元中的table_address，其他表也是如此。简而言之，需要将源json文件中的记录分离到多个tablename.csv格式的csv文件中，并将其加载到各自的hive表中。我<
浏览 6提问于2019-04-10得票数 0
我注意到nifi中没有可以直接将文件存储到hive中的处理器。有没有处理器的组合可以帮助你做到这一点，或者有任何可用的模板可以做到这一点？
谢谢。
浏览 1提问于2016-07-09得票数 1
1回答
我有一个疑问，在蜂箱中是否有任何方法在装载期间创建表到蜂窝仓库或外部表。而不是如何将这些文件加载到hive表中。因此，简而言之，如何在不知道HDFS的架构结构的情况下将文件从HDFS加载到HIVE Table。
新来的蜂巢，如果我的理解是错的，请原
浏览 1提问于2018-07-07得票数 2
回答已采纳
我想使用CURL.Please将.csv文件或mysql表从本地计算机(GetFile)发送到Apache Nifi中的Hive(PutHiveql)，让我知道是否有使用Curl执行此操作的命令。
浏览 0提问于2017-06-28得票数 0
我正在使用csv处理器的.xlsx文件到ExcelToCsv文件的对话。想要转换一堆.xlsx文件，其中有不同格式的数据到csv。将文件转换为csv后，数据将发生如下更改。https://nifi
浏览 5提问于2020-05-02得票数 0
我启动了一个apache/nifi容器，构建并配置了一个流。我不清楚是什么文件(nar、xml等)需要对用户要运行的映像可用。
浏览 5提问于2020-09-22得票数 1
1回答
我将twitter数据存储在hdfs路径中。我能够将数据读取为：df.printSchema和df.show命令显示结果，没有任何问题。但是，当我试图将数据帧
浏览 0提问于2018-09-26得票数 0
我需要在Apache命令中不指定物理PostgreSQL文件的情况下对NiFi表进行批量插入。我只是不能将CSV文件存储在磁盘上，并且希望使用来自以前处理器并已经采用CSV格式的流文件进行批量插入(或者我可以将它更改为json，这不是问题)。请注意，在Apache NiFi中，最好的方法是什么？
浏览 1提问于2021-03-01得票数 1
回答已采纳
1回答
我正在尝试合并hdfs上的小文件。这只是为了历史目的，如果需要的话，大型文件将被分解并运行在创建hadoop表的数据的过程中。是否有办法简单地做到这一点？例如，第一天接收100个小文件，合并成一个文件，然后第二天将更多的文件添加/追加到以前创建的文件中，等等.
浏览 0提问于2017-09-25得票数 0
回答已采纳
1回答
一旦完成，我想要在Hive中创建一个表。
我和FetchFile一起使用ExtractText，但无法使它工作。如果我将整个模式放入属性中，那么如何使用NiFi处理器甚至表达式语言来实现这一点呢？
还是有更好的方法在导入的数据上创建表？
浏览 0提问于2018-09-23得票数 2
回答已采纳
我目前在同一台机器上运行Elasticsearch版本6.2.2和Apache Nifi版本1.5.0。我正在尝试遵循Nifi的例子：，除了不存储到Hive，我想存储到Elasticsearch。] minimal compatible version is: [5.6.0]以及Put
浏览 183提问于2018-03-16得票数 3
回答已采纳
我只是试图通过hive中的创建一个表。我使用IntelliJ进行开发。现在，我只想使用Spark在单元格中创建一个表。val sc = new SparkContext("local", "name")
val sqlContext = new org.apache.spark.sql.hive.HiveContext我在用户邮件列表中询问，得到的答案是，我应该将hive-site.xml复制到$SPA
浏览 9提问于2015-02-09得票数 1
回答已采纳
1回答
当下一个处理器无法接收或处理任何数据时，有人能详细解释NiFi处理器(如GetFile或QueryDatabaseTable )是如何存储行的吗？它是否有耗尽内存或丢失数据的风险？
浏览 4提问于2017-05-15得票数 5
回答已采纳
3回答
我正试图将我的蜂箱表导出为直线蜂箱中的csv。当我运行命令!sql select * from database1 > /user/bob/output.csv时，它会给出语法错误。我已经使用下面的命令成功地连接到数据库。查询在控制台上输出正确的结果。beeline -u 'jdbc:hive2://[databaseaddress]' --outputformat=csv
另外，也不太清楚文件在哪里结束。它应该
浏览 4提问于2016-09-19得票数 24
回答已采纳
我想使用NiFi将数据插入到一个单元表中。
hive.compactor.in
浏览 2提问于2018-05-15得票数 0
GetFile --只要得到上面可以看到的json。ConvertRecord --只需将JsonTreeReader收到的json转换为AvroRecordSetWriter的avro即可。在将avro转换为orc的步骤中，抛出异常： at org.apache.nifi</e
浏览 2提问于2018-12-01得票数 1
回答已采纳
我正在考虑在AWS NiFi实例上设置EC2，以便将数据从内部集群移动到AWS s3存储。或
我唯一的选择是直接从hdfs目录读取数据并将其放在s3上，然后在EMR中创建hive表？Question#2: Nifi如何确定插入到表中的新数据并读取新数据。在我的示例中，所有表都由yyyymm分区。
浏览 0提问于2018-10-24得票数 0
回答已采纳
我们将Apache Nifi设置为将文件写入本地驱动器，然后运行处理这些文件的程序，并将响应输出到" response“属性。这是一个JSON字符串，我们随后将其传递给API以更新记录。Nifi正在运行Windows 10环境当我们使用Nifi输出的文件手动运行程序时，我们得到了正确的输出。仅在Nifi中出现问题。举个例子，输入json是： &q
浏览 2提问于2019-09-11得票数 0
1回答
我正在尝试将csv数据摄取到Hive数据库中。为此目的，listFile --> FetchFile --> ConvertCSVToAvro --> ConvertAvroToOrc --> PutHDFS现在，我想用putHiveQL处理器进行测试。兽人的数据不能直接加载到蜂巢？如果是，我们必须手动
浏览 1提问于2019-05-16得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
