我使用NiFi中的进程QueryDatabaseTable从DB2中增量地获取数据。QueryDatabaseTable计划每5分钟运行一次。最大值列被设置为"rep“(对应于DB2数据库中的日期)。
我有一个单独的MySQL数据库，我想用值"rep“来更新它，QueryDatabaseTable用它来查询DB2数据库。如何获取此值？在日志文件中，我发现Flow
浏览 30提问于2016-07-20得票数 2
1回答
我正在探索nifi，到目前为止，我已经创建了一个处理器组，它的处理器数基本上是从Oracle中选择数据并插入到mongoDB中。流程如预期的那样工作。流程是QueryDatabaseTable -> SplitAvro -> ConvertAvorToJson -> PutMongoRecord
在QueryDatabaseTable中，我有自定义查询select * from employee，它为我提供100个记录，并将这100个记录插入到mong
浏览 2提问于2019-10-09得票数 1
如何保证NiFi QueryDataBaseTable处理器每次获取增量表时的数据序列。该表有一个名为"SEQNUM“的增量字段。并在QueryDataBaseTable处理器中通过"SEQNUM“设置”最大值列“。有什么方法可以通过获取delta表来排序吗？
浏览 0提问于2018-12-18得票数 0
回答已采纳
我们使用Nifi在HDFS中摄取数据。是否可以同时在Oracle或任何其他使用NIFI的数据库中摄取相同的数据？
浏览 18提问于2019-02-26得票数 0
回答已采纳
1回答
我在3306端口上本地运行Mysql。Nifi也是成立和工作的。我在QueryDatabaseTable和SplitAvro之间有一个简单的流程，如下所示，
我也安装了DBCPConnectionPool控制器，
数据库连接网址：jdbc:mysql:/访问我表中的所有记录，
但我知道这个错误，我基本上无法连接到MySQL并从表中获取数据。$Proxy102.getConnection(Unknown Source)
at
浏览 0提问于2018-09-18得票数 2
回答已采纳
1回答
假设您有从数据库中提取数据并将数据加载到Hadoop中的周期性任务。
Apache /Nifi如何在源数据库(SQL或NoSQL)与目标存储(Hadoop或HBASE，甚至S3)之间同步？
浏览 0提问于2018-02-28得票数 1
回答已采纳
我想使用apache nifi将数据从oracle传输到MongoDB。Oracle总共有900万条记录。我已经使用QueryDatabaseTable和PutMongoRecord处理器创建了nifi flow。此流程运行良好，但存在一些性能问题。在启动nifi流之后，SplitJson -> PutMongoRecord队列中的记录不断增加。有没有办法降低SplitJson处理器放入队列中的记录的速度？或
提高PutMongoRecord<e
浏览 8提问于2020-06-29得票数 0
我使用的是nifi-1.3版本的QueryDatabaseTable处理器。我已经成功地连接了Mysql数据库。我使用的表是User，它有诸如user_id、name、email、gender等列。TableName: UserMaximum Value Columns: user_id正如文档中所
浏览 0提问于2017-11-10得票数 1
是否有可能从数据库中获取数据集并对其进行排序？我有一个非常大的表(72百万行)，我需要以并行的方式(就像GenerateTableFetch所做的那样)获得它们，但是按列排序，在我的例子中是"url"？
浏览 1提问于2018-04-26得票数 0
回答已采纳
我是Nifi的新手，所以你能帮我理解这个平台及其功能吗？我是否能够使用一个Nifi进程在Hive中创建一个新表，并以下面定义的方式每周将数据从teradata数据库转移到该表中？我该怎么做？下面的过程是否就足够了：QueryDatabaseTable (并为teradata配置一个池服务，并定义一个新的表名和日程摄入)-> PutHiveStreaming (创建前面定义的表)，然后如何将teradata拖到新表中？
浏览 1提问于2018-08-03得票数 1
QueryDatabaseTable在2节点集群上两次从Mysql表中获取行。当将执行设置配置到所有节点时，获取进程本身并不是分布式的。每个节点都获取类似的数据，这不是我所需要的理想输出。无论如何将其转换为主节点，都可以很好地工作，但是单个节点要承担整个数据获取过程的负担，这就违背了分布式计算的要求。有解决办法吗？
浏览 0提问于2018-01-17得票数 0
回答已采纳
1回答
我正在设计一个工作流，以便使用NIFI获得增量获取，源数据库和目标数据库都在MySQL中。处理器是QueryDatabaseTable和spiltAvro和convertAvroToJson以及convertJsonToSQL和PutSQL，如下所示querydatabasetable
浏览 4提问于2017-12-07得票数 1
回答已采纳
我在MySQL中有一个数据库，它有近200万行计数和30列。我的流程是QueryDatabaseTable ->转换记录-> PutElasticSearchHttpRecord。我的QueryDatabaseTable有以下内容(请看截图)：
我的Jjava.args值如下所示：(虽然我将以下两个值更新为8GB，但仍然得到java堆空间错误)
java.arg使用MySQL的NiFi QueryDatabaseTable处理器调用如此庞大的数据集的最佳方法是什么？任何帮助
浏览 0提问于2018-11-21得票数 2
回答已采纳
我正在尝试使用QueryDatabaseTable创建我的第一个流，以增量方式从Oracle数据库表中提取行。
我看到下面的错误。我启用了完全调试，但没有任何其他有用的日志记录。但是，它不能保证任务将被取消，因为当前OnScheduled操作中的代码可能是为了忽略中断而编写的，而中断可能会导致线程失控。这可能导致更多的问题，最终需要重新启动NiFi。2017-07-10 14:43:52,280错误StandardProcessScheduler线程-4 o.a.n.p.standard.QueryDatabase
浏览 3提问于2017-07-10得票数 1
回答已采纳
我在服务器A上有teradata文件，需要将其复制到服务器B的HDFS中。我有什么选择？我唯一能想到的选择就是NiFi。有没有人对如何利用Nifi有什么建议？或者，如果有人已经经历过这种情况，那么遵循的方法是什么？
浏览 14提问于2019-01-08得票数 0
我有一个从Presto获取数据的流，执行一些ETL并将CSV文件推回到s3存储桶中。我的流程如下：我知道我们可以通过cron作业调度特性来实现这一点这个想法是每天早上在s3存储桶中摄取新文件。我如何才能做到这一点？
浏览 67提问于2020-02-27得票数 0
回答已采纳
我试图使用MySql和PutHiveQl处理器将数据从QueryDatabaseTable导入到Hive，但是会发生错误。
puthiveql的输出格式是什么？
浏览 2提问于2016-07-15得票数 2
回答已采纳
2回答
我使用NiFi从Oracle数据库中获取数据，并将其中的一些数据放入Kafka (使用PutKafka处理器)。示例:如果属性"id“包含"aaabb”
这在Apache NiFi中是可能的吗？
浏览 2提问于2016-05-04得票数 5
回答已采纳
我正在处理NIFI数据流，其中我的usecase是获取mysql表数据并放入hdfs/本地文件系统中。我已经建立了一个数据流管道，在这里我使用了querydatabaseTable处理器- ConvertRecord即使在表中插入新记录时，我也能够在目的地接收文件当我更新存在的行时，处理器不会获取这些记录，看起来它有一些限制。
我的问题是，如何处理这种情况？由任何其他处理器或需要更新
浏览 0提问于2019-02-18得票数 2
我试图使用Nifi将数据从mysql导入到hdfs/hive，但遇到了一些挑战。请给我建议。QueryDatabaseTable --mysql数据
[{"emp_id": 467260, "emp_name": "Rob", "emp_age
浏览 3提问于2016-07-19得票数 1
回答已采纳
云服务器
ICP备案
云直播
对象存储
腾讯会议
腾讯云开发者
