Apache Nifi -当您在没有任何下游处理器的情况下运行getFile处理器时会发生什么

文章/答案/技术大牛

发布

1回答

jvm、apache-nifi

我是Apache Nifi的初学者，我想将本地文件系统中的文件从一个位置移动到另一个位置。当我使用getFile处理器从相应的输入目录移动文件并启动它时，该文件消失了。我还没有把它连接到putFile处理器上。这里到底发生了什么。如果文件从我放置它的本地目录中消失，它会去哪里？另外，我怎样才能找回它呢？

浏览 34提问于2021-10-10得票数 0

回答已采纳

1回答

Snmp陷阱接收器作为Apache Nifi中的自定义处理器

snmp、apache-nifi、receiver、snmp4j、snmp-trap

目标：-寻找在Apache中使用SNMP陷阱接收机制作为自定义处理器的选项。查看参考资料，例如如何在Nifi (和)、GetSNMP的Nifi源代码(包括AbstractSNMPProcessor)、ListenSysLog、GetFile等中创建自定义处理器。现在，当尝试将此代码作为自定义处理器在Nifi中编写时，不确定应该将侦听机制放在何处，然后处理实际的PDU部分。有点像在这

浏览 1提问于2019-03-10得票数 1

回答已采纳

1回答

MiNiFi GetFile处理器无法获取大文件

file、bigdata、apache-nifi、apache-minifi

我正在运行apache MiNiFi c++，流程从GetFile处理器开始。其他较小的文件按预期排列。有没有人知道什么可能是

浏览 9提问于2021-02-23得票数 0

回答已采纳

1回答

Nifi使用AMQP参数化队列名

apache-nifi

我使用NIfi来摄取数据。我的组件之一使用使用AMQP处理器来消耗rabit MQ队列。我想的解决办法就像这样。由于队列名称在文件中可用(所有env<e

浏览 2提问于2018-02-05得票数 0

1回答

如何使用CURL将.csv文件从本地计算机(Getfile)发送到Apache Nifi中的配置单元(Puthiveql)？

mysql、curl、apache-nifi

我想使用CURL.Please将.csv文件或mysql表从本地计算机(GetFile)发送到Apache Nifi中的Hive(PutHiveql)，让我知道是否有使用Curl执行此操作的命令。

浏览 0提问于2017-06-28得票数 0

1回答

为什么Apache Nifi进程会消耗大约30%的CPU资源？

cpu-usage、apache-nifi

我只有一个名为"GetFile“的处理器在Nifi流上运行，没有处理任何消息，而且nifi-app.log中也没有错误。然而，Nifi java进程消耗了大约30%的系统CPU资源，有人知道为什么以及如何调优性能吗？

浏览 16提问于2017-08-04得票数 0

回答已采纳

2回答

Nifi-1.0.0 -同步机制

java、synchronization、data-synchronization、apache-nifi

NiFi是否有同步机制，以便知道什么时候完成了处理？我摄取了一些数据，做了一些处理，在步骤N-1中，我想知道所有的数据都已经被处理了，以便进入(最后)步骤N。GetFile / 1000行-> Proc1 /流程步骤0PutSQL / insert到db

浏览 4提问于2016-09-15得票数 2

回答已采纳

2回答

处理器nifi.bored.yield.duration与运行调度的nifi.bored.yield.duration差异

apache-nifi

我正在探索Apache NiFi，并就处理器是如何调度的提出了一些问题，nifi.bored.yield.duration=10 millis -此属性旨在通过防止使用计时器驱动调度策略的处理器

浏览 4提问于2020-10-14得票数 0

1回答

NiFi -当使用负载平衡时数据卡在队列中

apache-nifi

在Apache1.15版本的NiFi中，创建了一个由3个NiFi节点组成的集群。当通过默认端口6342使用负载平衡时，流文件会卡在一些队列中，即在启用负载平衡的队列中。但是，当尝试“列表队列”时，消息“队列没有FlowFiles”。已印发：流文件似乎被卡在其中的NiFi队列

浏览 4提问于2022-03-08得票数 3

1回答

如何在GetFilesProcessor中读取NiFi文件

apache-spark、hadoop、bigdata、apache-nifi

下面是我的流程：我希望在GetFile处理器中读取ExecuteSparkInteractive处理器中的文件，下面是我的流量我在火花处理器的code部分下编写了code：sc1.foreach(println) 在水流中什么</

浏览 1提问于2019-04-10得票数 0

1回答

Apache NiFi的CPU利用

apache-nifi

我的Nifi处理器消耗了CPU.Can的100%，我在任何配置文件(即nifi.properties或bootstrap.conf )中手动配置了Apache的CPU利用率？

浏览 0提问于2019-03-11得票数 2

回答已采纳

2回答

触发FetchFolder在NiFi？

apache-nifi、hortonworks-dataflow

我使用NiFi来使用专用处理工具(运行在NiFi外部)来编排大型二进制文件的处理。NiFi将源文件放到磁盘上，我调用外部工具(使用ExecuteScript处理器)，该工具加载二进制文件并继续生成许多较小的文件。当外部工具完全完成时，我需要“拾取”较小(生成)文件的目录，并继续通过NiFi进行处理。我需要等待，因为输出目录、文件数量和处理所需的时间是动态的。问题： Ge

浏览 1提问于2018-08-16得票数 0

回答已采纳

1回答

如何将ExecuteScript处理器配置为在NIfi中使用JyNI包来启用使用numpy的库？

python-2.7、apache-nifi、jython-2.7、jyni

我正在使用Apache，并在那里为python使用executeScript处理器。我从其他条目中了解到，这个处理器运行在Jython上，它不能使用CPython导入库，比如numpy。我想用的图书馆用的是熊猫和矮胖。我找到了JyNI库，并试图让它在executeScript处理器中运行。但没有成功。当将库添加到nifi类路径时，我会得到一个异常，无法加载jython。我还发现Jython.jar在

浏览 1提问于2019-01-11得票数 0

1回答

在nifi集群中分发从GetMongo读取的数据

apache-nifi

我有一个集群nifi设置，我们在主模式下运行GetMongo处理器，这样就不会获取重复的数据。这似乎运行得很好。然而，一旦我有了这些数据，我希望链中的以下进程在集群上运行，就像对已经获取的数据进行并行处理一样。不知何故，这并没有发生。因此，我的问题是假设GetMongo已经获取了30000条记录，并且它们在队列中： 1)如何检查处理器是在单个节点上运行，还是在所有

浏览 0提问于2018-11-07得票数 0

1回答

Apache NiFi与Kafka集成

apache-kafka、apache-nifi

我不确定这个问题已经在某个地方解决了，但我在网上找不到有用的答案。我正试图使用Apache NiFi将Apache NiFi与卡夫卡消费数据集成在一起。我知道Apache是进行这种处理的合适人选，但是如果我们正在处理的NiFi是一个复杂的工作流，那么构建工作流有多容易呢？我们最初考虑使用Java做同样的事情，但后来意识到这可以在NiFi中用最少的努力来完成。请注

浏览 0提问于2019-04-18得票数 3

回答已采纳

1回答

NiFi集群中的FlowFiles卡在队列中

queue、apache-nifi

我目前在一个有3个节点的集群环境中运行NiFi 1.9.2。最近，我注意到流程似乎被卡住了。队列显示队列中有项，但没有任何项去往下游处理器。当我列出队列中的项目时，我得到"The queue has no FlowFiles“。本例中的队列被设置为使用循环进行负载平衡。如果我停止下游处理器，并将队列上的配置更改为不进行负载平衡，然后再次将其切换回循环调度，则队列项将分发

浏览 0提问于2019-10-16得票数 0

1回答

如何在Nifi* ExecuteSparkINteractive处理器中管理‘等待’状态？*

apache-spark、apache-nifi、livy

我正在使用Nifi ExecuteSparkInteractive处理器运行spark代码，我看到它的结果是成功、失败和等待。当结果进入成功和失败状态时，我能够很好地管理和路由结果，但有时我看到文件丢失，我认为它将处于等待状态，并且在我的Nifi流中没有为“等待”状态定义路由。谁能帮助我理解什么是“等待”状态，以及如何在不影响最终结果的情况下路由此状态下的控件。提前谢谢你！我尝试

浏览 1提问于2019-06-23得票数 2

3回答

Apache NiFi: PutElasticSearchHttp不工作，出现空白错误

elasticsearch、apache-nifi

我目前在同一台机器上运行Elasticsearch版本6.2.2和Apache Nifi版本1.5.0。我正在尝试遵循Nifi的例子：，除了不存储到Hive，我想存储到Elasticsearch。我的Nifi看起来像：以及PutElasticsearchHttp处理器的配置：当流文件到达PutElasticsearchHttp处理器时，会出现以下错误： PutElasticSe

浏览 183提问于2018-03-16得票数 3

回答已采纳

2回答

更快地开发和测试新的Nifi处理器

apache-nifi

我正在为我的数据流开发新的Nifi处理器。我在eclipse中进行了代码更改，创建了新的.nar文件，并将其复制到Nifi lib进行测试。在每次nar更新时，Nifi都需要重新启动，这需要大量的时间。有没有更好的方法在Nifi中测试你的新.nar？因为对于每一个小的更改，重新启动Nifi都会降低开发速度。

浏览 0提问于2017-06-26得票数 5

3回答

Apache

apache-nifi

我有一个简单的问题，因为我是NiFi的新手。我如何诊断它在做什么(或者在这种情况下不做什么)？

浏览 0提问于2016-04-22得票数 1

点击加载更多