我遇到了一个NiFi写HDFS的问题。我收到一个错误:
ERROR [Timer-Driven Process Thread-10] o.apache.nifi.processors.hadoop.PutHDFS PutHDFS[id=4af43efa-a8ff-18ac-0000-00002377fba5] Failed to properly initialize Processor. If still scheduled to run, NiFi will attempt to initialize and run the Processor again after the &
我试图在AWS机器上运行NiFi,并访问本地计算机上的web。
我遵循了一些指南,比如:,但是每当我在我的浏览器中输入DNS:8080/nifi时,我就会收到一条“拒绝连接”或超时消息。
我已经创建了一个AWS计算机,安装了NiFi + java,并编辑了nifi.properties文件,使其现在如下:
# Site to Site properties
nifi.remote.input.host=ec2-34-224-216-146.compute-1.amazonaws.com
nifi.remote.input.secure=false
nifi.remote.input.socke
在我目前的项目中,我一直在使用apache进行一些实验。当我第一次配置好。nifi运行得非常完美(当我输入http://localhost:8080/nifi/时,我能够看到Google上的画布和工具栏)。但是,在重新启动计算机一次之后,我无法运行它。
当我输入nifi.0.7.0\bin\run-nifi.bat命令时,我会在控制台上看到以下消息。
2016-07-27 10:19:39,246 INFO [main] org.apache.nifi.bootstrap.Command Starting A
pache NiFi...
2016-07-27 10:19:39,246 INFO
我已经创建了一个自定义的码头容器来运行Apache NiFi,并在NiFi之上创建了其他一些比特。容器正在运行Ubuntu 18,nifi.properties文件非常普通。这是我的码头文件。
FROM ubuntu:18.04
FROM openjdk:8-jre
RUN apt-get update
RUN apt-get install unzip
RUN apt-get install wget -y
RUN mkdir /opt/MicroFocus
RUN apt-get install dos2unix
WORKDIR /opt/nifi/
RUN wget https:/
我有几个Nifi进程组,在升级到生产环境之前,我想对它们运行集成测试。问题是我似乎找不到任何关于如何做到这一点的文档。
Data Provenance似乎是一个很有前途的工具,可以实现我想要的功能,然而,在流程文件的生命周期中,数据是向kafka或文件系统发布的,或者从kafka或文件系统发布数据。结果,流文件UUID发生了变化,所以我不能使用nifi-api查询它。
此外,我知道Nifi提供了一个TestRunner库来运行测试,然而,这似乎只适用于通过代码生成的处理器/处理器组,而不是UI。
有人知道用于集成和单元测试nifi流程组的工具、框架或模式吗?理想情况下,这将是一种解决方案,您可
在加入了两个Snowflake表之后,我得到了一个计数(*)。这是在存储过程中完成的。如果计数大于零,我需要传递一个值。我的存储过程从NiFi处理器调用,我必须将该值返回给NiFi,以便可以从NiFi发送电子邮件。 我得到了'NaN‘作为以下代码的输出。 CREATE OR REPLACE PROCEDURE test_Delete_excep()
returns float not null
language javascript
as
$$
var rs;
var return_value = 0;
var SQL_JOIN = "select count(*) f
我遵循这些文章(以及其他文章)来建立安全集群:
但是我附加了一个错误
nifi.properties
# Site to Site properties
nifi.remote.input.host=nifibizruntime.com
nifi.remote.input.secure=true
nifi.remote.input.socket.port=10443
nifi.remote.input.http.enabled=true
nifi.remote.input.http.transaction.ttl=30 sec
# web properties
nif
新来的NiFi!
我想知道是否有一种方法可以在NiFi中发送包含流文件属性的空流文件?我想用它作为触发器来指示某种类型的事件已经启动。
在NiFi中,是否有其他方法来指示一组事件已经开始和结束?例如,如果我有三个处理器读取数据,并且我想知道第一个处理器即将被触发,并且最后一个处理器已经完成。不管怎么说,我可以这么做吗?如果处理器继续运行,我希望能够一次将从处理器1读取到处理器3的数据分组。让这件事更清楚
Begin
Processor1
Processor2
Processor3
End
Begin
Processor1
Processor2
Processor3
End
...
任何帮助都将
我有两台机器:
第一台安装了nifi和站点到站点属性的计算机:
# Site to Site properties
nifi.remote.input.host=
nifi.remote.input.secure=false
nifi.remote.input.socket.port=8055
第二台机器正在运行spark代码,如下所示连接到nifi。
我可以在第二个实例中访问web nifi。
val conf = new SiteToSiteClient.Builder()
.url("http://x.x.x.x:xxx/nifi")
.po
我使用的是NIFI,我有数据流,其中我使用了以下过程:
ExecuteScript
RouteOnAttribute
FetchMapDistribuedCache
InvokeHTTPRequest
EvaluateJSONPath
两级进程组(如dataflow >>> process group 1 >>> Process group 2 ),我的问题是如何处理错误--在本例中,我为每个处理器创建了输出端口,以输出进程组之外的错误;在NIFI流程中,我为每种错误类型做了一个漏斗,然后将所有这些错误放在Hbase中,以便稍后进