腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
搜索
搜索
关闭
发布
文章
问答
(9999+)
视频
沙龙
1
回答
NiFi
在
处理器
之间
传输
数据
这个数字我应该放到下一个getToken中作为GET参数之一(
在
屏幕截图上我硬编码了这个): ? ? 这将返回一个令牌。Token是一个text/plain;charset=UTF-8。我真的不知道如何在以下
处理器
中使用从
处理器
接收到的
数据
。有人能解释一下如何用我的流程到达它吗?
浏览 33
提问于2020-12-10
得票数 1
回答已采纳
2
回答
从
NiFi
发布到Azure Cosmos Db
、
我为我的文档创建了Azure CosmosDb
数据
库和容器。我使用
NiFi
作为主要的
数据
摄取工具,并希望为我的容器提供来自
NiFi
流文件的文档。有没有人可以分享一下从
NiFi
向Azure Cosmos Db发布流文件内容的方法?更新(2019.05.26):最后我使用了Python script,并从
NiFi
调用它来发布消息。
浏览 5
提问于2018-12-09
得票数 1
2
回答
Apache
Nifi
: Oracle到Mongodb的
数据
传输
、
、
我想使用apache
nifi
将
数据
从oracle
传输
到MongoDB。Oracle总共有900万条记录。我已经使用QueryDatabaseTable和PutMongoRecord
处理器
创建了
nifi
flow。此流程运行良好,但存在一些性能问题。
在
启动
nifi
流之后,SplitJson -> PutMongoRecord队列中的记录不断增加。有没有办法降低SplitJson
处理器
放入队列中的记录的速度?现在,
在
30分钟内插入
浏览 8
提问于2020-06-29
得票数 0
1
回答
Apache
NiFi
和MTConnect
我感兴趣的是创建一个
在
工业PC上运行的软件,连接到某些机床的CNC模型,读取
数据
,并将其发送到远程云平台。根据需要,
数据
必须以MTConnect的XML schema格式发送。此外,
数据
传输
必须使用MQTT协议来完成。 为了开发这个系统,我正在考虑使用Apache
Nifi
。我们的想法是开发自定义
nifi
处理器
,以使用相应的API连接到特定的数控模型,并在下一步中使用另一个
nifi
处理器
来应用MTConnect语义层
浏览 13
提问于2017-12-21
得票数 2
1
回答
保护每个调用者的流
如何确保流的安全,即如何断言只有授权的应用程序才能向
NiFi
提交
数据
?例如,我是否可以将流连接到LDAP,在其中我将注册所有调用者及其权限(和策略)?我只看到了保护登录用户的
NiFi
的可能性,但这与我的问题无关。
浏览 1
提问于2017-10-27
得票数 0
2
回答
如何在
NiFi
中读取ExecuteStreamCommand
处理器
中的文件
、
、
、
我的最终目标是屏蔽特定文件中的
数据
。我想要将文件从一个位置移动到另一个位置。在此
传输
过程中,我必须使用Python脚本屏蔽
数据
。我
在
Google Cloud Platform上创建的虚拟机上运行此
NiFi
,其中我安装了Python-2.7和
NiFi
-1.9.1。
处理器
。2)另外,
在
我的Python代码中,我试图从传入GetFile
处理器
的同一个输入目录中读取
数据
,但现在该文件已被移到getfile > exec
浏览 1
提问于2019-04-25
得票数 0
1
回答
如何使用
NiFi
API
在
NiFi
中
传输
流文件?
、
我希望使用
NiFi
rest将流文件
传输
到输入端口。我正在浏览
NiFi
rest文档,发现似乎有实现相同目标的支持。然而,诚实并不是很清楚,也不是很详细。我的工作流程如下:源
处理器
组中的: 目标
处理器
组中的: 我想知道的是如何将排队的流文件从源
处理器
组
传输
到目标
处理器
组的输入端口,以便使用PutFile存储。我想尝试到达这个端点:http://localhost:8080/
nifi</
浏览 2
提问于2017-04-05
得票数 0
1
回答
如何使用Apache
Nifi
将
数据
从HDFS
传输
到Oracle?
我是
Nifi
的新手,正在寻找有关使用
Nifi
处理器
以获得高达100MB/s速度的信息。
浏览 29
提问于2020-04-10
得票数 0
回答已采纳
1
回答
NiFi
:以编程方式创建和连接RPG的问题
我正在尝试编写一个函数,它接受两个参数,一个
在
nifi
实例A中的
处理器
ID和一个
在
nifi
实例B中的输入端口,并在
nifi
实例A中创建一个RPG,它将上面的内容连接到上面。现在,我是怎么做的 发送到/
nifi
/process-group
浏览 3
提问于2017-05-04
得票数 1
回答已采纳
1
回答
通过Apache
NiFi
flow插入或更新
数据
库记录
、
我正在尝试使用
NiFi
在
具有相似表结构的两个
数据
库
之间
传输
数据
。
数据
结构示例:没有“最大值列”,因此不可能确定是否有新
数据
。问题是不清楚是否应该在目标
数据
库中插入或更新特定的记录。 我创建了
处理器
的两个分支:插入和更新。只有insert才适用于新记录,而update只适用于现有记录。但是(!)PutSQL
处理器
可以处理大量的流文件
浏览 1
提问于2017-03-29
得票数 2
1
回答
使用
Nifi
预处理大文件
、
、
我们有高达8 8GB的文件,其中包含结构化内容,但重要的元
数据
存储
在
文件的最后一行,需要附加到每一行内容。使用ReverseFileReader获取最后一行很容易,但这需要文件
在
磁盘上是静态的,而我无法
在
现有的
Nifi
流中找到这样做的方法?在
数据
流到内容存储库之前,这是可能的吗?
浏览 43
提问于2019-06-22
得票数 1
回答已采纳
1
回答
Nifi
集群间的
数据
传输
方法
、
我正在寻找一个可靠的
数据
传输
方法
之间
的不同的
Nifi
集群。我有两个
Nifi
集群-一个从源获取
数据
,另一个用于将
数据
推送到Hive/HDFS中。我需要将
数据
从第一个
nifi
集群
传输
到另一个
nifi
集群。
nifi
中是否有任何组件可用于此操作?从端口读取的
Nifi
集群2->发布到H
浏览 4
提问于2017-10-12
得票数 0
回答已采纳
1
回答
HDF到HDP
数据
存储
、
一种是包含
Nifi
的hdf集群,另一种是包含HDF、Hive等组件的HDP集群。我们正在从文件中读取
数据
,并希望将其放入hdp群集hdfs中。提前感谢
浏览 1
提问于2016-10-28
得票数 0
1
回答
NiFi
如何在内存或磁盘中存储流
数据
、
、
当下一个
处理器
无法接收或处理任何
数据
时,有人能详细解释
NiFi
处理器
(如GetFile或QueryDatabaseTable )是如何存储行的吗?当
数据
的大小超过某个阈值时,
数据
会在内存中通过管道
传输
到磁盘上吗?它是否有耗尽内存或丢失
数据
的风险?
浏览 4
提问于2017-05-15
得票数 5
回答已采纳
1
回答
使用Apache ElasticSearch将
数据
从关系
数据
库迁移到
NIfi
、
我们正在尝试使用Apache将
数据
从RDBMS迁移到弹性搜索。我们已经
在
Nifi
创建了管道,能够
传输
数据
,但也面临一些问题,我们希望检查是否有人已经克服了这些问题。 请就下列项目提供投入。1.
在
弹性搜索中如何避免自动生成_id。我们希望从DB列中设置这个值。我们尝试
在
PutElasticSearchHTTPRecord
处理器
中的“标识符记录路径”属性中提供列名,但是得到了一个属性名无效的错误。请告诉我们可以接受的格式好吗?如何使用
NIfi</e
浏览 5
提问于2020-07-16
得票数 0
1
回答
NiFi
如何处理突发
数据
?
如果提交到
NiFi
的
数据
不是以稳定的流(而是突发性的)传入的,
NiFi
如何处理它们?它是否使用消息代理来缓冲它们?我还没有
在
它的文档中看到过类似的东西。
浏览 1
提问于2017-10-27
得票数 0
1
回答
NiFi
转发/复制TCP流
、
、
因此,我设置了一个
NiFi
1.9.0服务器,放入一个ListenTCP
处理器
和一个PutTCP
处理器
,配置适当的I和端口并连接它们。到目前为止,这些
数据
包被ListenTCP
处理器
接收,也被PutTCP
处理器
存储。 但是
NiFi
似乎
在
处理
数据
,发送的
数据
包与接收的
数据
包不完全相同。我一直
在
处理ListenTCP
处理器
上的字符集、最大批处理大小和批处理消息删除器设
浏览 2
提问于2019-03-11
得票数 1
1
回答
NiFi
-当使用负载平衡时
数据
卡在队列中
在
Apache1.15版本的
NiFi
中,创建了一个由3个
NiFi
节点组成的集群。当通过默认端口6342使用负载平衡时,流文件会卡在一些队列中,即在启用负载平衡的队列中。已印发: 流文件似乎被卡在其中的
NiFi
队列的配置: 另一个可能与此无关的问题是,在这种情况发生后,一些流文件会到达后续的
NiFi
处理器
参数"max_num_for_merge_smxs“设置为100:
浏览 4
提问于2022-03-08
得票数 3
1
回答
在
apache
nifi
自定义
处理器
中管理偏移量
我正在考虑创建一个自定义
处理器
,用于从没有现有
nifi
处理器
的自定义来源获取
数据
。我一直
在
尝试理解
Nifi
组件如何工作的机制,并看到了一些关于如何创建自定义
处理器
的优秀文档,然而,我看不到任何关于管理偏移量的内容。假设我有一个运行1秒的
处理器
,但需要从某个任意的偏移量继续处理,这可能会也可能不会每秒产生结果。我目前的理解是"onTrigger“方法是实现这种逻辑的地方,然而,我不确定
Nifi
中是否有任何机制可以用来标记以前执
浏览 3
提问于2020-03-01
得票数 0
1
回答
NiFi
ListenHTTP收到请求?
我目前正在使用ListenHTTP
处理器
来接受来自不同
NiFi
实例的流文件。这很好,但出于某种原因,GET请求不起作用。ListenHTTP只允许发布请求吗?这是我收到的错误:我知道有一个更先进的HandleHTTPRequest
处理器
。
浏览 4
提问于2016-11-28
得票数 1
回答已采纳
点击加载更多
相关
资讯
计算机之间是如何传输数据的?
HTML、JS与PHP之间的数据传输
应用系统之间数据传输的几种方式
适合企业在windows之间传输大量文件的好用工具
Apache NiFi用户指南-数据流的命令和控制
热门
标签
更多标签
云服务器
ICP备案
对象存储
云点播
实时音视频
活动推荐
运营活动
广告
关闭
领券