腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(1293)
视频
沙龙
1
回答
MergeRecord
之前
的
Nifi
-
FlowFiles
堆积
我在流文件通过
mergerecord
时遇到了一个问题。下面是流程(点击链接查看图片): Flow Queue 我已经尝试了配置设置
的
大多数排列,但似乎无论我做什么都无法将flowfile从队列中取出:
MergeRecord
Configuration 有没有人知道是什么阻止了这个
mergerecord
传递
flowfiles
?看起来流文件当前是“文本”文件,它们需要是JSON才能正确分组
mergerecord
吗?
浏览 76
提问于2021-11-04
得票数 0
回答已采纳
3
回答
Apache
Nifi
文件被卡在队列中。
流文件被卡在队列中(按属性进行负载平衡),下一个下游处理器(
MergeRecord
和CSVReader和CSVRecordSetWriter)不会读取。从
Nifi
来看,流文件似乎在队列中,但是当试图列出队列时,它会说“队列没有流文件”。尝试清空队列也会给出确切
的
消息。
Nifi
日志没有任何与处理器相关
的
异常。队列中大约有80个流文件。截图: Flowfile:
浏览 0
提问于2019-05-09
得票数 2
1
回答
NiFi
非Avro JSON阅读器/作家
、
、
看来,标准
的
Apache读取器/编写器只能基于
NiFi
模式解析JSON输入。是否有方法读取任意有效
的
批处理JSON输入,例如以多行形式 {&
浏览 0
提问于2018-11-14
得票数 0
1
回答
Nifi
:流内容(动态json格式)到csv
、
、
、
、
我有一个案例:在流内容中,总是json格式
的
和,json中
的
数据总是改变( kyes和values)。是否可以将此流内容转换为csv?非常感谢,
浏览 0
提问于2018-09-26
得票数 0
1
回答
NiFi
-当使用负载平衡时数据卡在队列中
但是,当尝试“列表队列”时,消息“队列没有
FlowFiles
”。已印发: 流文件似乎被卡在其中
的
NiFi
队列
的
配置: 另一个可能与此无关
的
问题是,在这种情况发生后,一些流文件会到达后续
的
NiFi
处理器,但是会在MergeContent处理器
之前
陷入困境。这一次,可以列出队列:队列<em
浏览 4
提问于2022-03-08
得票数 3
1
回答
Apache
NiFi
-使用多个
FlowFiles
作为处理器
的
输入
产生一个单一
的
输出。我希望自己编写一个处理器来执行设置逻辑,但是否有可能处理不同来源
的
多个流文件并同时处理它们?
浏览 2
提问于2017-02-10
得票数 3
回答已采纳
1
回答
在
nifi
中获取源/上游连接
的
处理器名
、
我想从业务角度监控
Nifi
中
的
流文件。 因此,我使用python脚本添加了executescript处理器,该脚本创建消息,并在每个处理器之后在elasticsearch中推送相同
的
消息。我想要这个executescript处理器
的
父处理器名或id,这样我将在流文件中保持附加,这将允许知道这个流文件通过哪个阶段/处理器,并且我可以在ELK中监视它。
浏览 1
提问于2019-03-27
得票数 1
回答已采纳
1
回答
Nifi
“按属性划分”如何将
FlowFiles
发送到其他
Nifi
节点?
我在
nifi
集群中有3个节点。我使用"Partition“将流文件分发到
nifi
集群中
的
其他
nifi
节点。我使用"type"属性来表示"Partition“;FlowFile -> type: B对于此场景,具有相同“类型”
的
FlowFiles
但是,假设一个节点(A类型
的
流文件被发送)被关闭。虽然带有“类型B和C”
的</e
浏览 1
提问于2019-01-28
得票数 1
回答已采纳
1
回答
按给定属性划分
的
Nifi
组内容
我试图运行一个脚本或自定义处理器,每小时按给定
的
属性对数据进行分组。在一次运行中,队列大小高达30-40k,根据情况,队列大小可能高达200 K。MergeContent不适合,因为没有限制
的
最小-最大计数. RouteOnAttribute不适合,因为有太多
的
组合。解决方案1:根据属性使用所有流文件和组,并创建新
的
流文件并推送新
的
流文件。不太理想,但试了一试。当我在队列中等待33k流文件时,正在运行这个过程。解决方案2:更好
的
方法是使用一个流文件和与提供
的
属性匹配
浏览 7
提问于2022-07-12
得票数 1
回答已采纳
1
回答
Nifi
MergeRecord
& MergeContent无法合并具有不同模式
的
avro flow fiels
、
、
我使用
NiFi
Flow作为ListFile >> FetchFile >> SplitJson >> UpdateAttribute >> FlattenJson >> InferAvroSchema>> ConvertRecord >>
MergeRecord
>> PutParquet。{ "OrderDate": &quo
浏览 1
提问于2018-05-21
得票数 1
回答已采纳
1
回答
使用OAuth和密钥罩
的
NiFi
队列监控工具
、
、
我想知道
NiFi
中
的
总队列大小何时超过某个特定值。我尝试使用
NiFi
工具包,但我无法在其中找到表示总队列大小
的
任何内容。 我一直在尝试this,它应该允许我通过API访问
NiFi
中一组进程中
的
连接。但是,我无法从
NiFi
成功连接到该接口。 当我尝试在没有凭据
的
情况下连接到API时,我在
NiFi
中得到以下错误。 Unknown user with identity 'anonymous'.在这个问题上
的</e
浏览 23
提问于2020-09-08
得票数 0
1
回答
高性能处理异步任务
的
Nifi
处理器
、
我有一个
Nifi
处理器,它调用一个外部服务,可能需要几天时间才能返回结果。在此期间,处理器可以定期调用Thread.sleep()来释放CPU。问题是,即使在onTrigger()方法中调用Thread.sleep(),
NiFi
处理器也不会读入和处理新
的
FlowFiles
,因为它正在等待onTrigger()完成。从
NiFi
的
角度来看,cpu仍然阻塞着异步调用
的
完成。 在
NiFi
处理器
的
onTrigger()方法中进行异步调用时,有没
浏览 1
提问于2018-05-09
得票数 0
1
回答
通过
Nifi
进行微批处理
、
我有一个场景,我
的
kafka消息(来自同一主题)流经单个丰富管道,并在最后写入HDFS和MongoDB。我
的
Kafka consumer for HDFS将每小时运行一次(用于微批处理)。因此,我需要知道根据流文件来自哪个消费者( HDFS消费者或Mongo DB消费者),将流文件路由到putHDFS和putMongo
的
最佳方式。或者请建议是否有任何其他方法通过
Nifi
实现微批处理。 谢谢
浏览 1
提问于2019-03-22
得票数 0
1
回答
Apache中更多
的
处理器会导致吞吐量降低吗?
、
、
在Apache中,每个处理器之间都有连接,它们
的
作用类似于
FlowFiles
队列,而在默认情况下,
Nifi
将FlowFile
的
数据内容保存在磁盘上。这是否意味着每个这样
的
连接都在磁盘上持久化
FlowFiles
?如果是这样的话,每次将
FlowFiles
从一个处理器传递到另一个处理器将意味着一个磁盘
的
读写,因此更多
的
处理器将导致更多
的
磁盘读和写,这反过来将降低整个吞吐量。我
的
理解正确吗?在一个处理器中编
浏览 4
提问于2022-05-09
得票数 0
1
回答
Nifi
MergeRecord
处理器合并空值
我处理自定义字段
的
方式与标准字段不同。1212 //this is id of the customField1, retrieved at run time } ]我
的
mergeRecord
模式设置为 "name": "custom field", &qu
浏览 0
提问于2018-05-11
得票数 0
回答已采纳
1
回答
nifi
ConvertRecord JSON到CSV只得到单张记录?
、
、
有人能帮助提供正确
的
配置吗?{ "name": "Hour_of_day", "type": "string"}, ]我正在获得
的
流量文件内容:2018-08-16,0,32782018-08-
浏览 1
提问于2018-08-21
得票数 0
回答已采纳
5
回答
如何使用docker-compose持久化
nifi
流文件?
、
现在,我正在使用
nifi
和它
的
处理器来处理一些流内容(mqtt侦听器、json求值、文本替换、写入数据库……)。我试图持久化
flowfiles
,因此我做了一些卷映射(见下文)。但是它不工作;重新启动容器后,似乎流文件没有保存…… 谁能给我一个如何解决这个问题
的
提示?:volumes: -
nifi
_sta
浏览 96
提问于2019-03-25
得票数 5
回答已采纳
1
回答
Nifi
处理器批量插入-句柄故障
、
我目前正在编写一个ElasticSearch
Nifi
处理器。单个插入/写入到ES并不是最优
的
,而是首选批处理文档。在
Nifi
处理器中跟踪(批处理)文档(
FlowFiles
)
的
最佳方法是什么,以及何时在一定数量上对它们进行批处理?我最关心
的
部分是,如果ES不可用、停机、网络分区等,则阻止批处理成功。问题
的
主要要点是,
Nifi
有用于排队/背压
的
内容存储,等等,是否有一种更好
的
方法来确保在目的地下降时
浏览 2
提问于2015-11-25
得票数 0
回答已采纳
1
回答
Apache
NiFi
MergeRecord
处理器抛出字段偏心错误
我还没有找到关于它
的
信息。Apache
NiFi
应用程序日志也没有告诉我太多信息。此处为Thanks.enter镜像描述 When I run the flow, the
MergeRecord
processor throws the error
浏览 31
提问于2020-07-24
得票数 0
1
回答
MergeRecord
不等待并将json文件分组为一批
我遇到了Apache
NiFi
的
问题。8385419410/adGroups/118322191652", "date" : "2020-11-25"在一个接一个地将其保存到数据库
之前
MergeRecord
设置: 我所期望
的
是什么:
MergeRecord
等待一些时间对json进行分组,在一个json中创建包含1
浏览 3
提问于2020-12-16
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
NIFI1.21.0_Mysql到Mysql增量CDC同步_日期_以及null数据同步处理
10分钟了解Apache Nifi在物联网的使用
Apache NiFi用户指南-数据流版本控制
各种常用统计条形图绘制详细教程和分享大全
网站优化容易走的三条弯路,我们应该怎么漂移过弯
热门
标签
更多标签
云服务器
ICP备案
实时音视频
云直播
对象存储
活动推荐
运营活动
广告
关闭
领券