编写了自己的运算符扩展 implements OneInputStreamOperator<GenericRecord, Void>
public void notifyCheckpointComplete在我的单元测试中，我将检查点设置为500ms，将autowatermarkInterval设置为10，然后将两个事件传入输入，两个事件之间的时间戳相隔2小时，这足以触发检查点。因此，在我的理解中，一旦检查点被触发，notifyCheckpointComplete</em
浏览 39提问于2021-04-28得票数 0
回答已采纳
我使用flink 1.9和REST /jobs/:jobid/savepoints来触发savepoint和cancel作业(请优雅地停止作业以便稍后从savepoint运行)。在snapshotState()方法上，调用I快照，将内部状态和notifyCheckpointComplete() i检查点状态调用到第三方系统。从源代码中可以看出，只有snapshotState()部分在CheckpointCoordinator中是同步的-
/
浏览 3提问于2020-08-07得票数 1
回答已采纳
我在我的Flink应用程序(版本1.11.1)中使用了事件时间语义，该应用程序在AWS - kinesis分析中运行。此应用程序的源为kinesis stream，宿为Postgres。检查点间隔为10秒，因为在notifyCheckpointComplete()上触发了DB接收器。在浏览状态TTL的flink文档时，目前状态ttl似乎只支持处理时间语义-
基于事件时间的Flink应用程序的前进方向是什么？
浏览 20提问于2021-03-02得票数 0
我是flink的新手，面临着解决以下用例的挑战 用例描述： 我会收到一个csv文件与时间戳的每一天在一些文件夹，例如输入。文件格式为file_name_dd-mm-yy-hh-mm-ss.csv。现在，我的flink管道将以逐行方式读取此csv文件，并将其写入我的Kafka主题。
浏览 88提问于2021-07-19得票数 0
当程序上的按钮被打开时，这个应用程序会连续调用IRP_MJ_READ，而当程序被关闭而不关闭该按钮时，BSOD就会发生。我们使用WinDBG进行了调试，发现根本原因是RemoveEntryList，Bug检查代码告诉我们我们已经调用了RemoveEntryList两次。见。有关守则如下： .}
我们发现RemoveEntryList在SerialKillAllReadsOrWrit
浏览 3提问于2017-07-26得票数 0
回答已采纳
2回答
因为我的flink操作总是映射函数，并且在其中我更多地使用Rx，比如从flink获取元组并对它们进行异步操作(转到DB、写入队列等等)，但是我最终没有使用flink向我公开的大多数方法，当Rxjava随着处理结束时你能告诉我，这是一个正确的使用flink，或如果有aa更好的方式做我需要做的。(喜欢使用它，但在flink步骤之间传递可观测值或类似的东西)。
谢谢。
浏览 4提问于2016-06-10得票数 1
回答已采纳
我知道我既可以在flink的配置文件(flink-conf.yaml)中全局设置状态后端，也可以在每个作业的作用域中设置。StreamExecutionEnvironment.getExecutionEnvironment()
env.setStateBackend(new FsStateBackend("hdfs://namenode:40010/flink/checkpoints")) 我有一个问题： 当flink作业继续运行时，属于TasM
浏览 18提问于2020-09-07得票数 0
回答已采纳
我想分析一下Flink对RocksDB进行的每个应用程序接口调用所用的时间。但是，我找不到这些函数。我尝试在IDE中设置Flink的完整源代码，将我的流式示例集成到源代码中，启动调试器并执行许多调用，但都是徒劳的。示例如下： package org.apache.flink.streaming.examples.spendreport;
import org.apache.flink.streaming.api.datastream.DataStre
浏览 21提问于2020-07-27得票数 0
回答已采纳
我在线程"main“中得到了一个异常:类org.apache.flink.state.api.runtime.SavepointLoader试图访问受保护的方法org.apache.flink.runtime.state.filesystem.AbstractFsCheckpointStorage.resolveCheckpointPointer和org.apache.flink.runtime.state.filesystem.AbstractFsCheckpointStorage在加载程序的未命名模块
浏览 0提问于2020-01-20得票数 1
回答已采纳
token, 1)); } }
运行这段代码后，我得到了以下错误：
线程"main“org.apache.flink.api.common.InvalidProgramException:中的异常AbstractCassandraTupleSink的实现是不可序列化的。
浏览 0提问于2018-12-24得票数 0
回答已采纳
我从官方的flink存储库使用以下docker-compose.yml启动了flink。我只添加了到外部hadoop网络的连接。version: "2.1"
hadoop: name: flink_hadoop
jobmanager:image: flink:1.7.1-hadoop27-scala_2.11 do
浏览 1293提问于2019-01-04得票数 2
回答已采纳
1回答
第一次尝试时，我希望从文件中读取JSON数据并将其传递给Flink。我定义了一个源(逐行读取JSON字符串)和一个占位符过滤器。/flink-1.7.2/bin/pyflink-stream.sh ./json_parser_flink.py程序的开始执行失败计划:空回溯(最近一次调用)：File“，第1行，文件"/tmp/flink_streaming_plan_fbe13c4c-6918-46d4(JobID: 3
浏览 0提问于2019-03-06得票数 1
我们感兴趣的是从连接到常规的Flink流应用程序，最好使用Table。这样做的想法是查阅Statefun在Flink中注册的表，是否有此可能，如何做才是正确的方法？到目前为止，我的想法是在一些主函数中初始化我的表流，并注册一个有状态函数提供程序来连接到该表：public classStatefulFunction functionOfType(FunctionType type) { }
浏览 2提问于2020-04-11得票数 2
我正在尝试Flink连接器Elasticsearch 5.2.1，但身份验证XPACK出现问题
浏览 22提问于2017-03-15得票数 1
回答已采纳
我是新的flink用户，我有以下问题。使用flink将从关系数据库中提取的相关数据传输到HBase中。我用多个ExecutionEnvironments (每个RDB表一个用于并行传输表行)在java上编写flink批处理应用程序，以便按表顺序地传输表(因为调用env.execute()是阻塞的)。最初的工作和通常一样--最初的几个作业被提交到会话中，并成功地完成了。但下列作业未提交给纱线会话。在/opt/flink-1.3.1/log&#
浏览 1提问于2018-01-16得票数 7
回答已采纳
我在flink中有一个地图，一旦数据通过流，它就会被激活。 即使没有数据通过，我也要调用该地图。 我将map移动到一个函数中(无限函数调用)，但是flink作业永远不会运行。这个想法是，在一个无限循环中有一个映射，检查一些共享变量，另一个flink流监控kafka队列，如果数据进入它的进程，它会改变一个共享变量，以某种方式影响无限循环并继续。如何调用无限循环映射并同时运行flink映射？我尝试使用随机数据创建一个CollectionMap来激活流和映射
浏览 28提问于2019-05-07得票数 1
在Flink WordCount计算中，何时调用sum计数？Flink源代码中的实现在哪里？
浏览 15提问于2019-02-28得票数 0
1回答
我试图使用Flink REST通过管道自动化Flink作业提交过程。要调用任何Flink Rest端点，我们应该了解接口IP。对于我的POC，在CLI上运行flink-session命令之后，我得到了IP，但是从代码中获得它的方法是什么呢？
请求。
浏览 9提问于2022-10-12得票数 0
我有一个Flink作业，它的接收器是将数据写入MongoDB。接收器是RichSinkFunction的实现。
接收器在什么时候确认检查点屏障，在调用函数开始时还是在调用完成时？意味着它在确认障碍之前等待持久化(保存在MongoDB中)响应？如果提交检查点是由异步线程
浏览 3提问于2018-05-31得票数 1
1回答
是否可以从不在路径目录中的DLL导入和调用Cmdlet？
我想用powershell编写一个能够压缩结果的构建脚本。因此，我找到了 Cmdlet ()，但我无法调用它们。
浏览 0提问于2015-01-11得票数 6
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
