我使用JsonRowSerializationSchema将Flink的行序列化为JSON。I SQL时间戳序列化存在时区问题。
val row = new Row(1)
row.setField(0, new Timestamp(0))
val tableSchema = TableSchema
.builder
.field("c", DataTypes.TIMESTAMP(3).bridgedTo(classOf[Timestamp]))
.build
val serializer = JsonRowSerializationS
我想验证一下我的时间戳。我附上了代码片段:
import org.apache.flink.streaming.api.windowing.time.Time;
Date date = new Date(Time.seconds(30).toMilliseconds());
DateFormat formatter = new SimpleDateFormat("HH:mm:ss:SSS");
String dateFormatted = formatter.format(date);
logger.debug(Time.seconds(30).toMillisecon
我正试图在PyFlink中的一个窗口上进行一些聚合。但是,我尝试它时会得到A group window expects a time attribute for grouping in a stream environment.错误。我在窗口定义和select中都有一个time属性。
我做错了什么?
from pyflink.common import Row
from pyflink.table import EnvironmentSettings, TableEnvironment, DataTypes
from pyflink.table.expressions import col
所以我用它安装了一个样例Flink项目。
我正在尝试使用这个模板,它让我可以开始编写一个Flink摄取应用程序,而不必担心依赖关系,但它适得其反。当我尝试与sbt同步时,我发现找不到Flink (不是要说谎,但这部分对我来说甚至是模糊的)。我想知道是否有人知道如何让我的项目找到Flink。使用这项技术非常令人兴奋。
Error while importing sbt project:
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=384M; support was removed in 8.0
[
我正在尝试使用我的felipeogutierrez/explore-flink:1.11.1-scala_2.12镜像可用here到kubernetes集群配置中,就像它说here一样。我用maven编译了我的项目https://github.com/felipegutierrez/explore-flink,并用这个Dockerfile扩展了默认的flink图像flink:1.11.1-scala_2.12 FROM maven:3.6-jdk-8-slim AS builder
# get explore-flink job and compile it
COPY ./java/expl
我正在尝试写一些输出到S3使用电子病历与Flink。我使用的是Scala 2.11.7、Flink 1.3.2和EMR 5.11。但是,我得到了以下错误:
java.lang.NoSuchMethodError: org.apache.hadoop.conf.Configuration.addResource(Lorg/apache/hadoop/conf/Configuration;)V
at com.amazon.ws.emr.hadoop.fs.EmrFileSystem.initialize(EmrFileSystem.java:93)
at org.apache.fl
我目前正在使用Flink 1.7 +gcs-连接器库。我试图让StreamingFileSink写到GCS桶中,并遇到以下异常:
我遇到了一个Jira: --但我不清楚代码是否曾经合并过。
在需要做什么方面有什么帮助是非常感谢的,以使这一工作?
java.lang.UnsupportedOperationException: Recoverable writers on Hadoop are only supported for HDFS and for Hadoop version 2.7 or newer
at org.apache.flink.runtime.fs.hdfs.Ha
使用flink版本1.13.1
我写了一个自定义的度量报告,但在我的flink中似乎不起作用。启动flink时,JobManager显示警告日志,如下所示:
2021-08-25 14:54:06,243 WARN org.apache.flink.runtime.metrics.ReporterSetup [] - The reporter factory (org.apache.flink.metrics.kafka.KafkaReporterFactory) could not be found for reporter kafka. Available f
我尝试在Flink (版本1.14.0)上使用可查询状态,但不幸的是,我一直收到以下错误: 2021-11-07 11:10:55,795 ERROR org.apache.flink.queryablestate.network.AbstractServerHandler [] - Error while handling request with ID 1
java.lang.OutOfMemoryError: Direct buffer memory
at java.nio.Bits.reserveMemory(Bits.java:175) ~[?:?]
at java
当我将Flink Java应用程序从1.12.2升级到1.12.3时,我会得到一个新的运行时错误。我可以脱下我的Flink应用程序到这两条线上:
public class TableEnvOnly {
public static void main(String[] args) throws Exception {
final StreamExecutionEnvironment streamEnv = StreamExecutionEnvironment.getExecutionEnvironment();
StreamTableEnvironment
我正在设置一个使用ZooKeeper和3个TaskManagers的JobManager HA集群。我在kubernetes中这样做,并且需要JM通过全主机名(hostname -f而不是hostname)来寻址to,因为它们是在有状态集中。 目前,似乎TMs将他们的地址报告给JM只是作为nostname… 2019-04-12 08:58:32,426 WARN akka.remote.ReliableDeliverySupervisor - Association with remote system [akka.tcp://flink-m
我使用了flink 1.11,但任务管理器找不到org.apache.flink.metrics.influxdb.InfluxdbReporterFactory WARN org.apache.flink.runtime.metrics.ReporterSetup [] - The reporter factory (org.apache.flink.metrics.influxdb.InfluxdbReporterFactory) could not be found for reporter influxdb. Available factories: [
我使用Flink v.1.13.2来管理一个工作经理,三个任务经理。
由于某些原因(我无法找出原因),任务管理器连接正在丢失。下面是我找到的日志:
2022-02-17 21:19:55,891 INFO org.apache.flink.runtime.executiongraph.ExecutionGraph [] - Sink: Print to Std. Out (13/32) (f0ff88713cc3ff5ce39e7073468abed4) switched from RUNNING to FAILED on 1.2.3.5:39309-f61daa @ serve
在我的本地环境中,当我向Flink (v1.0.3)提交一个新作业时,我得到了这个错误。
原因: org/apache/flink/streaming/runtime/operators/CheckpointCommitter at org.apache.flink.streaming.connectors.cassandra.CassandraSink.addSink(CassandraSink.java:164) at com.xxx.yyy.sample.backend.flink.AAAAA.main(AAAAA.java:99) at sun.reflect.NativeMethod
获取以下flink作业提交错误, @centos1 flink-1.10.0]$ ./bin/flink run -m 10.0.2.4:8081 ./examples/batch/WordCount.jar --input file:///storage/flink-1.10.0/test.txt --output file:///storage/flink-1.10.0/wordcount_out
Job has been submitted with JobID 33d489aee848401e08c425b053c854f9
----------------------------