我是新的Flink，并试图创建一个原型，可以做一个连续的查询以及按需的查询。第一部分已经起作用了(使用预定义的查询)，但与第二个部分斗争。有可以使用的SQL。但是，我们希望能够从web端点执行此操作。
我已经看到了Flink木星笔记本集成，这告诉我，这应该工作的方式从一个网页界面。但是，不知道如何做到这一点，每次都不提交一个完整的JAR。
到目前为止，我的研究已经使我广泛地找到了这两种资源：
有一项尚未落实的要求。见和
有一个开源的JDBC驱动程序(还没有尝试过)-- --不确定这是否得到了维护，并说“这个项目处于早期阶段”。
对我们还能探索什么有什么建议吗？
浏览 12提问于2022-01-15得票数 0
回答已采纳
1回答
为了学习目的，我正在构建一个简单的数据管道。我有来自Kafka的实时数据，我想使用Flink进行一些转换。
不幸的是，我不确定我是否正确地理解了部署选项。在Flink文档中，我找到了关于Docker组成和应用模式的部分。它说，我只能将一个作业部署到Flink：
Flink应用程序群集是运行单个作业的专用群集。在这种情况下，您可以将作业部署到集群中，这样就不需要额外的作业提交了。
作业工件包含在容器内Flink的JVM进程的类路径中，包括：
您的作业jar，您通常会将其提交到会话集群和
所有其他必要的依赖关系或资源，不包括在Flink中。
要使用Docker为单个作业部
浏览 5提问于2022-01-08得票数 0
回答已采纳
如何使用独立应用程序(本地执行环境或迷你集群)实现flink保存点。我在flink-config.yaml文件中配置了savepoint目录，但不确定如何在关闭应用程序之前获取保存点，以及如何在重新启动应用程序后恢复？
是否有任何方法或必须先使用flink群集，然后再使用CLI。
感谢你的帮助。谢谢
浏览 0提问于2020-08-18得票数 0
2回答
在使用Scala代码将数据从输出NiFi端口传输到Flink方面，我需要一些帮助。
我被.addSource()函数卡住了。它要求额外的参数(OUT)，但是当我提供它们时，我总是得到一个错误。Scala代码和错误消息如下所示。
package flinkTest
import java.nio.charset.{Charset, StandardCharsets}
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment
import org.apache.flink.streaming.api
浏览 0提问于2017-07-17得票数 0
回答已采纳
对于软件，如adobe photoshop/adobe indesign/ adobe premier/MS office/ vmware，哪些是最好的和免费的选择？
浏览 0提问于2017-05-10得票数 -4
我在apache Flink中的处理概念上遇到了问题。当涉及到apache Flink中的处理时，这个过程涉及到什么？有没有这样的例子？
浏览 13提问于2019-09-18得票数 0
回答已采纳
2回答
嗨，我计划使用flink作为我的功能的后端，我们将向用户展示一个用户界面，以图形化的方式创建事件模式，例如:来自同一个Ip地址的多个登录失败。
我们将使用UI中的用户指定的条件以编程方式创建flink模式。
有关于如何动态创建jar文件并将作业动态提交给flink集群的文档吗？
对于这种使用apache的用例，有什么最佳实践吗？
浏览 9提问于2021-12-21得票数 1
我按照的说明将flink指标导出到普罗米修斯，但是默认情况下它似乎只将与作业管理器相关的指标导出到普罗米修斯，如下所示：
打开，我只看到以下信息，没有找到任务或任务管理器相关的指标。
# HELP flink_jobmanager_Status_JVM_Memory_Mapped_MemoryUsed MemoryUsed (scope: jobmanager_Status_JVM_Memory_Mapped)
# TYPE flink_jobmanager_Status_JVM_Memory_Mapped_MemoryUsed gauge
flink_jobmanager_Status
浏览 22提问于2018-08-22得票数 2
回答已采纳
我的Flink作业从一个kafka主题中读取数据，并将数据存储在RocksDB状态后端中，以便使用可查询状态。我能够在本地机器上运行作业并查询状态。但是，在集群上部署时，我会得到以下错误：
Caused by: org.apache.flink.runtime.client.JobExecutionException: Job execution failed.
at org.apache.flink.runtime.jobmanager.JobManager$$anonfun$handleMessage$1$$anonfun$applyOrElse$6.apply$mcV$sp(JobMan
浏览 6提问于2017-06-03得票数 0
回答已采纳
我按照的指示设置会话模式flink集群，如“启动Kubernetes集群(会话模式)”一节中使用以下命令：
# Configuration and service definition
$ kubectl create -f flink-configuration-configmap.yaml
$ kubectl create -f jobmanager-service.yaml
# Create the deployments for the cluster
$ kubectl create -f jobmanager-session-deployment.yaml
$ kubectl cr
浏览 15提问于2022-02-28得票数 0
我正在尝试使用docker-compose进行Flink Per-Job部署。 配置： version: "2.2"
jobs:
jobmanager:
build: ./
image: flink_local:1.1
ports:
- "8081:8081"
command: standalone-job --job-classname com.organization.BatchJob
environment:
- |
FLINK_PROPERTIES=
浏览 37提问于2020-08-10得票数 0
1回答
我想用ALS算法在Apache Flink上实现一个实时推荐。
可以使用Batch预先训练模型，然后将其加载到Flink中。然后，应该处理输入数据流并将其用于预测。
从Flink 1.9开始，不再包含库FlinkMl。除此之外，还有许多为Apache Flink的机器学习而设计的库。
为此，我需要一个起点，帮助我实现这个项目。
浏览 37提问于2021-02-20得票数 0
回答已采纳
2回答
在编译我运行的包之后，我在本地集群上运行Flink。
flink run -c com.gurustreams.flink.EntryPoint \
/Users/jeremy.zhang/workspace/guru-streams/flink/target/scala-2.11/guru-streams-flink-assembly-0.0.1.jar \
--stream-name KafkaReadExample
并得到了以下错误：
Could not build the program from JAR file.
我还试图从jar仪表板上运行Flink文件，并发现了
浏览 0提问于2018-09-20得票数 4
回答已采纳
因此，这两种方法的代码是相同的，大致如下：
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
// prepare the topology...
env.execute();
场景是Flink在一台机器上本地运行。
独立罐
pom.xml (相关bits)：
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-core<
浏览 1提问于2019-11-18得票数 1
回答已采纳
1回答
我正在使用flink siddhi并在处理大型对象时走出内存错误。在siddhi生成的输出流中，我有超过200个字段的对象，之后我有一些操作符来处理这个对象。flink版本1.7.2
java.lang.OutOfMemoryError: Java heap space
at com.esotericsoftware.kryo.io.Input.readBytes(Input.java:307)
at com.esotericsoftware.kryo.serializers.DefaultArraySerializers$ByteArraySerializer.read(De
浏览 12提问于2021-12-09得票数 0
最近，我遇到了一些关于开发flink作业的问题，它引入了spring和hibernate，作业将在flink集群上运行。因此，在任务管理器上运行flink运算符之前，需要初始化spring资源，而不是作业manager.But，我找不到合适的StreamExecutionEnvironment方法来实现。
以下是我尝试过的一些方法：
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
ApplicationContext context = new ClassPathXml
浏览 4提问于2016-11-11得票数 4
我们运行Flink在Kubernetes 1.8在AWS。几个月来一直很好。我已经设置了一个新的k8s集群。除了我们启用了Calico (而不是只使用Flannel)之外，一切都一样。
就像Flannel一样，Calico为我们提供了集装箱之间的网络。
启用Calico之后，Flink客户端在试图向作业管理器发送jar文件时会收到此错误：
org.apache.flink.client.program.ProgramInvocationException:程序执行失败:无法将jar文件上载到作业管理器。导致: java.io.IOException:无法检索JobManager的blob端口
浏览 0提问于2018-03-27得票数 0
我刚刚尝试使用Rosetta 2兼容层在苹果Mac上运行和新的M1处理器。
不幸的是，它在以下堆栈跟踪中失败：
flink-1.12.2 ./bin/flink run ./examples/streaming/WordCount.jar
Executing WordCount example with default input data set.
Use --input to specify file input.
Printing result to stdout. Use --output to specify output path.
WARNING: An illegal refl
浏览 2提问于2021-04-13得票数 3
在Flink的早期版本(例如)中，我可以为使用-n的会话模式和使用-yn的每个作业模式指定任务管理器的数量，但是这些标志在Flink的后期版本(例如)中并不存在。
想知道如何为较新版本的Flink设置纱线任务管理器的数量？或者，我可以使用哪些相关属性来控制Flink所使用的资源？
浏览 4提问于2022-10-08得票数 0
1回答
我有非常复杂的类代码，我感觉它有一半的函数没有被使用。是否可以在NetBeans java项目中的选定单元中找到未使用的函数？我应该使用一些插件来达到这个目的吗？
浏览 1提问于2015-12-23得票数 0
以下是错误消息：
2019-10-27 05:32:57,087 INFO org.apache.flink.runtime.executiongraph.ExecutionGraph - Sink: Unnamed (34/40) (95aac9e47f777ddc73c7a29cc1091911) switched from CREATED to SCHEDULED.
2019-10-27 05:32:57,087 INFO org.apache.flink.runtime.executiongraph.ExecutionGraph - Sink: Unna
浏览 384提问于2019-10-28得票数 3
我想从头开始创建我自己的标签管理器(类似于google标签管理器)。你能给我推荐一些我可以浏览的文档吗?或者你能告诉我如何开始？
提前谢谢。
浏览 0提问于2015-07-22得票数 0
我正在尝试使用docker构建一个maven项目，并在flink中提交一个生成的jar。但最终，还是有一些例外发生了。任何人都可以帮助我解决这个异常。 Dockerfile FROM maven:3.6-jdk-8-slim AS builder
COPY src /home/app/src
COPY pom.xml /home/app
RUN mvn -f /home/app/pom.xml clean package
FROM flink:1.10.0-scala_2.12
COPY --from=builder /home/app/target/demo-1.0-SNAPSHOT
浏览 59提问于2020-08-08得票数 0
1回答
我们如何实时监控flink作业。例如，如果作业失败，则会生成一些警报。是否存在任何外部库，或者flink中已有可用的库。提前谢谢。
浏览 14提问于2021-06-02得票数 1
我正在尝试理解在zookeeper升级期间flink作业管理器的行为是否是预期的。 我在kubernetes中运行flink 1.11.2，使用zookeeper服务器3.5.4-beta。当我进行zookeeper升级时，zookeeper有20秒的停机时间。我希望flink作业在这20秒内重新启动，或者在日志中显示一些警告。相反，我看到整个flink JVM崩溃(后来pod重启)。 我以为flink会在内部重试zookeeper请求，所以我很惊讶它崩溃了。这是意料之中的，还是说这是一个bug？ 从日志中 org.apache.flink.shaded.zookeeper3.org.apa
浏览 75提问于2021-02-09得票数 0
回答已采纳
1回答
尝试从Flink 1.3.2移到1.5我们已经部署了kubernetes集群。每件事都可以用1.3.2，但我不能用1.5提交工作。当我试图做到这一点时，我只看到旋转器无限地旋转，通过REST也是如此。我甚至不能提交字数示例作业。似乎我的任务管理器无法连接到作业管理器，我可以在flink UI中看到它们，但在日志中可以看到它们。
org.apache.flink.shaded.akka.org.jboss.netty.channel.ConnectTimeoutException: level=WARN akka.remote.transport.netty.NettyTransport -远
浏览 0提问于2018-06-11得票数 4
1回答
理想情况下，我想运行一些实验来测量我的应用程序的输入使用者的压力(即，如果我的应用程序落后于输入数据主题，并且消息到达的速度快于它们的处理速度)。有人告诉我这很常见，但我不知道该怎么做 我正在阅读1.9版本的Metrics文档，从我得到的内容来看，我必须配置conf/flink-conf.yaml (在独立模式下)，假设jmx报告器是这样的： metrics.reporter.jmx.factory.class: org.apache.flink.metrics.jmx.JMXReporterFactory
metrics.reporter.jmx.port: 8789 那么，我是否应该使用
浏览 51提问于2020-06-15得票数 0
1回答
我正在尝试恢复一个保存点，即保存到我的本地tmp folder.However，当我试图恢复it.Do时，我发现了下面的错误，您对此有什么想法吗？
/home/chinthakasajith/flink-1.14.0$ ./bin/flink运行-m 127.0.0.1:28080 -分离--从保存点-m /home/chinthakasajith/cast-1.0.jar
该程序在以下例外情况下结束：
Caused by: org.apache.flink.runtime.messages.FlinkJobNotFoundException: Could not find Flink jo
浏览 22提问于2022-02-21得票数 0
我试图使用Table在Flink应用程序中利用s3a文件系统。我在EMR6.1(预装有Flink 1.11.0)。
作为应用程序的一部分，我正在s3位置上创建一个表。当我运行这个程序时，我会得到以下错误：
org.apache.flink.core.fs.UnsupportedFileSystemSchemeException
指示s3://或s3a:// URI都不支持任何文件系统。
每一个，如果我在电子病历，我不需要配置任何文件系统作为一个插件。
我反复检查了我的应用程序中没有包含fs-s3-hadoop依赖项。
奇怪的是，当我按照上面的说明将文件系统安装为一个插件时，我可以将它用于s3:
浏览 2提问于2021-09-01得票数 0
回答已采纳
1回答
我试图向Prometheus公开Flink的内置度量标准，但不知怎么的，Prometheus并不识别目标-- 和。
prometheus.yml中定义的刮取如下所示：
scrape_configs:
- job_name: node
static_configs:
- targets: ['localhost:9100']
- job_name: 'kafka-server'
static_configs:
- targets: ['localhost:7071']
- job_name:
浏览 7提问于2020-09-17得票数 0
我的flink应用程序在启动时抛出这样的异常：
Exception in thread "main" org.apache.flink.api.common.InvalidProgramException: org.apache.ibatis.binding.MapperProxy@3fe8ad3f is not serializable. The object probably contains or references non serializable fields.
at org.apache.flink.api.java.ClosureCleaner.clea
浏览 8提问于2021-03-21得票数 0
回答已采纳
我想在码头工人的帮助下使用Flink。我想以启动的形式运行Socketwordcount实例。但在这个阶段我遇到了一个错误。我不能连接套接字。因此，在20毫秒后，flink完成工作。
码头工人-组成：
version: "3"
services:
jobmanager:
image: ${FLINK_DOCKER_IMAGE_NAME:-flink:1.3.2-hadoop24-scala_2.11-alpine}
expose:
- "6123"
ports:
- "8081:8081"
浏览 0提问于2019-02-21得票数 3
回答已采纳
1回答
flink网站上的文档以及AWS的Flink部署都说我的配置在flink-conf.yaml文件中，但是我应该将这个文件存储在我的项目中的什么地方，以及如何让flink获取它？ 特别是，我想启用检查点，当我的项目树如下所示时，我该如何做： .
├── pom.xml
└── src
├── main
│ ├── java
│ │ └── xyz
│ │ └── foobar
│ │ └── foo
│ │ └── Main.java
│ └── re
浏览 222提问于2021-05-05得票数 1
回答已采纳
我正在为数据流工作apache (1.3.1)，我必须在Windows 2012 R2下设置它，我在Flink HA设置上有一个问题。任何帮助都是非常感谢的。谢谢。
下面是设置细节，我有5台服务器，2台用于作业管理器HA，2台用于任务管理器HA，最后一台(资源服务器)用于保存所有恢复、保存点或检查点文件。
我已经将资源服务器映射为'Y‘网络驱动器在所有其他服务器。
在flink-#en0#.high中高可用性.：
它可以通过“cygdrive/Y/flink-recovery”路径从Cygwin终端访问资源服务器。
问题:当我在Cygwin下运行start-clus
浏览 0提问于2017-11-05得票数 1
回答已采纳
我知道我既可以在flink的配置文件(flink-conf.yaml)中全局设置状态后端，也可以在每个作业的作用域中设置。 val env = StreamExecutionEnvironment.getExecutionEnvironment()
env.setStateBackend(new FsStateBackend("hdfs://namenode:40010/flink/checkpoints")) 我有一个问题： 当flink作业继续运行时，属于TasManager的状态数据保存在TaskManager中的何处？我的意思是，当一个检查点完成时，检查点数据将保存在
浏览 18提问于2020-09-07得票数 0
回答已采纳
1回答
我正在尝试部署一个带有docker compose的flink集群，这一直工作得很好，但是只要作业管理器重新启动，它就会丢弃所有的JAR文件。 根据flink网站：https://ci.apache.org/projects/flink/flink-docs-stable/ops/deployment/docker.html 我需要像这样挂载文件夹位置：- /host/path/ to /job/artifacts:/opt/flink/usrlib 但是，成功执行此操作后，管理界面中似乎没有可用的作业。我可以进入容器，并看到挂载已成功 是不是找错地方了？还是我在这里还遗漏了什么？ 谢谢!
浏览 88提问于2020-11-11得票数 0
我有一个Flink流作业，它失败了，我得到了作为below.Can的日志谁告诉我如何解决这个问题？它有时在运行一天后失败，有时在几个小时后失败。
09:30:25 948 INFO (org.apache.flink.runtime.executiongraph.ExecutionGraph:1240) - TriggerWindow(TumblingProcessingTimeWindows(600000), ListStateDescriptor{serializer=org.apache.flink.api.common.typeutils.base.ListSerializer@ec
浏览 4提问于2018-08-22得票数 1
我正在使用Linux中的Docker运行一个带有单个节点的Flink独立集群。我已经在Flink 1.10.0和JDK8的生产环境中运行了一段时间的前一个版本，我能够让S3在那里正常运行。现在，我正在尝试更新到一个较新的版本，使用本地S3实现在我的开发机器上运行Docker。不管我怎么尝试，这个错误总是弹出： org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Could not find a file system implementation for scheme 's3'. 看起来S3方案没有被映
浏览 65提问于2020-09-29得票数 1
我正在Kubernetes上编写一个Flink应用程序，它可以读写Kafka，所以我需要一个Kafka集群来进行测试。我只是想找到在Kubernetes中运行Kafka集群的最简单的方法，它可能只是一个单节点集群，性能不是问题。
浏览 1提问于2019-10-24得票数 0
1回答
我一直想知道博客、Wordpress.com、Forumotion、Jcink或Forumatic (关闭)这样的网站是如何工作的，但我似乎无法理解它们是如何内部创建的。
乍一看，他们的工作方式是一样的，他们允许用户使用任何流行的软件创建一个新的网站(在他们的域名下)。让我们以Forumatic的例子为例。Forumatic允许用户创建phpBB (一个用PHP构建的开源论坛软件)。
我想，phpBB代码库并不是每次用户创建新站点时都会重复，因为每个论坛的代码都是通用的。唯一需要进行更改的是，例如，配置文件，除其他外，它需要链接到创建的论坛的特定数据库。
我问题的重点是。这一切是如何建立起来的
浏览 0提问于2018-06-09得票数 -2
我正试图让Flink在HA模式下运行，使用动物园管理员，但是当我试图通过杀死领导者JobManager来测试它时，我所有的备用工作经理也都被杀死了。
因此，他们都被杀了，而不是一个待命的工作经理接任新的领导，这是不应该发生的。
我的设置:4台服务器，其中3台服务器运行Zookeeper，但只有1台服务器将承载所有的JobManagers。
ad011.local: Zookeeper + Jobmanagers
ad012.local: Zookeeper + Taskmanager
ad013.local: Zookeeper
ad014.local: nothing interesting
浏览 5提问于2017-09-29得票数 4
回答已采纳
2回答
我必须将文档管理服务实现为编排层，该编排层在底层服务之间进行编排，如存储、解析、防病毒扫描等。要求该层具有灵活性，以便可以快速实现不同类型文档的不同流
一种方法是将其建模为事件驱动系统，并使用Apache Flink等框架在事件上实现处理管道。
另一种思考方式是--工作流。将其设计为在Apache Airflow或Uber Cadence等工作流引擎上运行的工作流。
什么是更好的方法。
浏览 7提问于2019-10-23得票数 3
我在kubernetes上部署了一个flink集群，它由1个jobmanager和6个任务管理器组成。我尝试运行一个flink作业，该作业消耗了集群上大量数据。但它似乎没有弹性，因为当任务管理器pod重新启动时，整个作业都会失败。所以我想知道部署在kubernetes之上的flink集群是否对故障具有弹性？因为任务管理器pod重新启动的情况经常发生。 org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: Pipeline execution failed
浏览 78提问于2021-09-09得票数 0
回答已采纳
我有以下设置：
Installation type k8s: 1.18
Flink version: 1.12
1 Job Manager
2 Task Manager
任务经理的flink- task .task
flink-conf.yaml: |
state.backend: rocksdb
blob.server.port: 6124
jobmanager.rpc.port: 6123
parallelism.default: 2
queryable-state.proxy.ports: 6125
taskmanager.number
浏览 9提问于2021-06-02得票数 0
回答已采纳
1回答
我有一个C#应用程序，我想国际化，我希望用户能够编辑互联网上的资源文件。有没有办法协同更改互联网上的C#资源文件？我知道有一些用于安卓系统的开源PHP项目，可以让用户在线翻译xml string文件，寻找与C#类似的免费开源软件。
编辑:我已经尝试过了，它可以很好地列出.resx文件中的所有字符串，这些字符串是手动创建的，并且只包含字符串。然而，它被证明对于表单的本地化并不是非常智能和有用的。将表单资源上载到transifex会导致所有不相关的信息被填充以进行翻译。像我的控件在表单中的所有x，y位置，甚至像System.Windows.Forms.RichTextBox，System.Wind
浏览 3提问于2012-07-10得票数 4
回答已采纳
我的目标是杀死Flink任务管理器，然后在Windows上重新启动它。这是需要的，以刺激错误在Flink，以便我可以看到检查点工作。通过查找任务管理器所侦听的端口，我找到了任务管理器PID。因此，杀死这个PID应该会杀死任务管理器，但是我无法找到在windows上重新启动Flink任务管理器的方法，因为任务管理器脚本是一个shell脚本。请在以下两个问题中帮助我。
如何在windows上重新启动Flink任务管理器？我们需要安装和使用它吗。它能用吗？如果cygwin有效，请提供步骤继续重新启动taskmanager.Is，有一种更优雅的方法来了解windows?上的任务管理器PID。
浏览 0提问于2020-03-01得票数 0
回答已采纳
我运行了一个flink作业，18小时后它失败了。失败消息:检查点协调器正在挂起。
检查点屏幕截图：
工作概述屏幕截图：
以下是作业管理器日志：
2020-10-10 13:53:10,636 INFO org.apache.flink.runtime.executiongraph.ExecutionGraph - Source: kafkaSource -> Timestamps/Watermarks -> Process (1/1) (c38419ece8208c1ef2948087f2b84dd0) switched from RUNNING to
浏览 3提问于2020-10-10得票数 4
假设我有一个包含3个节点的Flink集群。一个节点用于作业管理器，另外两个节点用于任务管理器。每个任务管理器有3个任务槽。因此，当我提交并行度等于2的作业时，Flink将分配两个任务槽。所以，我的问题是，Flink将如何分配这些任务槽？ 一些场景 Flink是否从每个任务管理器分配一个任务槽？ 有没有可能两个任务槽都是从同一个任务管理器分配的？如果是，则如果该特定节点由于某种原因而关闭，我的作业将不会运行。在这种情况下，我如何避免停机？
浏览 13提问于2020-08-23得票数 0
回答已采纳
1回答
我使用Flink 1.7仪表板并选择一个流作业。这应该会向我显示一些指标，但它仍然需要加载。
我在Flink 1.5集群中部署了相同的任务，我可以查看指标。Flink在docker swarm中运行，但如果我在docker-compose中运行Flink 1.7 (而不是在swarm中)，它可以工作
我可以做这项工作，删除docker-compose.yaml文件中的主机名
version: "3"
services:
jobmanager17:
image: flink:1.7.0-hadoop27-scala_2.11
hostname: &#
浏览 4提问于2019-04-24得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
