flink开源监控 - 腾讯云开发者社区

文章/答案/技术大牛

发布

1回答

嵌入式Flink实例的JobManager在哪里？

apache-flink、flink-streaming

我使用Flink (通过Kafka)在服务之间传输消息。Flink嵌入在Java应用程序中，每个应用程序都在单独的docker容器中运行。这是我第一次尝试Flink，在看完文档后，我仍然觉得我遗漏了一些基本的东西。JobManager在哪里运行？谢谢, 摩西

浏览 1提问于2017-03-29得票数 0

1回答

如何检查Flink任务是否以编程方式向后施加压力

apache-flink、flink-streaming

使用Flink 1.11。我有一个要求，以确定一个Flink任务是否正面临背向压力。使用webui，我们可以监控背压状态。如果某个特定任务正面临背压，是否有任何方法可以在Flink应用程序中签入？

浏览 5提问于2022-05-31得票数 1

1回答

Flink :如何实时监控作业

apache-flink、flink-streaming

我们如何实时监控flink作业。例如，如果作业失败，则会生成一些警报。是否存在任何外部库，或者flink中已有可用的库。提前谢谢。

浏览 14提问于2021-06-02得票数 1

1回答

如何识别flink中的状态？

apache-flink

有没有一种方法来监控Flink的状态？我的意思是，如果我在Flink应用程序中使用状态，那么我想知道Flink中状态的状态或正在进行的值。谢谢。

浏览 4提问于2022-10-25得票数 0

回答已采纳

1回答

Apache Flink REST API的身份验证

apache-flink

有没有办法限制对Apache Flink提供的REST API的访问，例如使用Basic Auth、Api-Key等？我指的是“监控REST API”(令人困惑的不仅是监控，还包括作业控制)。

浏览 3提问于2017-10-16得票数 2

2回答

有没有一种使用SQL查询正在运行的Flink作业的方法

apache-flink、flink-streaming、flink-sql

我是新的Flink，并试图创建一个原型，可以做一个连续的查询以及按需的查询。第一部分已经起作用了(使用预定义的查询)，但与第二个部分斗争。有可以使用的SQL。我已经看到了Flink木星笔记本集成，这告诉我，这应该工作的方式从一个网页界面。但是，不知道如何做到这一点，每次都不提交一个完整的JAR。见和对我们还能探索什么有什么建议吗？

浏览 12提问于2022-01-15得票数 0

回答已采纳

1回答

Flink CLI与Flink Web控制台

apache-flink

我们需要替换flink控制台UI，并使用CLI实用程序启用Flink Web控制台的所有功能，对于一些功能，如启动作业、保存点等，我们使用的是Flink CLI。我的问题是我正在寻找一种解决方案，在这种解决方案中，待命工程师可以使用命令行/终端完全监控并在flink上操作，而不需要使用

浏览 3提问于2022-01-03得票数 0

回答已采纳

1回答

你能从Apache Flink operator访问isBackPressured吗？

apache-flink、flink-streaming、flink-cep

我已经为Apache Flink编写了一个java程序。我想定期执行一些计算，所以我使用计时器来触发重新计算。例如，每10秒，实现花费大约1秒(软阈值)来更新状态。

浏览 5提问于2021-09-28得票数 0

1回答

如何向EMR提交flink流作业？

apache-flink、airflow、amazon-emr、flink-streaming

我有几个要在AWS EMR上运行的长时间运行(流) flink作业。我从AWS控制台或使用aws cli阅读了执行此操作的步骤。但这是手动的。

浏览 28提问于2019-12-11得票数 1

3回答

是否有一些好的开源连接器可以实现从InfluxDB到Flink的数据传输？

apache-flink、influxdb、flink-streaming

在每一开始，我们都试图了解流入DB和Flink之间的数据传输过程。我们的基本思想是: Flink读取来自influxDB的数据，Flink利用这些数据进行一些基于Flink的ML库的建模。但是，我们只找到一些开源存储库，它们提供了一个接收器，可以将数据从Flink发送到InfluxDB (例如Flink InfluxDB连接器)。因此，如果你知道一些好的例子，如我所描述的，请告诉我。

浏览 0提问于2019-12-12得票数 1

回答已采纳

3回答

使用开源工具监控Kafka

apache-kafka

有没有开源工具来监控融合的Kafka？大多数可用的开源工具都是特定于Apache Kafka的，但不是针对Confluent Kafka的。我们希望至少监控连接器、流和集群的运行状况

浏览 3提问于2017-07-04得票数 0

2回答

Flink Eclipse JDT编译器问题

java、eclipse、aws-lambda、apache-flink、flink-cep

我正在尝试运行这个程序: Flink CEP监控缺少“Map”的泛型类型参数。org.apache.flink.api.java.typeutils.TypeExtractor.validateLambdaGenericParameter(TypeExtractor.java:1316) org.apache.flink.api.java.typeutils.TypeExtractor

浏览 3提问于2016-05-05得票数 2

2回答

用Flink从卡夫卡主题开始的消费

scala、apache-kafka、apache-zookeeper、apache-flink、flink-streaming

如何确保我总是从Flink?的卡夫卡主题开始就开始消费？val props = new Properties() props.setPropert

浏览 2提问于2016-05-09得票数 2

1回答

如何通过flink rest api获取作业名称？

apache-flink

我正在尝试通过flink作业的名称来监控它们的状态。但是我没有发现任何rest api可以从这个site返回作业名称。我怎么才能得到它呢？

浏览 23提问于2019-03-12得票数 1

回答已采纳

2回答

如何使用Java代码将作业提交给Flink集群？

java、deployment、apache-flink、flink-streaming

我已经将包含应用程序代码的胖jar上载到Flink集群中所有节点的/lib文件夹中。我正在尝试从一个单独的java应用程序启动Flink作业，但是找不到一个很好的方法。与我目前找到的解决方案最接近的是具有的监控Rest。但是，这只允许您运行通过作业上载函数提交的作业。我在flink客户端模块中看到了ClusterClient.java，但没有看到如何使用它的任何示例。如果有人通过java代码成功地提交了作业，我们将不胜感激！

浏览 12提问于2020-01-28得票数 4

2回答

链接到NiFi连接器

scala、apache-flink、apache-nifi

在使用Scala代码将数据从输出NiFi端口传输到Flink方面，我需要一些帮助。import org.apache.flink.streaming.connectors.nifi.NiFiSourceimport org.apache.flink.streaming.api.functions.sourc

浏览 0提问于2017-07-17得票数 0

回答已采纳

2回答