我很想知道用于外部数据访问的Asynchronous I/O Flink API是否也适用于Beam。我找不到任何具体的东西。我知道横梁使用Flink作为执行框架，所以异步I/O对横梁也是可能的，但我不确定API是否已经定义。
浏览 18提问于2021-10-06得票数 0
1回答
下面的代码是我尝试调试这个问题的代码。我的实际代码是尝试从WriteToBigQuery的失败中获取数据，以便将其推送到死信发布订阅主题。但是当我尝试这样做的时候，我总是遇到下面的错误。我正在运行Apache Beam2.27，Python 3.8from apache_beam.runners.interactive.interactive_runnerimport Dataf
浏览 1提问于2021-01-19得票数 0
我有一个由20台机器组成的集群，它们通过REST API提供“分类”微服务，它们可以提供每秒10k tweet的最大吞吐量，并且它们的延迟是3秒。这意味着在最坏的情况下，我可能会有30k条tweet在运行，这是可以接受的。}
现在，有了这个API我在源代码中看到Flink使用Ne
浏览 16提问于2016-08-07得票数 2
回答已采纳
我们正在与flink一起进行异步IO调用。很多时候，IO调用是重复的(相同的参数集)，我们调用的大约80%的API对相同的参数返回相同的响应。所以，我们不想再打电话了。我们认为我们可以使用状态来存储先前的响应并再次使用它们。问题是，尽管我们的响应可以再次使用，但此类响应的数量很大，因此需要大量的内存。是否有一种方法可以在需要时将其持久化以驱动和查询？
浏览 7提问于2020-02-03得票数 2
回答已采纳
在我的apache-beam作业中，我调用了一个外部源，GCP存储，这可以被认为是一个通用的http调用，重要的是它是一个外部调用来丰富作业。我在处理每一条数据时，都会调用此API来获取一些信息来丰富数据。在API上有大量对相同数据的重复调用。 有没有一种好的方法来缓存或存储结果，以便对处理的每个数据块重复使用，以限制所需<em
浏览 16提问于2019-06-06得票数 0
我想从BigQuery中读取数据并将其发布到Pubsub。为此，我想使用Apache光束，并在数据流中运行此管道。而且我的BQ查询需要很长时间才能执行。因此，希望使用BigQuery的Storage Read API来减少这一时间，该API支持使用流读取数据。尽管Beam支持使用存储API，但我找不到设置最大流数的文档。谁能帮助我如何设置从BigQuery读取数据的Apache光束
浏览 25提问于2021-05-02得票数 0
令人困惑的是，每个关于数据流的谷歌文档都说它现在是基于Apache光束的，并将我引导到光束网站。此外，如果我查找github项目，我会发现google dataflow项目是空的，并且所有的项目都转到apache see repo。假设我现在需要创建一个管道，根据我从Apache光束中读到的，我会这样做：from apache_beam.options.pipeline_options然而，如果我使用google-cloud-dataflow，我会得到错误：no mod
浏览 1提问于2017-06-16得票数 3
在继续之前，你不总是需要等待登录的结果吗？
浏览 4提问于2017-05-12得票数 0
回答已采纳
假设我在GCP中有一个python数据流作业，它做了以下两件事：
class CallExternalServiceAndFilter(beam.DoFn)**kwargs):
浏览 1提问于2019-08-20得票数 1
我一直在阅读文档，试图理解何时通过+A N开关增加异步线程池大小是有意义的。我已经为基准测试做好了充分的准备，但我想知道是否存在一个经验法则，即什么时候应该怀疑将池大小从0增加到N(或将N增加到N+M)会有帮助。
谢谢
浏览 0提问于2012-11-21得票数 15
回答已采纳
1回答
是否可以在apache代码中调用外部api (RESTful)。如果有可能的话，那我们该怎么做呢？我从简单的java代码调用一个api，它运行良好，但是当我在apache中使用相同的代码时，它会抛出一个异常：
java.io.IOException: Server returned HTTP response
浏览 1提问于2018-04-27得票数 2
下面是来自的示例代码{ return View("Gizmos", await gizmoService.GetGizmosAsync());正如我所理解的，异步/等待对于释放Worker是有用的，这样它就
浏览 2提问于2016-11-08得票数 2
回答已采纳
我知道.NET刚刚引入了异步，但在Linux中它是在OS级别实现的，Windows OS是否有类似的功能，或者只是在.NET框架级别上模拟？
浏览 1提问于2011-06-24得票数 1
回答已采纳
它开始于：
典型的Play应用程序会阻塞的最常见的地方是当它与数据库对话时。不幸的是，没有一个主要的数据库为J
浏览 1提问于2014-09-02得票数 14
回答已采纳
我是Apache Flink的新手。我想创建一个DataStream，并将来自另一个系统的值提供给它。我找到了如何添加"SourceFunctions“的例子，在这个函数中，我必须等待来自源的值，并通过调用ctx.collect将这些值发布到Flink，然后再次等待，这就是轮询。但是我有一个数据源，它在值到达时调用函数(异步)。所以，我想要做的是:当这个异步调用发生时，我想把值放到一个闪烁DataStream，伪代码：
mysystem.co
浏览 2提问于2017-11-28得票数 1
我正在尝试创建一个数据流模板，它将输入参数作为RuntimeValue。遵循的示例from apache_beam.io import ReadFromText
from apache_beam.ioO连接器包含接受ValueProvider对象的方法。若要确定对I/O连接器及其方法的支持，请参阅连接器的
浏览 1提问于2020-02-17得票数 0
回答已采纳
我正在做一个网站，预计会在短时间内吸引大量用户，我们希望将服务器场中所需的服务器数量降至最低。处理请求可以涉及本地I/O、对单个数据库服务器的sql服务器请求以及对外部网站的http请求。我的第一个想法是，我们肯定需要异步实现所有I/O，但在之后，我就不那么确定了。
我知道对sql server的异步调用可以简单地将瓶颈转移到db服务器。对于<
浏览 1提问于2011-10-03得票数 1
回答已采纳
我试图更好地理解梁计算模型，并检查我的问题在这个模型中是否可以解决。假设我有一连串的事件， public int userId;}
值是用户的最大得分。我读过关于的文章，据我所知，在StatefulParDo中很容易为用户保持最大的分数。但是如何存储这样的状态
浏览 0提问于2021-08-18得票数 0
回答已采纳
我了解到，由于Version2.2Quarkus将根据方法返回类型( Uni/Multi/CompletionStage )在I/O thread或Worker thread上运行方法，这意味着不返回I/O thread的阻塞/同步方法将自动卸载到工作线程，从而不会阻塞I/O线程。在我们当前使用Quarkus和RESTEasy Reactive的旧版本的实现中(我认为是1.1
浏览 5提问于2021-09-30得票数 0
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号