Google App Engine无法启动数据流作业
Google App Engine（GAE）是一种云计算平台，提供了一种简单而可扩展的方式来开发和托管 Web 应用程序。然而，GAE 本身并不提供数据流作业的启动功能。数据流作业通常涉及处理大规模数据集，需要一种能够处理数据流并自动扩展的解决方案。
在云计算领域中，Google Cloud Platform（GCP）提供了一种专门用于处理数据流作业的产品，即Google Cloud Dataflow。Google Cloud Dataflow 是一种基于Apache Beam 的分布式数据处理服务，可实现高可伸缩性和弹性的数据流处理。
Google Cloud Dataflow 提供了以下优势：
- 可扩展性：可以处理任意规模的数据集，能够自动扩展以适应负载变化。
- 简化开发：使用 Apache Beam 编程模型，支持多种编程语言和库，开发者可以使用熟悉的编程语言编写数据流作业。
- 弹性和容错性：自动处理故障，保证数据流作业的连续性和可靠性。
- 与其他 GCP 产品的集成：可以与其他 GCP 产品（如 BigQuery、Pub/Sub、Datastore 等）进行无缝集成，实现端到端的数据处理和分析。
Google Cloud Dataflow 适用于以下场景：
- 实时分析：对实时数据进行流式处理，如实时推荐、实时风险评估等。
- 批处理：对大规模数据集进行批处理，如数据清洗、ETL、数据转换等。
- 事件驱动的计算：根据事件触发数据流作业，如用户行为分析、实时警报等。
如果您需要启动数据流作业，并希望使用 GCP 的产品，可以考虑使用 Google Cloud Dataflow。您可以访问以下链接了解更多关于 Google Cloud Dataflow 的信息和产品介绍： https://cloud.google.com/dataflow/
请注意，本答案没有提及其他云计算品牌商，如需了解其他品牌商的解决方案，建议咨询相应品牌商的官方文档或产品页面。
相关·内容
我正在使用Dev Local服务器，并转到http://localhost:8080/dataflow/schedule进行doGet()调用以启动数据流管道。以下是我启动该作业的代码， @WebServlet(name = "dataflowscheduler", value = "/dataflow/schedule")
r
浏览 14提问于2019-03-22得票数 0
基于该文档，https://cloud.google.com/dataflow/docs/resources/faq 但是，一旦您的作业完成或失败，云数据流服务将自动关闭并清理VM实例。但是对于流，发布/订阅消息将会不断到来，数据流如何处理这一点？持续关闭和清理VM实例效率不高。而且保持VM实例一直运行也不符合成本效益。 谢谢
浏览 21提问于2019-04-24得票数 0
回答已采纳
我们在Google Cloud中使用了很多组件，例如，一个作业可以在App Engine上启动，然后在Apache Airflow中做一些工作，然后做一些数据流工作来运行BigQuery插入。是否有任何方法可以使用堆栈驱动程序跟踪所有组件中作业的状态。例如，以某种方式告诉stackdriver一个自定义作业id并查询它。
浏览 1提问于2018-07-06得票数 1
回答已采纳
出于分析的原因，我正在尝试将数据从Jira移动到Google Bigquery。有没有办法在AppEngin或数据流中调用REST API？我还想安排这些API经常更新数据。
浏览 0提问于2018-11-19得票数 0
在Dataflow FAQ中，列出了在计算引擎上运行自定义(cron)作业进程是调度数据流管道的一种方法。我搞不懂到底该怎么做:如何在计算引擎上启动数据流作业和启动cron作业。 谢谢!
浏览 29提问于2020-08-19得票数 1
回答已采纳
google cloud (Apache beam 2.5)上运行着一个流式数据流。数据流显示了一些系统延迟，因此我尝试使用--update标志更新该数据流。现在旧数据流处于更新状态，而在更新过程之后启动的新数据流处于挂起状态。现在，在这一点上，一切都被卡住了。我现在无法停止/取消作业。旧作业仍处于更新状态，不允许执行任何状态更改操作。我尝试使用gcloud dataflow作业取消和RE
浏览 17提问于2019-05-05得票数 0
我所理解的是，当我启动一个Beam管道时，它代表我的项目创建了一个GCE实例，并且VM没有写入我的GCS桶所需的权限。我无法理解的是如何为GCE实例设置正确的范围/权限(最好是在启动Beam管道的Python代码中，而不是在GCP控制台中)。我尝试将以下权限授予Compute默认服务帐户(PROJECT_NUMBER-compute@developer.gserviceaccount.com)：数据流管理仓储管理
浏览 0提问于2019-09-09得票数 1
每天我都会收到一封电子邮件，里面有一个链接，然后触发一个CSV文件的下载，我需要下载到Google Cloud存储中，以便最终包含在BigQuery表中。
浏览 1提问于2019-03-01得票数 2
我想使用Google App Engine启动一个数据流模板。我已经编写了代码，但是我得到了一个运行时错误'NoClassDefFoundError‘。我的App Engine代码：-
HttpTransport14.177:WARN:oejs.ServletHandler:qtp1811044090-
浏览 3提问于2017-10-27得票数 1
(SecurityManagerInstaller.java:103)at com.google.appengine.tools.development.DevAppServerFactory.createDevAppServer(DevAppServerFactory.java:38)
at com.google.appengine.t
浏览 1提问于2010-04-10得票数 2
0回答
在谷歌云平台-数据流中，当流式传输未绑定的PCollection (比如使用PubSubIO的PubSub主题)时，有没有一种有效的方法来启动和停止数据流中的波束管道？(示例在一天开始时运行，在一天结束时结束)是让调度程序拥有Cron App engine服务并启动上面的管道作业然后停止该作业的唯一方法吗？只是看看有没有其他的选择。
浏览 8提问于2018-07-14得票数 3
回答已采纳
我试图通过一个(已经存在的) AppEngine应用程序启动数据流作业。DataFlow作业读取存储在DataStore中的GAE应用程序生成的数据，并将处理过的数据写入BigQuery。java.lang.SecurityException: Google App Engine does not support Runtime.addShutdownHook
at com.google.appengine.runtime.Request.proces
浏览 8提问于2016-03-21得票数 1
回答已采纳
2回答
由于数据流作业不能删除，只能排空/取消，所以我的UI控制台上显示了很多取消的作业。 我可以让它们从我的控制台中消失吗？另外，由于作业无法删除，用户可以创建的数据流作业是否有最大限制，在此之后配额填满？
浏览 20提问于2019-10-18得票数 0
我已经创建了一个cron.xml文件和一个描述该作业的servlet。
现在，当我以管理员身份编译和登录时，本地开发仪表板不会显示Cron Jobs链接。
浏览 1提问于2010-12-18得票数 5
我有一个App Engine调度作业，它每天运行，并在PostgreSQL表(托管在gcp中，而不是cloudsql中)中查找满足归档条件的行。如果满足条件，它将连接到BigQuery并将数据流式传输到大型查询。每天，有资格归档的记录很少，我们会写信给BigQuery。这是一种经济有效的方法吗?https://cloud.google.com/solutions/performing-etl-from-relational-database-into-bigquer
浏览 10提问于2020-01-31得票数 0
我有一个Google App Engine cron作业，它经常失败，但并不总是失败，因为已经达到了java servlet的最大重试次数。除此之外，Google App Engine应用程序运行得很好。我该如何解决这个问题呢？只是增加重试次数吗？如何调试才能知道导致“重试次数过多”的原因？
浏览 1提问于2013-08-14得票数 0
3回答
在阅读了文档之后，我仍然不确定如何从App运行我的数据流作业。有可能吗？我的后端是用Python编写的，还是用Java编写的？谢谢!
浏览 0提问于2015-04-14得票数 8
回答已采纳
我跟踪了这个。我注意到，为了配置凭据，我需要设置DATASTORE_SERVICE_ACCOUNT、DATASTORE_PRIVATE_KEY_FILE环境变量。任何帮助都将不胜感激..。
浏览 1提问于2014-03-16得票数 1
目标-I有一个数据流模板(用python编写)，它依赖于熊猫和nltk，我还想从云函数触发数据流作业。为此，我已经将代码上传到桶中，并准备在云函数中指定模板位置。Problem-如何传递requirements_file参数，当您使用从云函数中发现google模块触发数据流作业时，通常会传递这个参数来安装任何第三方库？Prerequisites- --我知道，当您通过本地机器通过指定本地目录路径启动作业时，可以这样做，但是当我试图指定来自GCS (如-
浏览 1提问于2020-04-06得票数 3
回答已采纳
云服务器
ICP备案
对象存储
实时音视频
云直播
腾讯云开发者
