首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

有没有办法使用gcloud命令更新数据流作业?

是的,您可以使用 gcloud 命令行工具来更新 Google Cloud Dataflow 作业。更新 Dataflow 作业通常涉及到重新部署作业的代码或更改作业的参数。以下是一些常见的操作和命令示例。

更新 Dataflow 作业

  1. 更新作业的参数: 如果您想要更新 Dataflow 作业的参数,可以使用 gcloud dataflow jobs update 命令。这个命令允许您更新作业的运行时参数。

gcloud dataflow jobs update JOB_ID \ --parameters key1=value1,key2=value2 \ --region YOUR_REGION

  • JOB_ID 是您要更新的作业的 ID。
  • --parameters 用于指定要更新的参数。
  • --region 是您作业所在的区域。
  • 重新部署作业: 如果您需要更新作业的代码(例如,修改了数据处理逻辑),您通常需要重新部署作业。这可以通过重新运行作业的命令来实现。

gcloud dataflow jobs run JOB_NAME \ --gcs-location gs://YOUR_BUCKET/YOUR_TEMPLATE \ --parameters key1=value1,key2=value2 \ --region YOUR_REGION

  • JOB_NAME 是您要运行的作业的名称。
  • --gcs-location 是指向您的 Dataflow 模板的 Google Cloud Storage 路径。
  • --parameters 用于传递作业参数。
  • 查看作业状态: 在更新作业之前,您可能想要查看当前作业的状态。您可以使用以下命令:

gcloud dataflow jobs describe JOB_ID --region YOUR_REGION 这将显示有关作业的详细信息,包括状态、运行时间和其他元数据。

示例

假设您有一个 Dataflow 作业 ID 为 my-job-id,并且您想要更新作业的参数,可以使用以下命令:

代码语言:javascript
复制
gcloud dataflow jobs update my-job-id \
    --parameters inputFile=gs://my-bucket/input.txt,outputFile=gs://my-bucket/output.txt \
    --region us-central1

如果您需要重新运行作业并更新代码,可以使用:

代码语言:javascript
复制
gcloud dataflow jobs run my-new-job \
    --gcs-location gs://my-bucket/my-template \
    --parameters inputFile=gs://my-bucket/input.txt,outputFile=gs://my-bucket/output.txt \
    --region us-central1

注意事项

  • 确保您已安装并配置了 gcloud 工具,并且已正确设置了 Google Cloud 项目和区域。
  • 更新作业的参数可能会影响作业的执行,因此在进行更改之前,请确保您了解这些更改的影响。
  • 重新运行作业将创建一个新的作业实例,而不是更新现有作业。
页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

google cloud :穷人也能玩深度学习

导语: 想玩深度学习但是没钱更新电脑配置怎么办?google cloud,只要1美元,只要1美元,300美元赠金带回家!365天免费使用,让你轻松入门深度学习!...使用google cloud有个好处就是完全不占用本地电脑资源,需要跑的时候扔个命令让google cloud跑就是,而且不阻塞自己的其它任何工作。跑的过程中生成的数据全部都会存储在存储分区中。...更加详细的gcloud命令见 https://cloud.google.com/sdk/gcloud/reference/ 示例 准备数据 下载示例代码,解压后进入estimator目录 cd cloudml-samples-master...echo命令查看是否正常设置 设置REGION临时变量。...之后可以随时查看当前任务状态 gcloud ml-engine jobs describe ${your job name} 也可以进入可视化页面查看,下图是运行结束后的作业截图 也可以随时查看,搜索日志

18.8K11

google cloud--穷人也能玩深度学习

导语:想玩深度学习但是没钱更新电脑配置怎么办?google cloud,只要1美元,只要1美元,300美元赠金带回家!365天免费使用,让你轻松入门深度学习!...使用google cloud有个好处就是完全不占用本地电脑资源,需要跑的时候扔个命令让google cloud跑就是,而且不阻塞自己的其它任何工作。跑的过程中生成的数据全部都会存储在存储分区中。 ?...更加详细的gcloud命令见 https://cloud.google.com/sdk/gcloud/reference/ 示例 准备数据 下载示例代码,解压后进入estimator目录 cd cloudml-samples-master...详细的ml-engine命令参数参考 https://cloud.google.com/sdk/gcloud/reference/ml-engine/ 运行完之后会提示运行成功,并且返回当前任务状态。...之后可以随时查看当前任务状态 gcloud ml-engine jobs describe ${your job name}  也可以进入可视化页面查看,下图是运行结束后的作业截图 ?

2.9K100
  • GCP 上的人工智能实用指南:第三、四部分

    我们可以使用gcloud命令行工具来打包和上传应用。...最简单的方法是使用以下命令进行打包以及上载应用,同时提交训练作业gcloud ai-platform jobs submit training 让我们定义打包和部署应用所需的全局环境变量,如下所示:...以下是用于监视训练作业gcloud命令gcloud ai-platform jobs describe job_name 该命令返回当前正在运行的作业的状态,由job_name参数指示,如下所示:...gcloud ai-platform jobs list --limit=5 此命令返回项目平台上当前正在运行的所有作业的列表。...从 Cloud Shell(从 GCP 控制台),确保使用以下命令更新所有组件: gcloud components update 如下在 Cloud Storage 上创建两个存储桶: [外链图片转存失败

    6.7K10

    TPU使用说明

    运行 ctpu pause 或 gcloud compute tpus stop 即可停止 TPU。同样,只有在虚拟机激活之后,我们才会向您收取虚拟机费用。...1.2 实用查询链接 Compute Engine 价格表 Compute Engine 价格计算器 1.3 价格计算实例 以下示例解释了如何计算一项训练作业的总费用,该作业使用美国区域的 TPU 资源和...$45.00 _ $45.95 使用抢占式 TPU 的价格示例 在以下示例中,使用的资源和时长与上例相同,但这一次该研究机构决定使用抢占式 TPU 来节省成本。...我在删除的时候没有加name,虽然命令行结果显示删除成功,但是后面我在控制台查看资源使用情况,发现VM实例依旧存在。所以最保险的办法命令输完后,去控制台看看实例是否还存在。 ? ? 3....删除Storage 命令为:gsutil rm -r gs://Your-storage-name ? ---- 更详细的资料可参考官方文档。

    2K20

    【干货】手把手教你用苹果Core ML和Swift开发人脸目标识别APP

    我在这里使用了MobileNet,并使用云存储区中的相应路径更新了所有PATH_TO_BE_CONFIGURED。...现在已经准备好所有的训练文件,我可以使用gcloud命令来开始训练。 请注意,您需要在本地拷贝一份tensorcow / models / research并在该目录下运行以下的训练脚本: ?...使用以前没有训练过的数据来评估我的模型的准确性: ? 您可以通过云端控制台来浏览机器学习引擎的“作业”部分,这一部分可以验证您的作业是否运行正确,并且可以检查作业的日志。 ?...首先,使用gcloud命令创建你的模型: ? 然后通过将模型指向刚刚上传到云存储的已保存模型ProtoBuf来创建模型的第一个版本: ?...将模型部署到机器学习引擎:我使用gcloud CLI将我的模型部署到机器学习引擎 我的模型:https://cloud.google.com/ml-engine/docs/deploying-models

    14.8K60

    SAP ETL开发规范「建议收藏」

    关于使用全局变量的相同标准也应该应用于while循环。这意味着需要更新的变量(如迭代变量)应声明为局部变量。应使用参数将局部变量传递给基础数据流。...lookup_ext函数可以用于查找相关查询,并且应该为插入/更新/删除查询构建数据流。...在可能的情况下,应该使用查询转换过滤传入的数据集,以便每次只加载新的或更新的记录(基于源的更改的数据捕获) 5 性能考虑 5.1 概述 在数据集成商内生成稳定高效的数据流的方法是确保流过数据流的数据量最小...这些问题的一些典型原因可能是: SQL没有正确地下推到数据库(即where条件,group by和order by命令使用不正确的目标表缓存选项的表比较 目标表自动更新 使用Reverse Pivot...使用表格比较具有以下优点: 可以定义导致更新的列(而不是仅使用所有列) 排序后的输入选项和缓存选项可用于提高性能 它在数据流上更具可读性和清晰度 在Oracle上,自动正确加载选项可以作为合并命令来实现

    2.1K10

    收藏|Flink比Spark好在哪?

    使用bin/flink run命令发布任务时,本质上是使用Flink自带的调度,与普通的在Flink集群上发布任务并没有不同。...作为 Flink 的原生组件,省去了第三方库与 Flink 配合使用时可能会导致的各种问题。但其功能现阶段看来还比较基础,不能表达复杂的业务场景,同时它不能够做到动态更新。...这种join环境存在以下几个尚未解决的问题: 1.对元数据库的读压力;如果分析程序有1000并发,是否需要读1000次; 2.读维表数据不能拖慢主数据流的throughput,每秒千万条数据量; 3.动态维表更新问题和一致性问题...;元数据是不断变化的,如何把更新同步到各个并发上; 4.冷启动问题,如何保证主数据流流过的时候,维表数据已经ready,否则会出现数据无法处理; 5.超大维表数据会导致流量抖动和频繁gc,比如几十万条的实例数据...对于2,在并发上做local cache,只有第一次需要真正查询redis,后续定期异步更新就好,不会影响到主数据流;对于5,因为现在不需要一下全量的读取维表数据到内存,用到的时候才去读,分摊了负载,也可以得到缓解

    1.1K40

    命令行 一键完成 所有R包更新

    (一)msigdbr 有没有办法解放双手,后台更新R包,避免一直看着更新的进度条?...解决办法命令行中实现BiocManager::install(version = "3.18"),即在R的命令行界面之外安装Bioconductor版本或R包,可以通过调用R脚本执行。...Bioconductor,并自动更新所有包而无需询问BiocManager::install(version = "3.18", ask = FALSE)​​ 第二步 使用Rscript命令执行上述R脚本...下面对每个部分进行解释:​nohup: 这是一个命令,意为"no hang up",用于让命令在后台一直运行,即使用户退出登录或终端关闭。yourcommand: 这是你要在后台运行的命令。​...这条命令将会执行脚本,安装指定版本的Bioconductor,并在需要时自动更新所有包,无需任何用户交互。 这种方法适合于自动化脚本或在无法进行交互式操作的环境中执行,如在批处理作业、自动化脚本。

    31610

    TPU使用说明

    运行 ctpu pause 或 gcloud compute tpus stop 即可停止 TPU。同样,只有在虚拟机激活之后,我们才会向您收取虚拟机费用。...1.2 实用查询链接 Compute Engine 价格表 Compute Engine 价格计算器 1.3 价格计算实例 以下示例解释了如何计算一项训练作业的总费用,该作业使用美国区域的 TPU 资源和...为了计算该训练作业的总费用,这家机器学习研究机构必须将以下几项相加在一起: 所有 Compute Engine 实例的总费用 所有 Cloud TPU 资源的总费用 资源 每小时每台机器的价格(美元 )...$45.00 _ $45.95 使用抢占式 TPU 的价格示例 在以下示例中,使用的资源和时长与上例相同,但这一次该研究机构决定使用抢占式 TPU 来节省成本。...我在删除的时候没有加name,虽然命令行结果显示删除成功,但是后面我在控制台查看资源使用情况,发现VM实例依旧存在。所以最保险的办法命令输完后,去控制台看看实例是否还存在。

    1.5K30

    大数据ETL开发之图解Kettle工具(入门到精通)

    ) Pan.bat / pan.sh:利用Pan可以用命令行的形式执行由Spoon编辑的转换和作业 Kitchen.bat / kitchen.sh:利用Kitchen可以使用命令调用由Spoon编辑好的...&插入/更新 更新和插入/更新,这两个控件是kettle提供的将数据库已经存在的记录与数据流里面的记录进行对比的控件。...企业级ETL 经常会用到这两个控件来进行数据库更新的操作 两者区别: 更新是将数据库表中的数据和数据流中的数据做对比,如果不同就更新,如果数据流中的数据比数据库表中的数据多,那么就报错。...插入/更新的功能和更新一样,只不过优化了数据不存在就插入的功能,因此企业里更多的也是使用插入/更新。...;Group , merge , stream lookup,split field这些操作都是比较慢的,想办法避免他们.

    13K920

    超适合小项目的 K8S 部署策略

    更新应用程序后应该如何推出新变化?(停止服务、部署代码、重启服务?如何避免停机?) 如果搞砸了部署怎么办?有什么方法可以回滚? 应用程序是否需要使用其他服务?又该如何配置这些服务?...你在工作时是否也是这样的状态:我上次运行了什么命令?当时服务器在运行什么服务?这让我想到了著名的 bash.org: hm....安装完成后,你可以通过运行以下命令进行设置: gcloud auth login 你还需安装 Docker,将其连接到 GCR 上,方便你进行容器推送: gcloud auth configure-docker...gcloud components install kubectl gcloud config set project PROJECT_ID gcloud config set compute/zone...COMPUTE_ZONE gcloud container clusters get-credentials CLUSTER_NAME 构建 Web 应用程序 你可以使用任何编程语言构建 Web 应用

    2.4K30

    如何在Kubernetes上使用Istio Service Mesh设置Java微服务?

    自此以来,该帖子已更新,可以使用最新版本的JHipster(6.3.0)和Istio(1.3.0)。 Istio现在是DevOps和Cloud领域中最酷的子项目。...安装并使用您的GCP帐户登录(如果您还没有免费帐户,则可以创建一个免费帐户)。 您可以使用以下命令设置区域和区域,也可以在执行每个命令时通过zone选项。...GCP项目,您可以使用现有的项目,也可以使用GCloud CLI通过以下命令创建一个新项目: $ gcloud projects create jhipster-demo-deepu 设置要用作默认项目的项目...: $ gcloud config set project jhipster-demo-deepu 现在,让我们使用以下命令为我们的应用创建集群: $ gcloud container clusters...外部IP在这里非常重要,让我们将其保存到环境变量中,以便我们可以在其他命令使用它。

    3.8K51

    2018年10月16日 Go生态洞察:App Engine新Go 1.11运行时发布

    这次更新不仅带来了对Go社区长期以来需求的支持,而且还包括了对云应用开发模式的重大改进。让我们一起探索这一刷新人心的技术进展!...今天,我要介绍的是Go 1.11运行时在App Engine标准环境中的应用,这一全新更新旨在提供完整的App Engine体验,同时支持Go的惯用模式。...应用结构与依赖管理 Go 1.11在App Engine中支持更灵活的应用结构和包的使用。...完成所有设置后,可以使用一个命令进行部署: gcloud app deploy Go开发者的新机遇 Go开发者会发现,对App Engine的这次Go 1.11运行时更新是对可用选项的一个激动人心的补充...的过程 外部依赖处理 支持vendor目录和go.mod文件 部署 通过Cloud SDK使用gcloud app deploy命令进行部署 总结 本文被猫头虎的Go生态洞察专栏收录,希望大家喜欢这次对

    9010

    Flink分布式运行时环境

    任务执行器连接作业管理器,并告知它可用,再接受任务分派。 客户端不是运行环境和程序执行的一部分,但是它要来准备和向作业管理器发送数据流程任务。...客户端可以用java/Scala程序来触发执行,也可以用命令行来执行,例如:./bin/flink run …。...默认情况下,Flink允许子任务共享执行槽,甚至不同任务的子任务之间都可以共享,只要他们是属于同一个作业的 。结果是一个执行槽可能有作业的两个全部数据流管道。允许执行槽共享有两个好处。...Savepoints 保存点 用数据流API写的程序可以从一个保存点恢复执行。保存点可以在不丢失状态的情况下更新你的程序和Flink集群。...保存点会在下面的情况下被创建:可以通过命令行或者用 REST API撤销一个作业的时候。

    91530

    Spring Cloud Data Flow 2.3 正式发布

    从开发人员的角度讲,任务/批处理作业的开发要经历典型的工作流程,包括编写代码、测试和迭代。但是,从部署角度看,任务/批处理作业应用的逐步改进通常是离线进行的。...4、新添加的调度组件在随后的任务启动时,能够再次以智能方式确定最近的应用版本(如果有),并重复利用任务/批处理作业的现有元数据。 5、可以使用更新版本的任务/批处理作业应用重启任务或组合任务的定义。...为了在本地、Cloud Foundry和Kubernetes环境之间打造一致的开发人员和部署体验,我们简化了在SCDF中针对流式传输和批数据流水线使用Prometheus的操作。...安全方面的改进 SCDF和Skipper中提供了更新、更简洁的安全集成。 我们使用最新的Spring Boot 2.2和Spring Security 5.2上游版本重新设计了安全组件。...开发人员可以用命令式或响应式编程风格或以两者组合的方式来实施功能。 新功能 · 将Kafka Streams处理程序表示为Plain Old Java Functions。

    1.3K30

    Flink State 可以代替数据库吗?

    有没有可能用 State 来代替数据库呢? 在这个课题上,Flink 社区是比较早就开始探索的。...总体来说,目前 State 代替数据库的缺点还是远多于其优点,不过对于某些对数据可用性要求不高的作业来说,使用 State 作为数据库还是完全合理的。...2,000 用 Keyed State ,我们分别注册 group_score 和 group_time 两个 MapState 表示组总得分和组总时长,并根据 user_group keyby 数据流之后将两个指标的累积值更新到...在 MySQL 中,我们可以通过简单的一行命令 ALTER TABLE xxx ENGINE = InnoDB; 来改变存储引擎,在背后 MySQL 会自动完成繁琐的格式转换工作。...总 结 State as Database 是实时计算发展的大趋势,它并不是要代替数据库的使用,而是借鉴数据库领域的经验拓展 State 接口使其操作方式更接近我们熟悉的数据库。

    2.1K10
    领券