社区首页 >问答首页 >是否可以为每个子任务/分区设置一个窗口

问是否可以为每个子任务/分区设置一个窗口
EN

Stack Overflow用户

提问于 2021-01-22 05:13:38

回答 1查看 37关注 0票数 0

我正在使用来自具有多个分区的Kafka主题的数据来处理Flink。有没有可能在每个并行子任务/分区上都有一个窗口，而不必使用keyBy (因为我想避免混乱)。根据文档，我只能在键控窗口(需要混洗)或全局窗口(将并行度降低到1)之间进行选择。

这样做的动机是，我希望使用CountWindow来批处理具有自定义触发器的消息，该触发器也会在设置的处理时间后触发。因此，对于每个Kafka分区，我希望将N个记录一起批处理，或者在将批发送到下游之前等待X个量的处理时间。

谢谢!

apache-flink

flink-streaming

CDN&音视频通信出海专场

提供游戏出海、社交娱乐等方案，助力企业抢占出海市场

回答 1

Stack Overflow用户

发布于 2021-01-22 12:50:26

没有好的方法可以做到这一点。

一种解决方法是在自定义接收器中实现批处理和超时逻辑。您可能希望实现CheckpointedFunction接口以使您的解决方案具有容错能力，并且可以使用Sink.ProcessingTimeService.ProcessingTimeCallback接口来设置超时。

更新：

只需想出另一种解决方案，类似于您下面评论中的解决方案。您可以实现一个发送周期性心跳的定制源，并将其广播到BroadcastProcessFunction。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/65839654

复制

使用gerrit作为代码评审工具

gerrit

需求描述其实作为项目代码的maintainer，一直习惯于mailing list + git的代码评审及管理，无奈公司主推敏捷+devops，老板让改用gerrit。硬着头皮切换到gerrit，在这里记录下安装配置的过程及踩过的许多坑，以便网友们以后配置gerrit留作参考。需求其实很简单，我们项目一直使用公司内部一个类似于github的代码托管网站来托管项目代码，使用邮件列表来评审代码。代码通过评审通过后，我再将patch push到代码托管服务器上去。整个开发流程如下图所示：

宅蓝三木

2018/02/07

2.4K0

代码审查或评审的最佳实践

git

现实情况是，代码审查对于每个参与者来说经常是一种令人不舒服的体验，导致审查变得好斗，无效甚至更糟，根本就不存在代码审查。这是一个快速指南，可帮助您创建有效的代码审查过程。为什么要进行代码审查？在审核您的代码审核流程时要回答的第一个问题是：我们的代码审核的目的是什么？当您提出这个问题时，您很快意识到执行代码审查的原因有很多。您甚至可能会发现团队中的每个人都对他们审核代码的原因有不同的看法。他们可能会认为他们正在审查:

lyb-geek

2019/07/22

1K0

Gerrit 代码评审安装-快速使用手册

gerrit

文章摘自googlesource，因实际安装环境不同文章内容也会对应做修改。本文基于Unix的操作系统解释说明，不推荐直接参照本文就部署在生产环境。

幺鹿

2018/08/21

1.1K0

超级账本-如何贡献

官方文档腾讯云测试服务 gerrit 单元测试

个人感受，文档看的再多，学习的速度也不如参与到项目中去，深入了解实现原理和设计的初衷。文档只能让我们对Fabric的整体运行机制有一个宏观的认识，要进一步深入，就需要从源代码入手，而贡献代码则是一个自然而然的事情，学习的过程中总会发现一些问题和值得优化的地方。所以前阵子顺手翻译了一下Fabric如何贡献相关的官方文档。这篇文章讲解，其中的整体流程和所需用到的工具。如需详细学习，请参考官方文档：

TopJohn

2022/11/11

1.1K0

Git Review + Gerrit 安装及使用完成 Code-Review

gerrit

哎_小羊

2018/01/02

8.4K0

【提问帖】GO中调用redis时，当并发量比较大时出现的问题。

go 云数据库 Redis®

GO中调用redis时，实始化一个连接池，做法也是一般的用户： &redis.Pool{ MaxIdle: beego.AppConfig.DefaultInt("redis::maxidle", 1), MaxActive: beego.AppConfig.DefaultInt("redis::maxactive", 10), IdleTimeout: time.Duration(beego.AppConfig.DefaultInt64("redis::idle_tim

李海彬

2018/03/27

2.2K0

腾讯云搭建git+gerrit代码评审服务器

bash bash 指令 gerrit apache git

这里我安装的是JDK8，安装完成之后输入java -version，出现一下结果说明安装成功了。

哆哆jarvis

2022/08/23

2.4K0

关于conda 更新时权限的问题

anaconda 访问管理

就被告知以下错误：PermissionError(13,'Permission denied)

戈贝尔光和热

2018/12/27

2.1K0

如何向OpenDaylight社区贡献代码

https 网络安全 gerrit git github

本文由两部分构成，第一部分简要介绍了Gerrit的工作原理以工作流程，第二部分结合自己成功提交代码的例子，向大家展示向OpenDaylight提交源码的过程。向开源项目提交代码也没有大家想象的那么难，所以希望日后能够看见大家在OpenDaylight提交代码。 Gerrit概述 Gerrit是一个基于Git的，用于review code commit的框架，无论是OpenDaylight、ONOS或者是OpenStack都使用Gerrit作为他们的代码管理工具。它的最大特点就是，每一个commit都需要被r

SDNLAB

2018/04/02

1.2K0

说透代码评审

腾讯云测试服务编程算法 git github 开源

　　代码如熵，不加外力很容易就会随着代码的不断堆积而发生腐烂和溃败。我们不是不知道代码问题，而是对既成事实难有改变。但是如果站在迭代的角度思考下一次升级，如何确保新的代码质量就显得很有必要，特别是你的代码需要重写的时候，我想你一定会遇到和我一样的问题，我们究竟应该如何保证我们的代码的质量？于是就有了这篇工具型的文章。

架构之家

2022/07/12

7810

jenkins如何集成gerrit

jenkins gerrit 网站 ssh 编程算法

gerrit是一个基于web的代码审查工具，用于git版本控制系统，在代码入库之前对每个提交进行审阅。

用户5521279

2019/12/20

6.1K0

Gerrit代码Review入门实战

gerrit

代码审核（Code Review）是软件研发质量保障机制中非常重要的一环，但在实际项目执行过程中，却因为种种原因被Delay甚至是忽略。在实践中，给大家推荐一款免费、开放源代码的代码审查软件Gerrit。 1、Why Code Review Code Review是什么 Code Review最直观的解释即看代码。常规的做法为自己看，有时代码逻辑问题可能自己看不出来，需要找同事一起看，在大家知识体系相对平均的情况下可能需要花钱专门的公司帮助查看。 Code Review需要看哪些？对于刚入职场或者刚接触到C

个推君

2018/03/21

2K0

如何使用YATAS审查AWS基础设施中潜在的安全问题

github https git 开源网络安全

YATAS是一款针对AWS基础设施安全的强大工具，该工具可以帮助广大研究人员分析和审查AWS基础设施中的错误配置或与插件集成相关的潜在安全问题。

FB客服

2023/02/10

4890

评审的艺术——谈谈现实中的代码评审

amazon code commit helper push

曾经写过一点关于代码评审（code review）的文章，比如这篇和这篇，现在觉得关于它的认识又有了不少更新。软件工程的技术和实践分成两部分，一部分是和书本知识一致的，大约占一半，这部分基本上在大学里就可以学，自学只要方法得当、刻苦努力也可是途径；但是第二部分来自于实际团队、经验，内容通常无法从书本当中获得，而且难说对错，不同的人和不同的经历造就了不同的认识。代码评审就是第二部分颇具槽点，可以大加讨论的典型。

MavenTalker

2019/07/19

3050

当删库时如何避免跑路

sql 数据库云数据库 SQL Server

删库跑路也是个老梗了，可见在运维数据库的过程中误删除数据，或者开发的代码有bug，造成数据的误删除屡见不鲜。不过现在也有许多用于恢复或预防误删除的方案，例如SQL管理系统，将要执行的SQL先交由管理员审核，然后由管理员备份一个镜像数据库，在镜像上执行该SQL，并在执行后还原镜像。这样经过层层把关就可以大大减小出现误操作的几率。

端碗吹水

2020/09/23

9980

评审的艺术——谈谈现实中的代码评审

amazon backbone code helper push

DevOps时代

2019/05/17

5300

评审的艺术 — 谈谈现实中的代码评审

amazon backbone code helper push

DevOps时代

2019/09/26

4360

评审的艺术——谈谈现实中的代码评审

amazon backbone code helper push

四火

2022/07/19

2990

当大模型不是问题时，如何应对 LLM 的工程化落地挑战？

工程化工具开发模型 LLM

几个月前，在 Thoughtworks 的内部 AIGC 研讨会里，我们一直达成了一系列一致观点，诸如于：如果没有 “开源模型” 降低企业应用 LLM 的成本，那么 LLM 会很快消亡。所以，我们相信开源 LLM + LoRA 微调会成为企业的一种主流方式。现今，我们可以看到 LLaMA 2、Code LLaMA 2 等模型在不断刷新这种可能性。

Phodal

2023/09/10

2.1K1

点击加载更多

相似问题

Gerrit代码评审

如何删除Gerrit代码评审中的组？

如何通过包在gerrit中设置代码评审？

如何避免浪费gerrit审查提交？

使用Gerrit进行代码评审

活动推荐

腾讯特效SDK 2.5折起，优惠多多！

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例