首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Pulsar 在腾讯稳定性实践

基于以上三个方面的问题,开源方案遇到的挑战也有三个方面: 百万级 Topic 支撑,如何保障性能稳定性? 生产级运维要求,如何快速预警排查定位问题? 多业务场景共享,如何精细化安全管控和治理?...性能稳定性:Pulsar 里有缓存的概念,那么缓存的有效性命中率有多高,在共享的场景下需要做判断或者压测,需要做缓存的集中式的管理,包括对整个 Pulsar 存储场面 BK 的一些稳定性的优化。...支持 OHC+LRU 的全局缓存策略,修复 BK 稳定性 Bug Fix,性能稳定性会有较大提升。...》 《微服务上快速入门指引》 《Apache Pulsar 在微信大流量实时推荐场景下的实践》 《好未来基于北极星的注册中心最佳实践》 《百万级 Topic,Apache Pulsar 在腾讯稳定性优化实践...》 《预告|ArchSummit 全球架构师峰会杭州站即将盛大开幕》 《千亿级、大规模:腾讯超大 Apache Pulsar 集群性能调优实践》 《原生时代的Java应用优化实践》 《SpringBoot

1.8K60

腾讯超高网络性能主机揭秘

腾讯推出网络优化型实例,实现最高450w PPS的虚机网络转发性能以及多达25Gbps的网络吞吐性能,网络延时大大降低。...既可以满足用户高速计算的需求,也让用户能够在虚拟化网络中得到媲美物理机的性能体验。 那么腾讯网络优化型实例是如何做到这一性能的呢?...为了解决这个问题,腾讯引入智能网卡和DPDK两种专用高性能报文处理平台。...为了解决这个问题,腾讯将vSwitch拆分成快速路径和慢速路径。慢速路径负责连接首包的路由/ACL/安全组等规则执行,快速路径负责连接后续包的快速处理。...通过分离式架构设计,腾讯实现了最高450w PPS的网络转发性能以及多达25Gbps的网络带宽,网络延时大大降低,实现接近物理网卡的网络延时。同时,保持了已有的VPC网络的用户体验的一致性。

19.3K00
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    百万级 Topic,腾讯的 Apache Pulsar 稳定性实践

    在实际的生产实践中,腾讯针对 Apache Pulsar 做了一系列的性能优化和稳定性功能方面的工作,来保障用户在不同的场景下系统的稳定高效的运行。...本文围绕腾讯近一年在 Pulsar 稳定性性能方面优化最佳实践。 Pulsar 在腾讯百万级 Topic 上的应用 为什么选择在生产环境中使用 Pulsar?...腾讯团队针对上述问题,一方面剥离了 Metadata Store 线程池,另一方面通过服务监听来定位和发现 Web 服务的性能较弱的位置,去做进一步的优化处理。...为此团队使用了 OHC + LRU 的策略,避免了缓存情况导致的剧烈波动,效果如下图: 总结与展望 本文分享了腾讯云团队在 Apache Pulsar 稳定性上的实践经验,重点介绍了消息空洞的影响及规避措施等最佳实践...作者介绍 冉小龙,腾讯高级研发工程师,Apache Pulsar Committer,RoP maintainer,Apache Pulsar Go Client、Pulsarctl 与 Go Functions

    1K30

    腾讯性能计算,助力上超算

    在本次会议上,腾讯高级计算产品经理邹弘宇 Leonard 就腾讯性能计算产品展开分享,为大家系统介绍了黑石高性能计算集群的产品亮点与应用场景,以及优秀合作伙伴的成功案例。...去年11月,腾讯上线了上高性能计算集群产品,经过数月的推广和版本迭代,已经成功帮助数家大型客户在上部署高性能计算集群,涵盖汽车仿真,增强学习,NLP 训练集群等场景,给客户带来了弹性的上超算新体验...随着基础设施的逐步完善,云端算力大幅提升,高性能计算与云端结合的创新应用和商业模式,正不断为产业和社会发展赋能。 腾讯致力于打造人人都唾手可得的顶尖算力服务,推出了高性能计算集群产品 HCC。...结合全新一代黑石架构,赋予 HCC 集群按需使用,弹性灵活的特性,同时可与腾讯产品体系如云硬盘、文件存储、私有网络等无缝融合,帮助客户打造原生的高性能计算应用。...上高性能计算集群拓扑 作为国内领先的公有平台,腾讯希望成为科研及产业突破的参与者,共建高性能计算生态。HCC 将持续为客户服务,通过科技创新让上超算成为社会发展的水和电。

    3.8K50

    腾讯成都区域性能测评

    作者:admin,发布日期:2017-10-18 阅读:255;评论:0 最近腾讯推出了成都节点,听说性能很好(当然国内都是套路),博主已经入了两年的成都一区服务器,所以出个测评。...Benchmarks Index Score                                        1669.9 然后就是一波网速测试: image.png 总体来说带宽还能跑慢,不过听说腾讯的带宽超售的很厉害...然后看下载速度,一看就知道被限速了,限速30M 最后是我的服务器配置 image.png 最后的话总体来说腾讯还是可以的,不过如果需要带宽质量好就要买阿里的,腾讯的带宽质量没话说,太垃圾 然后我这边测试到成都机房延迟有点大

    8.4K22

    腾讯服务器有什么优势?稳定性怎么样?

    首先我给大家看个链接:腾讯服务器入口 这个链接可以更直观你让你懂得腾讯服务器 服务器 CVM 稳定、安全、弹性、高性能的云端计算服务,实时满足您的多样性业务需求 服务器 CVM 简介 服务器(...CVM 的特性 弹性计算 在腾讯上您可以在几分钟之内快速增加或删减服务器数量,以满足快速变化的业务需求。...管理简单 用户拥有腾讯 CVM 的管理员帐号,对 CVM 有完全的控制权,您可以使用腾讯控制台、API 或 CLI 等工具登录到您的 CVM 实例,进行网络配置更改、重启等重要操作,这样管理 CVM...安全的网络 腾讯 CVM 运行在一个逻辑隔离的私有网络里,通过网络访问控制列表(Access Control List)和安全组,切实保证您上资源的安全性。...服务集成 CVM 与腾讯的大部分业务都可以做到高度集成,比如对象存储 COS,数据库 CDB,私有网络 VPC 等,合力在计算,存储,网络传输方面为用户的各种业务提供完善的解决方案。

    10.6K10

    热门分享预告|腾讯大规模原生平台稳定性实践

    作为业内技术领先的服务商,腾讯TKE稳定性负责人唐聪受邀参会,为大家带来“腾讯大规模原生平台稳定性实践”的相关分享。...分享主题: 腾讯大规模原生平台稳定性实践 分享时间: 2021年11月12日 16:00—16:45 · 讲师介绍 · 唐聪,腾讯TKE稳定性负责人 腾讯技术专家,极客时间专栏《etcd实战课》作者...其次将分享如何通过大规模 etcd 平台的建设等机制,实现自动化的数据迁移、弹性扩缩容等,最终显著提升原生平台的稳定性。...刚准备退场的小被学妹紧紧拉住衣角并恳求小给她申请课程优惠!这不,课程优惠来啦!!! 唐聪(腾讯TKE稳定性负责人、腾讯技术专家),主编的《etcd实战课》,限时秒杀价¥79!先到先得!...往期精选推荐   【原生正发声】共11期视频+PPT技术实践干货集来了(内含腾讯彩蛋) 揭秘有状态服务上  Kubernetes 的核心技术 腾讯TKE-基于 Cilium 统一混合容器网络(

    1.9K30

    百万级 Topic,Apache Pulsar 在腾讯稳定性优化实践

    作者简介 冉小龙 腾讯高级研发工程师 Apache Pulsar committer RoP maintainer Apache Pulsar Go Client、Pulsarctl 与 Go Functions...在实际的生产实践中,腾讯针对 Apache Pulsar 做了一系列的性能优化和稳定性功能方面的工作,来保障用户在不同的场景下系统的稳定高效的运行。...本文围绕腾讯近一年在 Pulsar 稳定性性能方面优化最佳实践。 Pulsar 在腾讯百万级 Topic 上的应用 为什么选择在生产环境中使用 Pulsar?...腾讯团队针对上述问题,一方面剥离了 Metadata Store 线程池,另一方面通过服务监听来定位和发现 Web 服务的性能较弱的位置,去做进一步的优化处理。...》 《Spring Cloud Tencent 1.7 版本最新发布》 《腾讯微服务引擎 TSE 产品动态》 《千亿级、大规模:腾讯超大 Apache Pulsar 集群性能调优实践》 《原生时代的

    1K20

    腾讯前端性能优化大赛】前端首屏性能优化

    1、前言 网站的性能一直是前端工程师努力的方向之一,更加流畅的体验,更加快速的页面呈现,都是好的web网站的指标之一。...这次,就以我的个人博客为例子,从最开始的荒芜状态,向业界网站性能标准“秒开”做一次系统性的性能优化。 以下为初始数据,数据来源使用腾讯RUM性能监控。...Distribution Network,缩写:CDN)是指一种透过互联网互相连接的电脑网络系统,利用最靠近每位用户的服务器,更快、更可靠地将音乐、图片、视频、应用程序及其他文件发送给用户,来提供高性能...--维基百科 简单的理解就是把你需要加载的资源不是放在你自己的服务器上,而是放在一个托管的服务器上,这个托管的服务器有着更好的性能,更稳定的服务,可以为用户提供更快的访达。

    1.6K41

    腾讯项目实践:App 性能监控方案

    什么是 App 性能监控方案 ?...App 性能监控方案(APM) 是将 App 产生的性能数据上报及处理和分析, 提供适度加工的数据, 平台及合适的方法协助应用发现对用户影响最大的性能问题, 并且用累积数据一步步回归验证, 最终使应用数据上报...且CFS可与容器服务PV无缝结合 腾讯服务在项目应用的细节 腾讯容器服务,后台所有容器均依赖容器服务运行 腾讯 Redis, 用于加速Android和iOS堆栈的翻译速度 腾讯 Postgres...数据库,用于结果表的存储及产品配置 腾讯 COS 服务,用于文件存储 腾讯 CDN 服务,用于App配置下发 腾讯 TDF 用于定时计算指标数据并出库到Postgres, 供页面展示 CASE1...我们把TDF 的Flume插件Docker化后, 由Kubernetes做健康检查来维持进程存活并将方案同步给了腾讯的同学, 腾讯的同学积极响应, 并在两天内完成了Flume插件稳定性的提升工作 |

    5.9K00

    【在线分享】腾讯性能硬盘入门与实战

    硬盘CBS,是腾讯推出的一种可扩展、高性能、高可靠云端存储服务。存储不是存储,而是服务。...有的开发者甚至不太在意选择具体哪种硬盘,直到某一天网站开始变得响应迟缓,才发现瓶颈竟然是因为当初选的硬盘性能已无法满足网站的要求。...因此,腾讯技术社区特别邀请到了负责硬盘CBS产品经理和研发工程师进行在线分享,为大家全面地介绍硬盘服务的具体情况,同时分享一些硬盘使用的最佳实践。...,腾讯后台研发工程师 分享提纲 什么是硬盘CBS?...(及存储背景知识) 硬盘都有什么用途? 硬盘CBS主要功能及实操演示 硬盘典型使用案例 实战:如何测试硬盘性能

    5K11

    腾讯前端性能优化大赛火热招募中!

    腾讯首届前端性能优化大赛即将启动,2021年11月29日至2021年12月12日,赛事正式向广大前端开发者与技术达人启动线上招募,一场首屏耗时之间的“巅峰对决”即将上演!...本次赛事您可以针对前端页面性能重要指标做页面加载深度优化,同时还能赢取丰厚礼品哦! 一、赛事介绍 「腾讯前端性能优化大赛」是首届由腾讯监控团队和腾讯+社区联合打造的面向前端开发者的赛事。...参赛用户仅需花费数分钟将业务接入腾讯前端性能监控,并通过对项目的不断优化,降低首屏耗时,提升页面性能,即可争夺比赛排名。...大赛以腾讯前端性能监控为依托,通过统一的首屏耗时衡量标准,实时展示开发者的优化效果。与传统比赛不同,腾讯前端性能优化大赛,鼓励参赛者将实际工作业务和比赛相结合,既能参加大赛,又能优化业务性能。...二、赛事日程 1   报名(2021年11月29日~2021年12月12日) 本次大赛报名环节需事先在腾讯前端性能监控 RUM 上接入应用,并在报名表中填写接入的应用 ID 和该应用归属的腾讯账号

    86630

    腾讯Elasticsearch集群规划及性能优化实践

    腾讯 Elasticsearch Service】高可用,可伸缩,云端全托管。...另外腾讯ES支持单节点挂载多块硬盘,且经过性能压测,3块盘相比于1块盘,吞吐量大约有2.8倍的提升。...目前上的纵向扩容方式有两种:第一种是滚动重启方式扩容,这对集群稳定性会有一定的影响。...因此使用SSD磁盘对于写入性能和IO性能都会有一定的提升,另外腾讯现在也提供了多盘的能力,相对于单盘节点来说,3块盘的吞吐量大约有2.8倍的提升。...另外介绍了一些常见的写入性能优化的建议和方法。能够进一步提升集群的写入性能稳定性。最后介绍了日常运维工作中常见的排查集群问题的方法和思路。希望本文能够帮助到腾讯的每一个ES客户。

    1.4K30

    腾讯容器网络 vpc 对比 vxlan 性能测试

    前言 在腾讯基于VPC(虚拟私有网络)的CVM上使用k8s集群,有两种方式: 使用腾讯官方容器服务CCS 自己搭建k8s集群 使用腾讯官方容器服务CCS时, 会使用专有的VPC容器网络, 节点上会给容器分配一个跟...测试流程简介 通过腾讯容器服务(CCS)创建一个两节点的集群。 通过CCS(或kubectl)创建两个POD, 分布在两个节点上。这两个POD使用的是VPC容器网络。...172.31.0.16 Ready 14d v1.7.8-qcloud 172.31.0.5 Ready 12d v1.7.8-qcloud 查看CCS(腾讯容器服务...vpc-c2n vxlan-c2n 会在当前目录生成bw-[vpc-c2n]-vs-[vxlan-c2n].png和lat-[vpc-c2n]-vs-[vxlan-c2n].png 测试环境和结果 节点配置: 腾讯北京一区...因此,想要在腾讯上使用k8s, 建议还是选择官方CCS。官方CCS由专业团队来提供保障和服务,在网络性能上也有巨大的优势。

    5.8K51

    腾讯Elasticsearch集群规划及性能优化实践

    随着腾讯 Elasticsearch 产品功能越来越丰富,ES 用户越来越多,上的集群规模也越来越大。...另外腾讯ES支持单节点挂载多块硬盘,且经过性能压测,3块盘相比于1块盘,吞吐量大约有2.8倍的提升。...目前上的纵向扩容方式有两种:第一种是滚动重启方式扩容,这对集群稳定性会有一定的影响。...因此使用SSD磁盘对于写入性能和IO性能都会有一定的提升,另外腾讯现在也提供了多盘的能力,相对于单盘节点来说,3块盘的吞吐量大约有2.8倍的提升。...另外介绍了一些常见的写入性能优化的建议和方法。能够进一步提升集群的写入性能稳定性。最后介绍了日常运维工作中常见的排查集群问题的方法和思路。希望本文能够帮助到腾讯的每一个ES客户。

    7.4K120104
    领券