最近梳理了一下如何用 Flink 来实现实时的 UV、PV 指标的统计,并和公司内微视部门的同事交流。然后针对该场景做了简化,并发现使用 Flink SQL 来 实现这些指标的统计会更加便捷。
作者:冯伟源,高级工程师,腾讯云Redis系统运维负责人。6年DBA经验,一直从事SQL优化、实例调优、数据库架构、海量数据库集群运维、运营平台建设和管理等工作。为 QQ、Qzone、QQ音乐、微云、腾讯云等业务提供数据库服务。
作者:吴云涛,腾讯 CSIG 高级工程师 导语 | 最近梳理了一下如何用 Flink 来实现实时的 UV、PV 指标的统计,并和公司内微视部门的同事交流。然后针对该场景做了简化,并发现使用 Flink SQL 来 实现这些指标的统计会更加便捷。 一、解决方案描述 1.1 概述 本方案结合本地自建 Kafka 集群、腾讯云流计算 Oceanus(Flink)、云数据库 Redis 对博客、购物等网站 UV、PV 指标进行实时可视化分析。分析指标包含网站的独立访客数量(UV )、产品的点击量(PV)、转化率(
作者:吴云涛,腾讯 CSIG 高级工程师 导语 | 最近梳理了一下如何用 Flink 来实现实时的 UV、PV 指标的统计,并和公司内微视部门的同事交流。然后针对该场景做了简化,并发现使用 Flink SQL 来 实现这些指标的统计会更加便捷。 一 解决方案描述 1.1 概述 本方案结合本地自建 Kafka 集群、腾讯云流计算 Oceanus(Flink)、云数据库 Redis 对博客、购物等网站 UV、PV 指标进行实时可视化分析。分析指标包含网站的独立访客数量(UV )、产品的点击量(PV)、转化率(
云原生在近几年的发展越来越火热,作为云上最佳实践而生的设计理念,也有了越来越多的实践案例,而一个个云原生案例的背后,是无声的巨大变革。 腾讯云主办首个云原生百科知识直播节目——《云原生正发声》。直播内容围绕云原生领域,覆盖实时的云原生技术、实践、性能优化、前沿趋势、云原生案例分享、企业云开发者成长路径、就业等等内容。 《云原生正发声》,2021年国内首个云原生百科知识直播节目,将在每周二晚19:30 准时开播。通过本直播节目帮助云原生技术使用者和爱好者加深云原生技术的理解,同时推动云原生与企业IT的融
前言 作为 CNCF 定义的云原生关键技术之一,服务网格发展至今已经有五个年头了,其发展目前正处于大规模落地及生态发展阶段。 服务网格是一个专门处理服务通讯的基础设施层。它的职责是在由云原生应用组成服务的复杂拓扑结构下进行可靠的请求传送。Istio 是一个开源的服务网格实现产品,以透明的方式构建在现有的分布式应用中。 服务网格 TCM 服务网格(Tencent Cloud Mesh, TCM)是一致、可靠、透明的云原生应用通信网络管控基础平台。100% 兼容支持 Istio API,TCM 与腾讯云基础设施
导语 | 最近梳理了一下如何用Flink来实现实时的UV、PV指标的统计,并和公司内微视部门的同事交流。然后针对该场景做了简化,并发现使用Flink SQL来实现这些指标的统计会更加便捷。 一、解决方案描述 (一)概述 本方案结合本地自建Kafka集群、腾讯云流计算Oceanus(Flink)、云数据库Redis对博客、购物等网站UV、PV指标进行实时可视化分析。分析指标包含网站的独立访客数量(UV)、产品的点击量(PV)、转化率(转化率=成交次数/点击量)等。 相关概念介绍: UV(Unique
作者介绍:邹鹏,腾讯云数据库Redis产品负责人,多年数据库、网络安全研发经验。在网络、计算、存储、安全等领域有深入的研究和丰富的产品化经验。 在Redis、MySQL等数据库的高可用、高可靠和中间件方面有丰富的实践经验。
当下,随着数字化技术不断深入,愈来愈多企业将核心业务搬到线上。业务系统高可用、可扩展、容灾能力决定企业系统的连续性,中间件作为构建企业核心系统的重要组成部分,其高可用容灾能力也将决定应用系统的。本文结合腾讯云中间件各PaaS产品的容灾能力及实践,以一个行业头部客户业务容灾实践举例,来展开说明基于腾讯云中间件PaaS层相关产品的实践。
随着数字化进程的加快,数据逐渐成为数字时代的基础性战略资源和革命性关键要素。作为数据存储与计算的基础软件,数据库对于筑牢数字经济底座至关重要。数据库支撑着经济社会活动的关键核心业务,几乎所有的应用软件都需要基于数据库进行存储、管理和分析。在国产自研数据库不断创新的情况下,其在安全、稳定、高效性方面的优势持续凸显,市场占有率也在日益扩大。 近日,腾讯云数据库进入 Gartner 数据库魔力象限,在 OLTP(TDSQL/TDSQL-C)及轻量级 TP 能力(KeeWiDB)得分均为国内第一。作为 IT 圈公认
前几天腾讯的技术开放日不知道有没有小伙伴看过,这次 TechoDay 的命题作文,是全方位、多角度地分享「信息系统迁移难点和解法」。
随着移动互联、物联网技术的发展,多终端应用的时代悄然而至,数据量呈井喷式增长。数据库行业迄今已有数十载,当下数据库除了要有高稳定性、强容错性和高安全性等特性之外,还应具备海量、实时、在线的数据分析能力。 根据Gartner数据显示,预计2022年后,75%的数据库都将运行在云上,云数据库的重要性和价值日益显现,而云原生,也将成为云上新的研发标准。至此,云服务模式的部署成为了主流,数据库以及存储系统也将受到云原生架构的影响。那么,企业将数据库云上部署时,该如何选型?可用性、可靠性、高并发、性能、稳定性等难题
导语:传统行业转型的过程中,腾讯向来扮演的是数字化助手的角色,腾讯云作为帮助企业数字化转型的入口,也已经成为腾讯的“独角兽”业务。 然而伴随着云业务的增长,腾讯内部业务如何上云,对于外界来说一直是个秘密。近日,腾讯自研上云项目负责人周小军首次披露,腾讯如何把内部海量的自研业务搬上云端的故事。以下是他的分享内容。 大家好,我今天分享的核心内容有三个: 腾讯自研业务如何从私有云的模式搬迁到公有云; 如何把这些大体量的业务搬到云端; 如何拥抱云原生。 腾讯的业务量非常庞大,社交业务包括QQ和空间的体量有
当你提到数据库,就不得不提Oracle。整个数据库行业,谈论技术无出Oracle其右者,Oracle浸淫数据库领域多年,早已将这个行业吃透。几乎所有的数据库,不管是商用数据库还是开源数据库,都是照着Oracle模式在走,包括交易模型中的数据处理等层面更是如此。
日益剧增的数据洪流与变革迅速的新兴业务,既引发了互联网企业对数据库技术的重新思考,也带来了传统行业对数据库应用的二次迷思。以灵活、易扩展著称的 NoSQL 在企业数字化转型的过程中,究竟发挥着怎样的作用?其重要性体现在哪?未来 NoSQL 数据库又将迎来怎样的发展?
雷畅 腾讯云高级工程师。拥有多年云原生/可观测/性能压测领域的研发经验,目前主要负责腾讯云可观测-云压测(PTS)产品研发。 导语 | 作为应用服务的提供者,在面对产品或新功能上线、活动大促(618、双十一)等重大变更时,明明一切看似无懈可击,到了关键时刻,却不知哪个“系统刺客”在偷偷地 kill 您的系统?我们如何才能“底气十足”地保证系统稳定,在这竞争激烈的时代留住“日益挑剔”的用户?正所谓 Testing is believing,这需要测试、测试、再测试! 前言 近日,腾讯云可观测平台-云压测 (P
今天分享的主题分三个部分。第一部分,跟大家介绍一下腾讯课堂和企鹅辅导这两款产品。第二,讲一下课堂直播系统,和腾讯云这边的具体实践案例。第三,谈一下在线教育的房间系统设计方案和这几年过程中的优化效果。
数据库行业并非新兴行业,在它 40 多年的发展过程中经历了多个时代的演进,也发展出了各种细分类型下的数据库产品,最近几年时间国产数据库也加入了激烈的市场竞争之中。纵观数据库产品江湖,武林大会同台竞技,谁是最强王者?
作者 | 贾驰千、余智平 酷家乐中间件团队研发工程师 随着云数据库数量以及成本的迅速增加,数据库成本管理和优化成为了企业所关注的方向。酷家乐针对云数据库做了一系列的深度成本优化动作,收益颇丰。本文为详细介绍~ 供你参考。 一、背景摘要 近年来,随着上云的普遍化,降本成为了备受关注的热门话题。越来越多的企业开始重视云资源的成本优化,FinOps更是横空出世,得到了众多企业的拥抱。 作为全球领先的云设计软件平台和 SaaS 服务提供商,(群核科技)酷家乐的产品都构建在公有云之上,截止目前,我们使用了上
https://cloud.tencent.com/document/product/239/17952
赵化冰,腾讯云高级工程师,Istio Member,ServiceMesher管理委员,Istio 项目贡献者, Aerika 项目创建者 ,热衷于开源、网络和云计算。目前主要从事服务网格的开源和研发工作。 唐阳,知乎基础架构工程师。Istio 项目贡献者,Argo 项目贡献者,专注于开源,云原生与微服务。目前负责知乎服务网格的研发工作。 本文根据腾讯云高级工程师赵化冰和知乎基础架构工程师唐阳在 IstioCon 2021 中的演讲 “How to Manage Any Layer-7 Traffic
受疫情影响,多数企业员工目前无法回到写字楼办公,学生推迟开学,稳定高效的进行远程办公和直播授课成为2020年的开年刚需。2月,腾讯宣布疫情期间免费开放可支持300人在线会议的腾讯会议,央视新闻联播对此也给予了报道。 出生不久的腾讯会议瞬间成为了一款国民会议软件,海量用户呈几何级爆发涌入,1月29日开始到2月6日,腾讯会议每天都在进行资源扩容,日均扩容云主机接近1.5万台,8天总共扩容超过10万台云主机,共涉及超百万核的计算资源投入,2月10日,腾讯会议后台服务器请求数增长了5倍。 那么腾讯会议是如何做到
作为这个时代码代码的秃头人员,对Redis肯定是不陌生的,如果连Redis都没用过,还真不好意思出去面试,指不定被面试官吊打多少次。
“到2023年,世界上3/4的数据库都会跑在云上。重复造轮子的企业不会走得太远,腾讯愿意做让企业站在自己肩膀上的巨人”
企业业务敏感程度差异,对容灾指标RPO&RTO要求也不同。之前两篇文章主要介绍数据冷备,主要特点是数据备份存储非实时,备份系统存储数据通常昨天的数据,当灾难真正来临的时候,今天新产生的数据会丢失情况。对于企业核心业务来讲,业务恢复(RTO)可以接受小时级别,但是对于数据无法接受丢失,即RPO接近为“零”。结合腾讯云数据备份能力,本文重点介绍数据热备解决方案,旨在让客户上好云,用好云,管好云。
本文根据王义成在【第十三届中国数据库技术大会(DTCC2022)】线上演讲内容整理而成。
业内,常见的redis数据迁移方式有以下三种:aof(日志文件)、rdb(快照文件)、replication(主从复制)。 其中,aof和rdb两种方式适用于跨网络(网络隔离)的redis实例之间的数据迁移,通过:在源实例上执行指令(bgrewriteaof/bgsave)生成aof或者rdb文件 -> 下载数据文件 -> 上传数据文件 -> 启动目标实例 -> 完成数据迁移。aof和rdb的差异,主要体现在数据格式和数据加载速度两个方面,前者是纯文本格式(redis文本协议的流水记录),加载的过程相当于历史重放,而后者是二进制格式,直接进行加载,所以一般情况下rdb数据加载会比aof加载快!这也是网上建议使用rdb做跨网络数据迁移的一个重要的原因。
Istio 社区全球首届 IstioCon线上会议将于北京时间 2021年 2 月 22 日至 26 日 举办。 本次会议将有来自全球 60+ 技术专家的干货分享,内容包括Istio技术实战、业务应用案例实践、手动实验室,以及来自 Istio 生态发展的系统内容呈现,包括 Istio 社区未来发展走向等,干货内容多多,非常值得期待。 并且,所有人均可免费报名参加! 作为近两年火热的话题,大家也非常关注 Istio 未来的走向,腾讯云容器团队作为早期深度参与的成员之一,也将参与本次大会,并且携手知乎的
邹鹏,腾讯高级工程师,腾讯云数据库Redis负责人,多年数据库、网络安全研发经验。在网络、计算、存储、安全等领域有深入的研究和丰富的产品化经验。 在Redis、MySQL等数据库的高可用、高可靠和中间件方面有丰富的实践经验。
6月15日,由中国信通院主办的以 “原生聚力,云数赋能”为主题的“2022云原生产业大会”在北京举行。凭借创新技术和领先实践,腾讯云云巢荣获“云原生技术创新案例”奖。 腾讯云云巢是腾讯云自主研发的一站式云原生有状态服务平台,基于Kubernetes容器化架构,为各类有状态服务提供统一的集群管理、资源管理和应用管理能力,助力各有状态服务(如数据库,消息队列,共识系统等)快速完成容器化升级和上线服务。 云巢抽象和沉淀了各类有状态服务的领域模型和属性。各有状态服务借助云巢,无需进行复杂的云原生化技术攻坚,只需配
业务应用层是整个系统流量枢纽,核心业务存在单点或者自愈能力弱,都会造成严重影响业务稳定性。例如,核心业务模块和非核心业务模块高度耦合,从资源成本上来考虑,实际上并不是所有业务均需要做容灾建设,需要加入人力成本对业务进行改造;如果对于延时敏感业务,无法接受跨区延时,需要投入更多人力来进行架构和业务上改造。综上所述,本文从云平台视角出发阐述应用层业务容灾建设,主要分为方案设计考虑纬度、复杂度以及云上客户案例三个方面。
这次过来主要是和大家分享一下,腾讯云上个月正式上线的Redis4.0集群版的相关内容,跟大家分享我们在做集群版的时候有哪些思考,我们怎么去设计整个系统架构,最终我们做了哪些东西。大概会有三个点,第一个点是说Redis的使命,我们看Redis是什么产品,为什么这么火,第二块就是腾讯云Redis4.0集群设计经历了哪些思考,最终做成什么样子,最后是2018年年初,登录到腾讯云的自研兼容Redis协议的CKV引擎,他是怎么样的一个架构设计。
2021年3月 VOL:11 腾小云告诉你最前线的产品新特性, 总有一款让你心动~ 云说新品 容器产品新特性 3月上新 腾讯云边缘服务TKE@Edge 从中心云管理边缘云资源的容器系统 边缘容器服务(Tencent Kubernetes Engine for Edge,简称 TKE Edge)是腾讯云容器服务推出的用于从中心云管理边缘云资源的容器系统。 TKE Edge边缘容器服务开源版——SuperEdge 正式发放v0.2.0 版本,支持灰度发布、新增Sta
默认情况下,云开发的函数部署在公共网络中,只可以访问公网。如果开发者需要访问腾讯云的 Redis、TencentDB、CVM、Kafka 等资源,需要建立私有网络来确保数据安全及连接安全。
本文分享了腾讯云某业务基于 DeepFlow 的可观测性实践。面对复杂的业务服务(800+)和多样的编程语言,腾讯云某业务团队选择了 DeepFlow 作为跨语言、无侵入的可观测技术。与其他技术(如 Hubble 和 Pixie)相比,DeepFlow 在数据指标、协议支持和扩展能力等方面表现优异,成为最佳选择。引入 DeepFlow 后,腾讯云通过与现有系统的集成,实现了统一的服务性能监控和高效的故障排查能力,显著提升了运维效率,甚至能主动发现业务隐藏的 Bug,防范于未然。
主讲人 | 腾讯云数据库副总经理-王义成 张康 编辑整理 量子位编辑 | 公众号 QbitAI 6月中旬起,量子位发起了以数据库为主题的系列公开课,邀请来自腾讯云、浪潮、蚂蚁集团等头部企业的数据库技术线负责人,围绕数据库的行业现状、趋势与技术进展等内容,以线上直播的形式为大家带来3期分享。 6月17日第一期直播中,腾讯云数据库副总经理—王义成全面剖析了全球数据库的发展历程,同时分享了如何将云计算、新基建、数据库的能力进行融合创新,以及自主创新研发新型国产数据库技术背后的历程。此外还结合实际金融案例,详细介
默认情况下,云开发的函数部署在公共网络中,只可以访问公网。如果开发者需要访问腾讯云的 Redis、TencentDB、CVM、Kafka 等资源,需要建立私有网络来确保数据安全及连接安全。本文会演示如何在云开发的函数中使用 Redis,如需访问其他数据库资源,也可以参考本文的思路。 ▌Redis 介绍及应用场景 Redis 是一个开源的 In-Memory 的 NoSQL 数据库,可以用作数据库、缓存和消息中间件。支持多种类型的数据结构,如字符串(strings)、散列(hashes)、列表(lists)
作者:张加浪 腾讯云监控高级工程师 背景 十年一次的人口普查是涉及全国十几亿人的重大事情,每次人口普查都是对国人的一次梳理,国家和人民都十分重视。随着技术的不断创新,人口普查的普查方式也在不断升级,从人工加算盘到人工加老式计算机,再到卫星传感。 在第七次全国人口普查 (以下简称 “七人普”) 的到来之际,国家决定通过 “电子化方式普查登记,腾讯提供技术支持” 更快更准的普查方式,即实行云端普查登记。 七人普主要通过小程序方式进行制证、普查员注册、人口普查等,700 万的普查员,十几亿的普查对象,服务必
作者:冯伟源,高级工程师,腾讯云Redis系统运维负责人。6年DBA经验,一直从事SQL优化、实例调优、数据库架构、海量数据库集群运维、运营平台建设和管理等工作。为QQ、Qzone、QQ音乐、微云、腾讯云等业务提供数据库服务。 ---- 腾讯云Redis自2015年诞生以来,爆发式增长,为上万家客户提供服务。作者作为唯一的运维负责人,面对三大挑战时如何破解? 元信息的一致性管理 万台设备高效运维 如何实现智能调度 解读腾讯云Redis 腾讯云Redis是基于腾讯内部分布式缓存领域在QQ、音乐、Qzone
收到客户反馈:云上CVM通过专线访问云下IDC-A Redis数据库时存在偶发性延时超过1S现象,需要配合客户定位处理。
导语| 远程办公期间,在线会议用户需求激增,腾讯会议8天完成100万核云服务器扩展,Redis集群仅在半小时以内就高效完成了数十倍规模的扩容,单集群的扩容流程后台处理时间不超过30分钟。在这背后,腾讯云Redis是如何做到的呢?本文是伍旭飞老师在「云加社区沙龙online」的分享整理,详细阐述了腾讯云Redis无损扩容的实践和挑战。
推广大使应在腾讯云推广许可范围内,使用正当的手段方式进行推广,不应进行任何欺骗或虚假性质的推广行为,包括但不限于:
今年疫情带来的挑战很明显,远程办公和在线教育用户暴涨,从1月29到2月6日,日均扩容1.5w台主机。业务7×24小时不间断服务,远程办公和在线教育要求不能停服,停服一分钟都会影响成百上千万人的学习和工作,所以这一块业务对于我们的要求非常高。
本文由极客时间整理自腾讯云微服务中心高级研发工程师丁硕青在 QCon+ 案例研习社的演讲《大规模分布式架构中 API 限流技术探索与实践》。 作者|丁硕青 编辑|王丽娜 你好,我是丁硕青,目前在腾讯云负责 API 网关等中间件产品的研发工作,工作以来主要从事云计算相关的项目,也从 0 到 1 经历过不少项目的落地。今天主要想跟你聊一下在分布式架构中,我们应该如何设计和选择一个最适合的 API 限流技术方案。 接下来,我会从以下四个章节来进行介绍: 为什么需要限流 常见限流算法 分布式限流技术要点
618大促来临,在零点的时候,你打开购物车、点点点、清空,整个过程一气呵成。但背后,成千上万的数据在马不停蹄、加速流转,以保障消费体验流畅有序。 腾讯云和数据库服务是背后默默守护的“无名英雄”。电商订单、支付、物流等核心链路,都是以数据库为基础。一旦数据库成为瓶颈、或任何细微的疏忽,整个618大促将会变成一个大型“灾难现场”。 一场电商大促,涉及到的数据量有多大? 以一个消费者的购买过程为例,一次下单行为,对于后端数据库就有多次读写调用;如果是秒杀场景就会产生“热点更新”的问题,更是对数据库内核优化能力
领取专属 10元无门槛券
手把手带您无忧上云