本文根据vivo使用腾讯云产品的实践总结而来,感谢团队同学 LiGuolin 主笔贡献。
作者:厉辉,腾讯后台研发高级工程师,当前在腾讯游戏后台团队工作,熟悉四七层负载均衡以及 API 网关等技术领域,同时也是 CNCF Ambassador 以及 Apache APISIX PMC。 本文是在组内技术分享的发言稿,主要介绍 TGW 基本原理和架构,同时为了加深理解,会辅助对比 TGW 与 LVS(ipvs)的异同。本次分享是偏基础性的 TGW 介绍,不会特别深入技术细节,目的是帮助需要用到 TGW 的同事快速的了解 TGW。 零、引言 TGW,全称 Tencent Gateway,是一套实现多
全真互联时代,音视频技术已然成为企业数字化进程中的关键路径,实时、高清、沉浸的互动体验在各行各业中起到了至关重要的链接与沟通价值。技术的内核更新迭代,新的交互,新的玩法层出不穷,在未来“视界”里如何乘风破浪,抢滩未来,成为行业关注和热议的话题。 3月31日LVS北京站,我们将与大家分享腾讯云音视频在技术探索和应用实践的思考,期待与您一起探讨,共同谱写音视频技术新蓝图。 ▼扫描海报二维码或点击阅读原文报名▼ 腾讯云音视频在音视频领域已有超过21年的技术积累,持续支持国内90%的音视频客户实现云
本文提供视频讲解,详细见地址:https://www.bilibili.com/video/BV1Lt4y1978s
负载均衡 这玩意儿说难不难 但是想做好了太不容易 AWS多番磨练也还在修行的路上 揭秘AWS网络长成史:工程是取舍的艺术 负载均衡LB 主要有面向4层的网络型 和面向7层的应用型负载均衡 虽然各家的名称有差异但实质一样的 网工主要 耕耘目标以NLB为主 目前各大云纷纷引入P4平台 腾讯山海网关:P4可编程交换机的实践 但是在更广阔的天地 由爱奇艺开源的DPVS软件 有着更广泛的群众基础和落地场景 DPVS全称为 “DPDK-LVS” 是基于DPDK的4层负载均衡器 由阿里的LVS修改
"鹅厂网事"由深圳市腾讯计算机系统有限公司技术工程事业群网络平台部运营,我们希望与业界各位志同道合的伙伴交流切磋最新的网络、服务器行业动态信息,同时分享腾讯在网络与服务器领域,规划、运营、研发、服务等层面的实战干货,期待与您的共同成长。 网络平台部以构建敏捷、弹性、低成本的业界领先海量互联网云计算服务平台,为支撑腾讯公司业务持续发展,为业务建立竞争优势、构建行业健康生态而持续贡献价值! 背景介绍 随着腾讯业务的快速发展,腾讯网络所承载的流量也在成倍的增长,网络容量从早年的10G快速增长到100G,1T,1
20年12月24日,在腾讯云数据库品牌升级的时刻,我们也有幸邀请到了平安银行技术负责人李中原分享平安银行分布式数据库TDSQL实践,讲述全球首例银行“大型机”下移背后的故事,以下是平安银行技术负责人李中原的演讲全文: 尊敬的各位领导,各位来宾大家下午好,我是平安银行技术负责人李中原,今天由我代表平安银行给大家分享平安银行在分布式系统建设中的经验。 我的分享有四个部分,第一个是分布式PaaS平台项目,第二个是同城多活的建设,第三个是自动化运维建设,最后是弹性扩容的能力建设。 A+信用卡核心是国内首例由大
在云计算环境中,资源弹性是其核心优势之一。云厂商通过提供按需分配和自动扩展的资源,使得用户可以根据业务需求灵活地调整资源使用,从而实现资源的最优利用。然而,这种资源弹性的实现依赖于云厂商基础网络的高可靠性和高性能。那么,云厂商是如何保证其基础网络的高可靠性和高性能的呢?
工具包下载地址:https://go2tencentcloud-1251783334.cos.ap-guangzhou.myqcloud.com/latest/go2tencentcloud.zip
之所以写这篇文章,还是正好有刚需,我的博客数据库需要迁移使用TDSQ-C的产品,为了提升我博客速度,还是花重金去买了腾讯云数据库TDSQL的产品。
许多传统企业的历史系统使用的都是Oracle数据库,虽然去O是一个方向,但是去O的成本还是较大,所以不少企业在上云的过程中,尝试在云上搭建自己的Oracle数据库。目前主备模式相对简单,已经是普遍使用的方案了,但是Oracle Rac集群的搭建还是面临着许多挑战,本文是一次在腾讯云上搭建Oracle Rac集群的尝试,单SCAN-IP+双节点模式。
一、Nginx安装 1、去官网http://nginx.org/下载对应的nginx包,推荐使用稳定版本 2、上传nginx到linux系统 3、安装依赖环境 (1)安装gcc环境 yum install gcc-c++ (2)安装PCRE库,用于解析正则表达式 yum install -y pcre pcre-devel (3)zlib压缩和解压缩依赖 yum install -y zlib zlib-devel (4)SSL 安全的加密的套接字协议层,用于HTTP安全传输,也就是https yum in
SRT是一个广电中新的传输协议,基于UDP,主要实现弱网时更可靠的推流,比如跨国推流、户外4G网络、易干扰的WIFI环境,详细的介绍可以阅读LVS的拆解SRT:新UDP视频传输协议和UDP成为低延时流媒体关键 选SRT还是QUIC?。 runner365(施维)大神,基于SRS实现了SRT推流,以RTMP/HTTP-FLV/HLS/DASH/HDS等协议分发,欢迎runner365成为SRS的第三位主作者。目前SRT已经合并到了SRS4(develop)分支,详细可以阅读原文查看使用说明。 SRT是直播
TenDB Cluster 是腾讯游戏 CROS DBA 团队提供的 MySQL 分布式关系型数据库解决方案。主要特点包括:透明分库分表、高可用的 MySQL 集群服务,透明及在线的扩容及缩容;使得开发者可以仅专注于业务逻辑的开发及运营,无需编写数据分片逻辑。在海量用户并发情况下,也无须关心存储层的负载压力。
在我们的传统业务中,Nginx 在七层网关场景中应用得很广。但是最近几年由于微服务的盛行。Nginx 上的这套生态链也在不断地进化。
Nginx的优点: 1.性能好,可以负载超过1万的并发。 2.功能多,除了负载均衡,还能作Web服务器,而且可以通过Geo模块来实现流量分配。 3.社区活跃,第三方补丁和模块很多 4.支持gzip proxy 缺点: 1.不支持session保持。意思是:用户找Nginx请求一个PHP的页面,输入了用户名,密码。接着用户可能又开了一个新窗口,新窗口开了后,还是访问之前个的服务器,此时,Nginx会当成一个新的请求来处理,这样可能会导致请求被分发给其它的后端服务器。因为其不支持session保持 2.对后端realserver的健康检查功能效果不好。而且只支持通过端口来检测,不支持通过url来检测。 3.nginx对big request header的支持不是很好,如果client_header_buffer_size设置的比较小,就会返回400 bad request页面。 Haproxy的优点: 1.它的优点正好可以补充nginx的缺点。支持session保持,同时支持通过获取指定的url来检测后端服务器的状态。 2.支持tcp模式的负载均衡。比如可以给mysql的从服务器集群和邮件服务器做负载均衡。此点相比LVS讲,差一些! 缺点: 1.不支持虚拟主机(这个很傻啊) 2.目前没有nagios和cacti的性能监控模板 LVS的优点: 1.性能好,接近硬件设备的网络吞吐和连接负载能力。 2.LVS的DR模式,支持通过广域网进行负载均衡。这个其他任何负载均衡软件目前都不具备。 缺点: 比较重型。另外社区不如nginx活跃。 -------------------------------------------------------------------------------------------------------- nginx lvs 负载均衡 lvs和nginx都可以用作多机负载的方案,它们各有优缺,在生产环境中需要好好分析实际情况并加以利用。 首先提醒,做技术切不可人云亦云,我云即你云;同时也不可太趋向保守,过于相信旧有方式而等别人来帮你做垫被测试。把所有即时听说到的好东西加以钻研,从而提高自己对技术的认知和水平,乃是一个好习惯。 下面来分析一下两者: 一、lvs的优势: * 1、抗负载能力强,因为lvs工作方式的逻辑是非常之简单,而且工作在网络4层仅做请求分发之用,没有流量,所以在效率上基本不需要太过考虑。在我手里的 lvs,仅仅出过一次问题:在并发最高的一小段时间内均衡器出现丢包现象,据分析为网络问题,即网卡或linux2.4内核的承载能力已到上限,内存和 cpu方面基本无消耗。 * 2、配置性低,这通常是一大劣势,但同时也是一大优势,因为没有太多可配置的选项,所以除了增减服务器,并不需要经常去触碰它,大大减少了人为出错的几率。 * 3、工作稳定,因为其本身抗负载能力很强,所以稳定性高也是顺理成章,另外各种lvs都有完整的双机热备方案,所以一点不用担心均衡器本身会出什么问题,节点出现故障的话,lvs会自动判别,所以系统整体是非常稳定的。 * 4、无流量,上面已经有所提及了。lvs仅仅分发请求,而流量并不从它本身出去,所以可以利用它这点来做一些线路分流之用。没有流量同时也保住了均衡器的IO性能不会受到大流量的影响。 * 5、基本上能支持所有应用,因为lvs工作在4层,所以它可以对几乎所有应用做负载均衡,包括http、数据库、聊天室等等。 另:lvs也不是完全能判别节点故障的,譬如在wlc分配方式下,集群里有一个节点没有配置VIP,会使整个集群不能使用,这时使用wrr分配方式则会丢掉一台机。目前这个问题还在进一步测试中。所以,用lvs也得多多当心为妙。 二、nginx和lvs作对比的结果 * 1、nginx工作在网络的7层,所以它可以针对http应用本身来做分流策略,比如针对域名、目录结构等,相比之下lvs并不具备这样的功能,所以 nginx单凭这点可利用的场合就远多于lvs了;但nginx有用的这些功能使其可调整度要高于lvs,所以经常要去触碰触碰,由lvs的第2条优点看,触碰多了,人为出问题的几率也就会大。 * 2、nginx对网络的依赖较小,理论上只要ping得通,网页访问正常,nginx就能连得通,nginx同时还能区分内外网,如果是同时拥有内外网的节点,就相当于单机拥有了备份线路;lvs就比较依赖于网络环境
什么是负载均衡呢?用户输入的流量通过负载均衡器按照某种负载均衡算法把流量均匀地分散到后端的多个服务器上,接收到请求的服务器可以独立的响应请求,达到负载分担的目的。从应用场景上来说,常见的负载均衡模型有全局负载均衡和集群内负载均衡,从产品形态角度来说,又可以分为硬件负载均衡和软件负载均衡。
本文以设计淘宝网的后台架构为例,介绍从一百个并发到千万级并发情况下服务端的架构的14次演进过程,同时列举出每个演进阶段会遇到的相关技术,让大家对架构的演进有一个整体的认知。文章最后汇总了一些架构设计的原则。
防火墙(iptables)基于Netfilter实现,它在Linux内核中的一个软件框架,用于管理网络数据包。不仅具有网络地址转换(NAT)的功能,也具备数据包内容修改、以及数据包过滤等防火墙功能。
要在nginx中配置https,就必须安装ssl模块,也就是: http_ssl_module。
在上一篇文章《岁岁年年人不同——LVS2019多媒体会议见闻(一)》中记录了第一天的见闻,下面来看第二天。
现在除了初创企业,很多大公司也开始将自己的服务部署在共有云平台上,因此公有云的稳定性和可靠性是十分重要的。本文作者作为一个有着十五年经验的运维老兵,对公有云的应用现状和发展趋势有着自己独到的见解。本文从公有云盈利分析、行业现状及发展前景、产品和技术分析等八个方面,比较全面地对公有云进行了剖析。 以下为作者原文。 首先,很抱歉用了“深度剖析”这个吸引眼球的词,其实我都算不上云计算行业内人士,所以认识和见解肯定多有不足之处,权当抛砖引玉,希望各位指教。 本文提纲如下: 一:公有云盈利分析; 二:行业发展前景及市
锲子 和滴滴团队一起战斗的日子已经过去半年了,但那场没有硝烟的战争,至今仍记忆深刻。特作余作文以记之,权作回忆,也当是滴滴打车系统优化经历的一个见证。 那时“滴滴”还叫“嘀嘀”,那时打车竟然有土豪请客。 正好在北京出差。小雪初晴,北大未明,几个乡下人装模作样在这百年学府里感慨着,感叹着,然后转身去了王府井,蘸着酱料吃着鸭,喝着啤酒吹着牛。然后电话响了,一看是BOSS的BOSS,再然后,就有了后面的故事。 “月圆之夜,紫禁之巅,一剑西来,天外飞仙。”——《陆小凤传奇》 曾传说阿里巴巴与四十大盗广发檄文,鼓励
可以,禁用iptables并不会影响LVS的使用。LVS是在Linux内核层面实现的负载均衡技术,其底层并不依赖于iptables进行流量转发。LVS使用IP隧道或网络地址转换(NAT)等技术将来自客户端的流量转发到后端服务器上,而不依赖于iptables规则。
以游戏业务为例,国内游戏厂商在海外发行游戏时,面临的首要问题即怎样在保障功能的情况下,尽量降低异地或海外接入点的访问时延,提升玩家的接入体验。
本文以某个电商为原型,介绍从一百个到千万级并发情况下服务端的架构的演进过程,同时列举出每个演进阶段会遇到的相关技术,让大家对架构的演进有一个整体的认知,文章最后汇总了一些架构设计的原则。
一、Cluster概念 1、系统扩展方式: Scale UP:向上扩展,增强 Scale Out:向外扩展,增加设备,调度分配问题,Cluster 2、Cluster:集群,为解决某个特定问题将多台计算机组合起来形成的单个系统 3、Linux Cluster类型 LB:Load Balacing,负载均衡 HA:High Availability,高可用,SPOF(single Point Of failure) MTBF:Mean Time Between Failure 平均无故障时间 MTTR:Mean Time To Restoration( repair)平均恢复前时间 A=MTBF/(MTBF+MTTR) (0,1):99%, 99.5%, 99.9%, 99.99%, 99.999%, 99.9999% HPC:High-performance computing,高性能 www.top500.org 4、分布式系统: 分布式存储:云盘 分布式计算:hadoop,Spark 二、Cluster分类 基于工作的协议层次划分: 传输层(通用):DPORT LVS: nginx:stream haproxy:mode tcp 应用层(专用):针对特定协议,自定义的请求模型分类 proxy server: http:nginx, httpd, haproxy(mode http), ... fastcgi:nginx, httpd, ... mysql:mysql-proxy, ... 三、Cluster相关 会话保持:负载均衡 (1) session sticky:同一用户调度固定服务器 Source IP:LVS sh算法(对某一特定服务而言) Cookie (2) session replication:每台服务器拥有全部session session multicast cluster (3) session server:专门的session服务器 Memcached,Redis HA集群实现方案 keepalived:vrrp协议 ais:应用接口规范 heartbeat cman+rgmanager(RHCS) coresync_pacemaker 四:LVS介绍 LVS:Linux Virtual Server,负载调度器,集成内核 章文嵩 阿里官网:http://www.linuxvirtualserver.org/ VS: Virtual Server,负责调度 RS: Real Server,负责真正提供服务 L4:四层路由器或交换机 工作原理:VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS,根据调度算法来挑选RS iptables/netfilter: iptables:用户空间的管理工具 netfilter:内核空间上的框架 流入:PREROUTING --> INPUT 流出:OUTPUT --> POSTROUTING 转发:PREROUTING --> FORWARD --> POSTROUTING DNAT:目标地址转换; PREROUTING
创业公司由于时间、人员、资金等各方面的限制,系统需要的各个组件优先选择第三方服务,而不是自己搭建。一个创业开发项目都需要服务器操作系统、开发语言、web服务器、开发框架、数据库、缓存、静态文件存储、日志系统、业务监控、持续集成、代码管理、发布部署系统、文档管理等。现在按这些方面展开来讲。
腾讯云负载均衡点击即用,但是传统的负载均衡需要搭建,下面我们一起来了解一下传统的负载均衡吧
LiveVideoStack:张贤国你好,很荣幸代表LiveVideoStack对你进行采访,能否向LiveVideoStack的读者介绍下自己,以及目前专注的领域。
今天的采访对象是云架构平台部-编码内核组的负责人张贤国,拥有十分华丽的履历。不过更吸引我的是他在北大的十年遇到的两次坎儿,坎儿有多痛,过了坎儿就有多爽。张贤国还在追求极致的路上。 文 / 张贤国 策划采访 / LiveVideoStack LiveVideoStack:张贤国你好,很荣幸代表LiveVideoStack对你进行采访,能否向LiveVideoStack的读者介绍下自己,以及目前专注的领域。 张贤国:很荣幸能成为LVS讲师中的一员。本人2003-2013年就学于北京大学,博士毕业后在Media
前言 今天我们来深度揭秘一下负载均衡器 LVS 的秘密,相信大家看了你管这破玩意儿叫负载均衡?这篇文章后,还是有不少疑问,比如 LVS 看起来只有类似路由器的转发功能,为啥说它是四层(传输层)负载均衡
张贤国:很荣幸能成为LVS讲师中的一员。本人2003-2013年就学于北京大学,博士毕业后在MediaTek从事了两年HEVC相关标准的提案工作,并一作采纳8项提案。2015年加入仟壹后被并购至金山云,专门从事自己富有兴趣的领域——高性能高速视频编码器的研发工作。2017年来到腾讯,作为专家工程师和技术负责人之一,与同事们合力自研了腾讯服务端编码器V265。目前作为云架构平台部-编码内核组的负责人,仍专注于商用视频编解码器的研发工作。
导 语 随着5G和下一代编解码、传输等技术持续演进,音视频通话技术从低延时到超低延时实时通信快速迭代,越来越多应用与服务迁移至线上,越来越真实无损地还原线下体验,新的互动方式和场景不断涌现,从高度数字化到拟真化再到全真互联网时代。本次LiveVideoStackCon 2021上海站我们邀请到了腾讯云副总裁李郁韬来分享音视频的变革趋势、演进以及未来。 演讲 / 李郁韬 整理 / LiveVideoStack 大家好,我是腾讯云的李郁韬。作为LVS的老朋友,回想起去年在电脑前用腾讯会议参加LVS线上圆桌讨论
听说你精通运维?Apache、Nginx、tomcat、vmstat、iftop、awk、sed、sar、iostat、LVS、HA-proxy、MHA、Zookeeper、Zabbix、Nagios、Cacti、Prometheus、shell、python、go、rundeck、ansible、saltstack、puppet、chef、cobbler、fabric、docker、Moby, kubernetes 了解一下?
随着5G和下一代编解码、传输等技术持续演进,音视频通话技术从低延时到超低延时实时通信快速迭代,越来越多应用与服务迁移至线上,越来越真实无损地还原线下体验,新的互动方式和场景不断涌现,从高度数字化到拟真化再到全真互联网时代。本次LiveVideoStackCon 2021上海站我们邀请到了腾讯云副总裁李郁韬来分享音视频的变革趋势、演进以及未来。
负载均衡(Load Balancing)就是一种网络技术,是用来将工作负载分布到多个服务器上,提高资源利用率、最大化吞吐量、最小化响应时间、避免单个服务器过载,提高了系统的性能和可靠性。
CDN的关键技术主要有内容路由技术、内容分发技术、内容存储技术、内容管理技术等,而本文介绍的GSLB是属于CDN中的内容路由技术的关键技术。
首先购买一台云服务器,并在上面安装 MySQL 数据库,然后部署一个 node.js 之类的 HTTP 服务器监听 80 和 443 端口,在 node.js 中连接数据库并实现业务逻辑。最后购买一个域名并配置 DNS 记录指向我们的服务器 IP 地址,这个网站就算搭建完成了。随着不断的努力,我们网站的访问量越来越多。某天早晨当你美滋滋打开网站想要看一眼最新评论时,却发现网站打不开了。。。
公司从去年全面推动业务上云,而以往 IDC 架构部署上,接入层采用典型的 4 层 LVS 多机房容灾架构,在业务高峰时期,扩容困难(受限于物理机资源和 LVS 内网网段的网络规划),且抵挡不住 HTTPS 卸载引发的高 CPU 占用。
恕我见识短浅,不知道Nginx有Windows版本,可以运行在Windows系统下,当初遇到Socket并发压力增长,学习负载均衡的时候,找的是LVS的4层负载均衡,没有考虑7层负载均衡,所以一直不了解Nginx的Windows版本。今天写此教程,就是为了告诉大家怎么在Windows下配置Nginx。
3.session 共享:利用专门的session服务器存储session, 应用程序链接session服务器获取session
虚拟IP(Virtual IP Address,简称VIP)是一个未分配给真实弹性云服务器网卡的IP地址。弹性云服务器除了拥有私有IP地址外,还可以拥有虚拟IP地址,用户可以通过其中任意一个IP(私有IP/虚拟IP)访问此弹性云服务器。同时,虚拟IP地址拥有私有IP地址同样的网络接入能力,包括VPC内二三层通信、VPC之间对等连接访问,以及弹性公网IP、VPN、云专线等网络接入。
领取专属 10元无门槛券
手把手带您无忧上云