2014年,P4作为一种全新的专用编程语言正式进入大众视野,并且在网络界引起了极大地反响和关注。6个年头过去,随着P4的发展成熟,行业生态也逐步走向繁荣。业界首款完全P4可编程芯片Tofino于2016年推出,其后的Tofino 2于2018年推出。本篇将介绍基于可编程交换芯片的硬件负载均衡应用场景。
作者简介:史梦晨,曾就职于国内金牌集成商, 现就职于EANTC( 欧洲高级网络测试中心),研究方向:网络架构,测试,运维(大规模数据中心,SD-WAN,EVPN,Segment Routing, NFV), 邮箱superrace@gmail.com
图1是一个简化的可横向扩容的高可用的四层接入网关的组网图,主要由入口路由(Ingress Router)、负载均衡服务器(Load Director)和真实的服务器(Real Server)构成。使用的技术包括ECMP和LVS(ipvs ipvsadm)。
数据中心的网络拓扑通常采用CLOS结构,主机之间常存在多条路径。数据中心为满足吞吐量敏感型流量的需求会提供大量的带宽资源。那么利用数据中心这种网络拓扑已知,路径资源、带宽资源丰富的特性,可以更好的实现
ECMP(Equal Cost Multi Path),中文名叫等价多路径,是路由里的一项技术,作用是,在IP交换网络中存在到达同一目的地址的多条不同的路径,而且每条路径消耗的资源(Cost)一样的情况下,启用了ECMP功能的路由器就会根据配置策略,将它认定的“等价的IP报文”通过不同的路径均衡地转发出去,使转发达到负载均衡的目的。
平时,我们想要知道,自己的机器到目的机器之间,网络通不通,一般会执行ping命令。
引子 MH370已经消失4个月了,这个严重的灾难也被蒙上了神秘的面纱,找不到消失的任何记录。也意味着,马航无法确保这种事情不会再次发生,人类生活在恐惧中。这就运营者需要面对的压力——避免故障。当飞机过于依赖自动系统,而未对运行状态进行监测的时候,运营者实际上对故障发生、进展、举措是无能为力的。网络上的运营也是一样,如果无法了解网络运行状态,运营也只能靠运气,我们要通过一些技术手段逐步驱散笼罩在运营上空的恐惧。 挑战 网络监控是一个老话题了,有一个现象非常形象地描述了这种状况——网络出现故
引子 长期以来,探究网络质量和探索网络路径是广大网络工作者监控网络的必备工作,ping用于探究网络质量和traceroute用于探索路径。对于探测结果似乎也不是那么靠谱——有很多人都有过经历业务有明显的网络方面影响,但ping和traceroute可能是OK的。这种网络问题的处理往往也是最令运营者头疼的地方,也许是到了寻找一个更佳工具的时候了。 挑战 作为内行,大家也都造现在的网络设计讲究双节点冗余保护——几乎每一过一个hop都有2台或2个以上的冗余节点,在路由上形成非常复杂的ECMP(假设端
笔者认为云网络中最核心的两点是:高性能与大规模。关于高性能网络的研究目前已经很多,在大规模网络方面早期 Google 云网络 Andromeda 提出了 Hoverboard 的解决方案。
比如,简化管理。堆叠后的交换机可以被视为一个逻辑实体,具有统一的管理界面,简化了管理和操作。高可用性方面,堆叠系统可以将不同物理交换机的端口进行链路聚合,使得下行链路具备更高的带宽和弹性。堆叠系统在逻辑上虚拟成一台交换机,所以也不需要为避免产生环路而去人为阻塞线路。此外,可堆叠交换机给中小企业提供了一个成本更低的选择——既有与框式设备类似的可扩展性,但又能更灵活地按需付费。
网络冗余设计是网络工程中的一个重要概念,它指的是在网络设计时采用额外的或备用的网络路径和设备来确保在主要设备或路径发生故障时网络依然能够正常运作的一种策略。网络冗余设计的主要目的是提高网络的可靠性和可用性。
SRD(Scalable Reliable Datagram,可扩展的可靠数据报文),是AWS年推出的协议,旨在解决亚马逊的云性能挑战。它是专为AWS数据中心网络设计的、基于Nitro芯片、为提高HPC性能实现的一种高吞吐、低延迟的网络传输协议。
作者简介:Anirudh Sivaraman是麻省理工学院计算机科学与人工智能实验室的研究生。他对计算机网络非常感兴趣,他最近的研究工作是可编程转发平面领域。
以手机为例,手机包含两种上网方式,蜂窝移动数据网络(2G,3G,4G)和WIFI网络。我们希望在有WIFI的时候尽量使用WIFI,这样可以节省成本,没有WIFI的时候自动切换到蜂窝移动网络,避免断连。同样在PC端,我们希望有线网卡和无线网卡可以同时上网,提高网速。但是使用TCP协议是无法实现上述功能的。
在写《BGP在大规模数据中心中的应用》里当时就有了讨论Segment Routing(SR)的想法,因为当时我还在参与MPLS+SR的白皮书测试,得到了不少真实的反馈,也粗略阅读了这篇今天要介绍的RFC: BGP-Prefix Segment in large-scale data centers (draft-ietf-spring-segment-routing-msdc-11) ,虽说这篇RFC而且还处于草案,但还是分享一下里面的精华内容。拖了大半年的稿,draft更新了2版了。。。(本人只是RFC的搬运工,轻拍)
Facebook最近秀了一下Altoona数据中心网络的高度模块化和可扩展性。这个社交网络巨头高调公布了数据中心网络解决方案,因为Facebook想围绕开放计算项目展开行动,在网络设备和软件生态系统方面分一杯羹。Facebook的目标是推行软硬件独立的数据中心交换机,通过降低成本、简化操作开辟出一片市场。Facebook推出一个典型的交换机Wedge以及一个基于Linux的网络操作系统FBOSS。 尽管Wedge和开放计算都没有在Altoona数据中心发挥直接作用,但是可以想象它们将来能发挥的作用。Face
"鹅厂网事"由深圳市腾讯计算机系统有限公司技术工程事业群网络平台部运营,我们希望与业界各位志同道合的伙伴交流切磋最新的网络、服务器行业动态信息,同时分享腾讯在网络与服务器领域,规划、运营、研发、服务等层面的实战干货,期待与您的共同成长。 网络平台部以构建敏捷、弹性、低成本的业界领先海量互联网云计算服务平台,为支撑腾讯公司业务持续发展,为业务建立竞争优势、构建行业健康生态而持续贡献价值! 背景介绍 随着腾讯业务的快速发展,腾讯网络所承载的流量也在成倍的增长,网络容量从早年的10G快速增长到100G,1T,1
大语言模型贼牛逼这个就不强调了哈,机器翻译,人机会话表现出巨大潜力和应用价值。模型大小和训练数据大小决定了模型能力,为实现最先进的模型,人们已经致力于万亿tokens训练具有万亿参数的大型模型。这就需要建立具有数万个GPU的大规模人工智能集群来训练LLM(大语言模型)。
作者简介:史梦晨,南京邮电大学通达学院 本科,柏林工大/巴黎六大 硕士 现就职于 欧洲高级网络测试中心 研究方向:网络设计,测试: 大规模数据中心,SD-WAN,EV**,Segment Routing, NFV 前文说到,根据需求1-5,RFC7938提出了只使用eBGP作为数据中心内唯一的路由协议,那么是怎么考虑和实施的呢。 为何选择eBGP作为路由协议 首先为何eBGP一般不被考虑用做数据中心内的纯路由协议呢?主要是由于以下认识或者是原因: 1、eBGP一般是用于广域网域间互
作者:唐玉柱,UCloud 高级网络架构师、UCloud新一代骨干网架构规划项目负责人。拥有丰富的数据中心、骨干网架构设计和运维经验;目前主要负责UCloud全球数据中心、骨干网架构设备选型、架构设计和规划。
1.DCFabric控制器的由来 1.1 SDN是云计算数据中心网络技术发展的必然要求 随着以虚拟化为基础的云数据中心的发展和成熟, 应用数据猛增,虚拟服务器的迁移等要求VLAN可延展到所有汇聚层、接入层交换机。传统二层技术存在链路冗余能力、负载均衡能力、可扩展性和网络稳定性差等诸多缺陷。因此,大二层网络技术如Trill、SPB等应运而生,却存在过长收敛时间、低转发效率、有限网络规模和昂贵的专有设备等缺点。而SDN则凭借其大二层网互通、全网拓扑、以及多路径流量均衡等灵活高效的功能,使其成为构建数据中心
想写两篇文章,一是《数据中心网络体系结构》,二是《交换机体系结构和pipeline》,写这主要是为总结和回顾,好帮我们解决云计算碰到的问题,比如云计算环境overlay和underlay网络怎么设计,软件交换机可以借鉴那些硬件交换机的特性,软件的转发流程怎么设计等等。
【编者按】Tumblr是目前全球最大的轻博客网站,也是轻博客网站的始祖。当下已有超过1.96亿博客,930亿帖子,每秒2万3千请求。近日,该公司网站可靠性工程师Michael Schenck在HighScalablity上公布了其架构设计。 以下为译文 在Tumblr,blog是网站流量最大的一部分。而在tumblelogs中,高度可缓冲成为一个非常重要的特性。鉴于Tumblr支撑的高views/post比率,做到这一点并不容易,下面一起看向blog支撑部分的架构。 状态 278个员工,6个人负责Tumbl
导读|云计算时代,承担服务器之间数据传输工作的交换机成了数据中心的“神经枢纽”,一旦出故障将波及上层业务。然而单个交换机故障时,腾讯云的新一代高性能网络却可以在100微秒内找到新的通路实现0断链,做到高可用、高可扩展、高性能,从而保证业务不受影响。本文邀请到了腾讯云资深网络专家金峰及其带领的IaaS前沿技术研究团队来揭秘背后的武器——高性能网络传输协议HARP。通过本文希望可以带你了解传统网络传输协议面临的困难和挑战、HARP是如何应对并全网首次解析其中4个关键技术。 腾讯云一直在自研一款高性能网络协议——
近期数据显示,截至 2022年,我国新能源汽车保有量达 1310 万辆,充电桩保有量达 521 万台,我们据此测算当时车桩比为 2.5,较 2015 年的 11.6 实现大幅下降。预计到 2025 年中国新能源汽车保有量达7700万辆,暴涨近6倍,届时充电桩市场规模有望达到 608 亿元,全球充电桩市场规模将超千亿元人民币。
本文简单介绍一下,如何基于ECMP,使用Quagga+LVS+Keepalived构建多活负载均衡方案
NVo3(Network Virtualization over Layer 3),是IETF 2014年十月份提出的数据中心虚拟化技术框架。NVo3基于IP/MPLS作为传输网,在其上通过隧道连接的方式,构建大规模的二层租户网络。NVo3的技术模型如下所示,PE设备称为NVE(Network Virtualization Element),VN Context作为Tag标识租户网络,P设备即为普通的IP/MPLS路由器。NVo3在设计之初,VxLAN与SDN的联合部署已经成为了数据中心的大趋势,因此NVo
在 Kubernetes 集群中,网络是非常基础也非常重要的一部分。对于大规模的节点和容器来说,要保证网络的连通性、网络转发的高效,同时能做的 IP 和 Port 自动化分配和管理,并提供给用户非常直观和简单的方式来访问需要的应用,这是非常复杂且细致的设计。
在混合多云的世界里,Kubernetes是如此流行,已经成为应用统一部署和管理的事实标准,而Tungsten Fabric与Kubernetes的集成,更增强了后者的网络性能和安全性,帮助实现业务落地。
Tungsten Fabric大量使用了overlay,它的整个体系结构基于利用overlay来提供L2/L3虚拟化,并使底层IP fabric对虚拟工作负载透明。
作者简介:张磊,思科原厂8年多technical consulting engineer,精通思科数据中心/园区网产品及技术;精通SAN网络架构及产品;熟悉广域网产品及技术。
Tungsten Fabric项目是一个开源项目协议,它基于标准协议开发,并且提供网络虚拟化和网络安全所必需的所有组件。项目的组件包括:SDN控制器,虚拟路由器,分析引擎,北向API的发布,硬件集成功能,云编排软件和广泛的REST API。
在2020网络数据平面峰会上,来自紫金山实验室未来网络中心的研究员——沈洋给我们带来了《基于可编程交换机和智能网卡的四层负载均衡器》的主题演讲。
先说一句看起来很“傻”,但在我看来并非琐碎的话:如果一切都按预期进行……那么一切就都会顺利进行。
VTN是opendaylight中负责租户隔离的工程,最近对源码和架构研究了一段时间,现将总结如下。 从VTN架构图我们可以看出,VTN共分为两个模块:VTN Manager和VTN Coordina
作者简介:肖宏辉,毕业于中科院研究生院,思科认证网络互连专家(CCIE),8年的工作经验,其中6年云计算开发经验,关注网络,OpenStack,SDN,NFV等技术,OpenStack和ONAP开源社区活跃开发者。本文所有观点仅代表作者个人观点,与作者现在或者之前所在的公司无关。 去年看到过一篇文章,说是通过OpenVSwitch的测试,GENEVE的性能要略优于VXLAN。我相信大多数人的反应可能跟我的第一反应一样,这不又是一种Overlay协议吗?为什么性能会更好?难道有什么黑科技?我们这次来分析
Tungsten Fabric从4.0版本起,就开始支持用于将Kubernetes自动化平台与TF的集成的容器网络接口(CNI)。本文就来介绍基于CNI的TF+K8s集成部署。
前几周有人问我,如果有一个环境中给你10多个交换机和路由器,应该如何配置。这是一个很好的问题,关键不在端口安全、Port Channel、STP、和路由的配置,而是在于针对终端应用服务特点选择相应适合的网络架构。
在上一篇文章中,我们讨论了Riot针对全球应用程序部署的解决方案rCluster所涉及的网络的一些内容。具体来说,我们讨论了overlay网络的概念,OpenContrail(编者按:已更名为Tungsten Fabric,下文中出现OpenContrail之处,均以Tungsten Fabric代替)的实现,以及Tungsten Fabric解决方案如何与Docker配合使用。
最近我司业务扩展在机房新开了一个区域,折腾了一段时间的 Calico BGP,为了能将整个过程梳理得更简单明了,我还是决定将这个过程记录下来。不管是对当下的总结还是未来重新审视方案都是值得的。大家都知道,云原生下的网络架构在 Kubernetes 里可以算是百花齐放,各有所长,这无形中也导致网络始终是横在广大 K8S 爱好者面前迈向高阶管理的几座大山之一。通常大家在公有云上使用厂家提供的 CNI 组件可能还感受不到其复杂,但一旦要在 IDC 自建集群时,就会面临 Kubernetes 网络架构选型的问题。Calico 作为目前 Kubernetes 上用途最广的 Kubernetes CNI 之一,自然也有很多追随者。而本篇便是在自建机房内 BGP 组网下的一次总结。
内容来源:2018 年 10 月 24 日,VMware高级讲师寇雪旭在“VMware技术专题分享”进行《NSX高级路由架构》演讲分享。IT 大咖说(微信id:itdakashuo)作为独家视频合作方,经主办方和讲者审阅授权发布。
在本公众号的前面的文章中,简要介绍了云网络的产品,本系列云网络科普文章会详细介绍云网络产品,主要是包括私有网络、专线接入、SDWAN、VPN等产品。本文是讲解专线接入Direct Connect的产品和服务。
这个命令用来打印网络相关数据信息,常见的使用形式有 netstat -h netstat [-an] [-V vr] [-p protocol] netstat -r [-nl] [-f address_family] [-V vr] netstat -s [ip|icmp|udp|tcp]
SIGCOMM 2015年中,由微软研究院发表了题为《Packet-Level Telemetry in Large Datacenter Networks》的论文。基于本文设计的EverFlow系统,运行在端系统之上,并利用已有的OpenFlow交换机的功能特性,实现了数据中心网络中Packet-Level的网络数据监测。本文尝试概述了该系统的核心思想,作为网络测量领域相关工作的一次备忘。
本文主要介绍可编程P4语言在提高网络监控和管理方面的应用。如果您对网络虚拟化、DPDK、智能网卡、VPP、P4等感兴趣,欢迎关注公众号:通信行业搬砖工
地理学上有个概念称为对跖(zhí)点(也叫对趾点[2]或对映体 Antipodes),地球直径的两个端点互为对跖点。即从某个位置 A 连接地心,再从地壳中"穿出"的位置为 B, AB 两点就是对趾点.
一、背景 随着网络技术的发展,数据中心已经成为提供IT网络服务、分布式并行计算等的基础架构。数据中心应用范围愈加广泛,应用需求不断增加,业务数据量达T/P级以上。另外,如视频、金融业务数据等对服务质量、时延、带宽都有严格要求,因此构建数据中心网络时,对于数据中心网络的性能要求很高。 1.1 数据中心成本开销 表1中为数据中心的成本开销,其中大部分开销来源于服务器,然而数据中心的服务资源利用率并不高,服务器利用率通常在30%以下。除了利用率低外,供应周期长,需求变化不确定、需求更新快,管理风险大,需要冗余资源
SRv6是一种网络转发技术,其中SR是Segment Routing的缩写,v6顾名思义是指IPv6。关于SR和MPLS的内容,暂时不在本篇中赘述,有时间会单独介绍。
OpenStack是虚拟机和容器的领先的开源编排系统。Tungsten Fabric提供了Neutron网络服务的实现,并提供了许多附加功能。
作者简介:罗华 Juniper大中国区首席架构师 Facebook在数据中心内部一直使用自研交换机构建IP CLOS架构的数据中心。我们可以从Facebook在2019年披露的F16和HGRID看到他们是如何构建超大型DC网络的物理拓扑架构。在2021年的NSDI会议上面Facebook将内部如何使用BGP来构建网络控制层面的细节公布出来了,简单说这就是一份非常好的HLD(High-Level Design)的参考,从中我们也能看到除了网络的物理架构、协议逻辑之外还需要大量的整体软件控制架构及其组件的实现。
领取专属 10元无门槛券
手把手带您无忧上云