最近使用tcpdump的时候突然想到这个问题。因为我之前只存在一些一知半解的认识：比如直接镜像了网卡的包、在数据包进入内核前就获取了。但这些认识真的正确么？针对这个问题，我进行了一番学习探究。
大家好，我是二哥。今天这期是一篇关于VPC和三种K8s网络模型的汇总性文章。也是春节前最后一篇文章，发完二哥就准备进入过年模式了。提前祝大家虎年虎虎生威，万事如意。
存储加速方向 存储软件自身软件栈 存储软件自身一般通过是通过减少软件栈开销来达到优化自身的目的，比如软件栈的一些校验或者保护算法可以通过CPU的特殊指令集对存储校验或者保护算法进行优化 网络IO Linux网络的开销一般比较大，封包和解包一般都是在CPU端进行，数据的可靠性需要依赖TCP协议栈，而TCP协议栈保证稳定的同时TCP的操作必须经过协议栈，这就带来了数据从用户态->内核态->网卡驱动开销。数据拷贝和CP开销让网络IO往往不低。因此可以所经过的网络中，可以把数据传输的任务从CPU中卸载，交给具有RD
信息是如何通过网络传输被另一个程序接收到的？我们讨论的虚拟化网络是狭义的，它指容器间网络。
不管是OSI还是TCP/IP5层协议栈，均会出现应用程序和操作系统边界(代码执行在用户态/内核态)。
容器不是模拟一个完整的操作系统，而是对进程进行隔离，对容器里的进程来说它接触到的各种资源都是独享的，比虚拟机启动快、占用资源少。
防火墙大家都不陌生，或者说都听说过，现实中的防火墙是将一个区域内的火隔离开来使之不蔓延到另一个区域，计算机领域的防火墙与之功能类似，也是为了隔离危险。在如今广阔的互联网领域内，我们一般会相信一个叫做“黑暗森林”的法则。对于这个法则大家可以去搜索一下，它是在《三体》系列小说中写出来的，大致意思是在黑暗丛林中我们无法判断对方对自己是否有恶意， 对方也无法判断我们是否有恶意，所以一见面就把对方灭掉。互联网中的恶意攻击者太多了，我们无法确定它们都是水更无法把它们灭掉，但是我们可以把自己与它们隔离开来，启隔离作用的那个东西就叫防火墙。
以前在研究 k8s 网络的时候，很多东西都看不太懂，只是蜻蜓点水过一下，这段时间打算恶补一下虚拟网络方面的知识，感兴趣的不妨一起探讨学习一下。
IP层叫分片，TCP/UDP层叫分段。网卡能做的事（TCP/UDP组包校验和分段，IP添加包头校验与分片）尽量往网卡做，网卡不能做的也尽量迟后分片（发送）或提前合并片（接收）来减少在网络栈中传输和处理的包数目，从而减少数据传输和上下文切换所需要的CPU计算时间。
在之前的两篇文章中分别介绍了pod与主机连接并且上外网的原理及service的clusterIP和nodeport的实现原理，对于组织pod的网络这件事来说，还有最后一环需要打通，就是分布在不同集群节点的pod之间如何相互通信，本章我们来解决这最后一环的问题
一篇文章围绕一张图，讲述一个主题。不过这个主题偏大，我估计需要好几篇文章才能说得清楚。
flannel有udp、vxlan和host-gw三种模式，udp模式因为性能较低现在已经比较少用到，host-gw我们在前面简单介绍过，因为使用场景比较受限，所以vxlan模式是flannel使用最多的模式，本章我们来介绍一下vxlan模式的原理。
从本节开始，我们打算使用java把tcp/ip网络协议栈重新实现一遍。这是一个不小的野心，自然也是一个不小的工程，好在前面顺利完成了操作系统，编译器两门课程的实现，这给了我极大的信心。整个互联网系统分为三大支柱，分别是操作系统，编译器，和网络协议，我们完成了前面三者，还剩第三者一直孤悬在那，直到今天我终于下定决心，尝试着把tcp/ip协议栈也重新实现一遍。
如果我们站在本机机器作为参考物的话，应该拆分成下面三个阶段： 1.消息入口流量部分的处理流程
这个Pod IP被该Pod内的所有容器共享，并且其它所有Pod都可以路由到该Pod。你可曾注意到，你的Kubernetes节点上运行着一些"pause"容器？它们被称作“沙盒容器（sandbox containers）"，其唯一任务是保留并持有一个网络命名空间（netns），该命名空间被Pod内所有容器共享。通过这种方式，即使一个容器死掉，新的容器创建出来代替这个容器，Pod IP也不会改变。这种IP-per-pod模型的巨大优势是，Pod和底层主机不会有IP或者端口冲突。我们不用担心应用使用了什么端口。
https://item.m.jd.com/product/10023427978355.html
在计算机网络中，TUN与TAP是操作系统内核中的虚拟网络设备。不同于普通靠硬件网路板卡实现的设备，这些虚拟的网络设备全部用软件实现，并向运行于操作系统上的软件提供与硬件的网络设备完全相同的功能。
在使用Linux的过程中，很多人和我一样经常接触iptables，但却只知道它是用来设置Linux防火墙的工具，不知道它具体是怎么工作的。今天，我们就从零开始认识一下Linux下iptables的具体工作原理。
Wireshark作为网络分析的最佳利器之一，非常推荐网络安全初学者学习。本文参考了PingingLab陈鑫杰老师的部分内容，非常推荐大家观看他们的教程，希望读者们喜欢。
在现代计算环境中，虚拟网络设备在实现灵活的网络配置和隔离方面发挥了至关重要的作用🔧，特别是在容器化和虚拟化技术广泛应用的今天🌐。而Linux网络协议栈则是操作系统处理网络通信的核心💻，它支持广泛的协议和网络服务🌍，确保数据正确地在网络中传输。本文将深入分析虚拟网络设备与Linux网络协议栈的关联，揭示它们如何共同工作以支持复杂的网络需求。
自幼受贵州大山的熏陶，养成了诚实质朴的性格。经过寒窗苦读，考入BIT，为完成自己的教师梦，放弃IT、航天等工作，成为贵财一名大学教师，并想把自己所学所感真心传授给自己的学生，帮助更多陌生人。
我们上一节成功使用jpcap获得了网卡硬件，我们要重新构造tcp/ip协议栈，那么就需要做两部分工作。一部分由上层协议完成，他们的工作是将要发送的数据进行封装，主要是在数据包上添加包头数据结构，包头里有很多控制字节，用于不同节点间进行数据传送时对传送过程的控制和调整，了解，掌握，实现每层数据协议的包头结构以及数据控制流程是我们系列课程的重点和难点。
一般而言，我们把某个协议的实现代码称为协议栈（protocol stack），BLE协议栈就是实现低功耗蓝牙协议的代码，理解和掌握BLE协议是实现BLE协议栈的前提。在深入BLE协议栈各个组成部分之前，我们先看一下BLE协议栈整体架构。
Q1：F-Stack有中断模式吗，有计划支持吗？在计算密集型的应用中，轮询模式会占用更多的CPU资源？ A1:F-Stack暂时只支持轮询模式，后续会支持中断+轮询模式，避免与计算密集型业务抢占CPU及节省能源。 Q2:F-Stack如何实现zerco copy？ A2:目前F-Stack尚未做到完全零拷贝。在收包时使用FreeBSD的mbuf ext add可以避免拷贝。在发包时尚存在拷贝，后续会优化为无拷贝，主要的方案是自己实现内存管理，完全使用hugepage。 Q3:F-Stack的运行环境有何
由于 OSI 模型过于复杂难以实现，导致 TCP/IP 模型更早地应用在现实中，这也使得 TCP/IP 模型成为标准
数据以电子信号的形式穿越介质到达正确的计算机，然后转换成最初的形式，以便接收者能够阅读
随着大模型的广泛流行，GPU集群计算的规模越来越大（单芯片算力提升有限，只能通过扩规模的方式来提升整体算力），千卡、万卡已经成为主流，十万卡、百万卡也都在未来3-5年的规划中。
在上一篇文章里我们介绍了k8s集群中flannel vxlan overlay网络的创建，这在里我们基于上一篇文章中的例子，来介绍在flannel vxlan overlay网络中pod到pod的通讯。
车载以太网与传统以太网的主要区别在于二者的物理层，前者的物理层采用一对双绞线的100BASE-T1，而后者的物理层采用两对双绞线的方式，比如100BASE-TX。而二层以上的协议栈，车载网络则基本借鉴传统网络，区别并不大。
关于七层模型和四层模型可以参考这个：http://www.cnblogs.com/xcywt/p/5027277.html 因为四层模型用的比较多，这里只拿四层模型来分析。 1、四层模型中的最下层是链
本文是将知乎网友的提问 《如何评价腾讯开源的基于 DPDK 和 BSD 协议栈的网络框架 f-stack？》，将回答讨论内容和我们的一些想法进行了整理。 项目背景 F-Stack 这个项目起始于DNSPod的授权DNS项目，当时是12年，DPDK还未开源的时候，我们就基于DPDK做了授权DNS，做完的时候正好DPDK也开源了，正式上线后10GE单网卡性能达到1100万qps，后面又实现了一个简易的TCP协议栈用于支持TCP DNS。 后来DNSPod合并进入腾讯云，腾讯云有大量业务需要高性能的接入服务，而D
本章介绍蓝牙协议(重点介绍：BLE)的基本特点、版本演进、协议的构成、等基础知识，本章重在了解，目的是对BLE协议有个大概的认知，即了解BLE协议栈的全貌。后续的章节会对每一部分单独进行详细的讲解。
Netfilter/iptables是Linux内核内置的报文过滤框架，程序可以通过该框架完成报文过滤、地址转换(NAT)以及连接跟踪等功能。
防火墙，其实就是用于实现Linux下访问控制的功能的，它分为硬件和软件防火墙两种。无论是在哪个网络中，防火墙工作的地方一定是在网络的边缘。而我们的任务就是需要去定义到底防火墙如何工作，这就是防火墙的策略、规则，以达到让它对出入网络的IP、数据进行检测。
首先，DPDK和内核网络协议栈不是对等的概念。 DPDK只是单纯的从驱动拿数据，然后组织成数据块给人用，跑在用户态。功能相当于linux的设备无关接口层，处于socket之下，驱动之上。只不过linux协议栈的这部分在核心态。 你说的包处理器，很多时候是不用linux内核协议栈的，而是用专用包处理程序，类似于DPDK加上层应用处理。通常会有些硬件加速器，包处理效率更高些。缺点是一旦用不上某些功能，那些加速器就白费了。而纯软件处理就非常灵活，不过代价就是功耗和性能。 纯DPDK性能非常高，intel自己给出的数据是，处理一个包80时钟周期。一个3.6Ghz的单核双线程至强，64字节小包，纯转发能力超过90Mpps，也就是每秒9千万包。 不知你有没有看出来，80周期是一个非常惊人的数字？正常情况下，处理器访问一下ddr3内存都需要200个周期，而包处理程序所需要操作的数据，是从pcie设备送到ddr内存的，然后再由处理器读出来，也就是说，通常至少需要200周期。为啥现在80周期就能完成所有处理？我查了下文档，发现原因是使用了stashing或者叫direct cache access技术，对于PCIe网卡发过来的包，会存在一个特殊字段。x86的pcie控制器看到这个字段后，会把包头自动塞到处理器的缓存，无序处理器来干预。由于包头肯定是会被读取的，这样相当于提前预测，访问的时间大大缩短。 如果加上linux socket协议栈，比如跑个纯http包反弹，那么根据我的测量，会掉到3000-4000周期处理一个包，单核双线程在2.4Mpps，每秒两百四十万包，性能差40倍。 性能高在哪？关键一点，DPDK并没有做socket层的协议处理，当然快。其他的，主要是使用轮询替代中断，还有避免核心态到用户态拷贝，并绑定核，避免线程切换开销，还有避免进入系统调用的开销，使用巨页等。 还有很关键的一点，当线程数大于12的时候，使用linux协议栈会遇到互斥的瓶颈，用性能工具看的话，你会发现大部分的时间消耗在spin_lock上。解决方法之一是如github上面的fastsocket，改写内核协议栈，使包始终在一个核上处理，避免竞争等。缺点是需要经常自己改协议栈，且应用程序兼容性不够。 另外一个方法是使用虚拟机，每个特征流只在一个核处理，并用虚拟机隔绝竞争，底层用dpdk做转发，上层用虚拟机做包处理，这样保证了原生的linux协议栈被调用，做到完全兼容应用程序。不过这种方法好像还没有人做成开源的，最近似的是dpdk+虚拟交换机ovs的一个项目。 如果你只想要dpdk的高性能加tcp/ip/udp的处理，不考虑兼容性，那么还可以去买商业代码，我看了下供应商的网站介绍，纯转发性能大概在500-1000周期左右一个包。
一、简介 1. 关于防火墙 防火墙，其实就是用于实现Linux下访问控制的功能的，它分为硬件和软件防火墙两种。无论是在哪个网络中，防火墙工作的地方一定是在网络的边缘。而我们的任务就是需要去定义到底防火墙如何工作，这就是防火墙的策略、规则，以达到让它对出入网络的IP、数据进行检测。 目前市面上比较常见的有三、四层的防火墙，叫做网络层的防火墙，还有七层的防火墙，其实是代理层的网关。对于TCP/IP的七层模型来讲，我们知道第三层是网络层，三层的防火墙会在这层对源地址和目标地址进行检测。但对于七层的防火墙，不管
ab是Apache开发的性能测试工具。在Ubuntu 中使用要通过apt-get install -yapache2-utils命令来安装。
本文是一篇翻译，翻译自https://software.intel.com/en-us/blogs/2015/06/12/user-space-networking-fuels-nfv-performance，文章有点老了，15年写的，但是文章总结了一些用户态的协议栈，很有学习参考的意义。 如今，作为一个网络空间的软件开发人员是非常激动人心的，因为工程师的角色随着这个世界的规则在逐渐改变。 过去这 15 年来，人们对高性能网络做了很多努力，网络模型也发生了很多改变，起初，数据包的收发都要推送到内核才能完成
零拷贝作用 : 在网络编程中 , 如果要进行性能优化 , 肯定要涉及到零拷贝 , 使用零拷贝能极大的提升数据传输性能 ;
Linux内核是高并发服务的关键组件之一。以下是一些可用于优化Linux内核的配置。
本文介绍了 F-Stack 框架，它是一个基于 FreeBSD 内核的用户态协议栈实现，解决了传统内核协议栈在高性能、可扩展、兼容性、功能完备等方面的问题。F-Stack 提供了丰富的功能，包括零拷贝、无锁队列、内存池、红黑树等，支持多种调度算法，并提供了易用的接口。在性能测试中，F-Stack 的表现优异，最高达到了 2000 万 QPS，并支持多种网络协议，包括 HTTP、TCP、UDP、IPX 等。同时，F-Stack 也提供了丰富的开发文档和示例代码，方便开发者进行二次开发和功能扩展。
最近一个网友反馈，通过arping命令测试所有机器返回的网卡硬件地址（mac地址）都是一样的怀疑局域网中有劫持，以下是我模拟用户的测试结果。（arping命令是用于测试指定服务器返回他的网卡硬件地址（mac地址））
之前我们解决了跨主机间容器间通信的问题，但是这也只能说我们铺好了路，村里通路了，但是其实作为 k8s 来说，还有好多其他的问题等待着我们解决。今天我们就通过这些问题来看看 k8s 的 CNI 的设计。CNI 到底究竟是个什么东西，到底是不是和你想的一样那么困难。
Docker的技术依赖于Linux内核的虚拟化技术的发展，Docker使用到的网络技术有Network Namespace、Veth设备对、Iptables/Netfilter、网桥、路由等。接下来，我将以Docker容器网络实现的基础技术来分别阐述，在到真正的容器篇章节之前，能形成一个稳固的基础知识网。
过去几十年互联网呈爆发式的增长，内容的丰富以及层出不穷的DDoS攻击等，对网络性能提出了极大的挑战，也同样促进了网络基础设施的快速发展。运营商的带宽越来越大，CPU/网卡等硬件的性能也会越来越强。但在很长时间内，软件的性能提升落后于硬件的性能提升，并严重限制了应用程序的性能，大部分时间不得不依靠堆机器来应对，造成了大量的资源浪费和成本提高。 随着软件的不断发展，在新世纪的第一个10年时，通过多线程和事件驱动（kqueue/epoll等）解决了C10K的问题。但是在第二个10年却不堪重负，亟需新的解
原文链接：https://blog.csdn.net/dog250/article/details/46666029
数据平面开发套件(DPDK [1] ,Data Plane Development Kit)是由6WIND,Intel等多家公司开发，主要基于Linux系统运行，用于快速数据包处理的函数库与驱动集合，可以极大提高数据处理性能和吞吐量，提高数据平面应用程序的工作效率。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
