Apache Kafka作为业界广泛采用的消息队列系统，以其高吞吐量、低延迟和分布式特性，在大数据处理、实时流处理等领域扮演着至关重要的角色。然而，在企业级应用中，特别是在需要处理内外网通信的情况下，如何高效、安全地实现Kafka集群的内外网分流成为了一项重要挑战。本文将深入探讨Kafka内外网分流的策略、技术细节、常见问题及其解决方法，并通过实际案例和代码示例，为读者提供一套可操作的实践指南。
在信息安全这个领域里，不管在甲方还是乙方工作，信息收集都是很重要的一环，信息收集的好坏，也将影响到后期的环节。比如说在乙方得到对目标的渗透授权之后，第一个步骤就是信息收集，因每个渗透测试人员的思路不同导致他们采集的信息也不相同，我举例一些常见、主流的信息收集有：
2019年3月，绿盟科技、上海交通大学信息内容分析技术国家工程实验室和广州大学网络空间先进技术研究院联合发布《2018物联网安全年报》。对于报告的四个章节我们分别做了解读，本文是第四篇。
什么是网闸？网闸（GAP）全称为安全隔离网闸（Security Gap），主要作用是在不同网络之间提供安全隔离的环境，防止潜在的网络攻击以及数据泄露和非必要的服务不给予访问权限，为避免传输协议的漏洞网闸内部传输数据通常是使用自定义的私有协议来进行传输数据。网闸中又分双向网闸，单向网闸。这两种网闸的区别就在业务的需求是怎么样的，单向就只能左方发送东西，右方方接收东西，要是右方想发东西给左方那就不行（一些正常的确认包是可以的，如果夹杂着其他东西就不行），双向网闸就能建立双方互发数据的规则。主要起到隔离作用的是他内部的构造，一台网闸的内外网接口是分开的，其连接方式是由内部两块主板通过中间的一块隔离卡所建策略以及安全厂商的加密算法来交换流量，具体构造如下:
DMZ，中文通常译为“隔离区”或“非军事化区”，是在网络安全领域中用来描述一个逻辑或物理的网络子段，这个子段通常位于组织的内部网络和外部网络（如互联网）之间。DMZ的主要目的是提供一个受限制且受控的环境，允许对外提供服务的服务器放置在此区域，从而在一定程度上保护内部网络的安全。
在不同并发下压测后，发现性能数据始终在 20qps ～ 30qps 区间，无法进一步上升
DMZ是计算机网络中一个重要概念，通常是指与其他设备和区域在物理或逻辑上隔离的区域。
存储业务里面有很多访问突发的业务，其中微信就是一个典型的业务。微信承担了亿万用户的图片、视频和文件的收发，遇到特殊热点事件或者重大节假日，访问次数会突发10倍以上的增长。微信是一个海量的业务，平时机器的负载有限，实际运营中不可能预留10倍的Buffer，那么遇到传统节日春节的时候，我们是怎么平稳度过的呢？
诉求：最近海外云服务器量暴增，需要快速对接数据库和云服务器，镜像快速复制，需要从外面登录访问MySQL数据库进行数据备份，以下是总结的数据链接方式：
iptraf是一个基于ncurses开发的IP局域网监控工具，它可以实时地监视网卡流量，可以生成各种网络统计数据，包括TCP信息、UDP统计、ICMP和OSPF信息、以太网负载信息、节点统计、IP校验和错误和其它一些信息。
当问起凤梨叔 两年前全网热议的 DNSPod解析遭到攻击的那天。 关于当晚的每一个的细节，他依旧了然于心。 将时间线拉回到2018年11月9号当晚 当收到告警时， 出现在凤梨叔的脑海里的第一个念头是： 坏了，被攻击了！ 凤梨叔第一件做的不是去排查问题 而是先手动重启B地的部分DNS服务器 多年的从业经验告诉他 外部攻击很多时候是分地域的 不同地区受影响可能不同 A地的服务器启动异常不表示其他地区会马上异常 这个决定 能在保证服务持续提供的同时 也留出找到原因的时间 同时 凤梨叔立即联系腾讯
在很多场景中，比如企业、学校、甚至家里都有一些对外访问的业务提供，比如门户网址、NAS、ERP等，在实际部署中，这些提供访问的服务器都属于内网内，配置的是内网地址，导致的情况是公网用户没法对私网地址直接进行访问，学过上篇内容的源NAT功能是把私网用户的源地址转换成可上网的地址（当然可上网的就分私网跟公网了，由运营商分配的）然后发送出去，那么NAT Server的作用正好相反， 它是当其他公网用户访问我们服务的公网地址时候，进行目的地址转换（注意一定要是公网地址），在华为防火墙里面的这个功能叫做---NAT server（服务器映射），可能大家都奇怪，为什么标题里面有端口映射、甚至DMZ，这个主要是各个厂商的叫法不一样，可能客户只会某一种叫法，导致在了解需求的时候，有点懵！不过不要紧，学完本篇后就都会很清晰了，下面来看看多个场景下使用什么样的技术。
游戏服务器压力测试总结 从游戏内测开始到现在做了所有服务器压力相关的测试.现在进行总结.暂时还不方便说游戏架构，所以不上图了。 一.首先明确需要测试压力的内容: 1.游戏服务器硬件 a.硬盘I/o b.内存 c.CPU 2.网络压力 a.长连接 a1.最大连接数 a2.流量(内网、外网、进、出) b.长连接短周期(类似Http的TCP应用，这个比较特殊的一个需求，专门针对LoginAgent) b1.每秒建立的连接数 b2.实际处理能力 3.数据库 a.每秒事务数 b.每秒锁等待数 c.平均延时(ms) d.CPU暂用 4.多线程的最优线程数 a.数据库执行的多线程 b.多连接处理 二.Windows Server环境测试方式 1.服务器性能监测 使用Server自带的性能监测器设置各个进程的监测参数。Window的这个自动工具做的相当强大。大家自己摸一摸基本就会用了。每个参数都由详细的说明。 2.案例设计注意 a.对于数据库的性能测试上，现在由于所有的游戏服务器构架在DB前面都有一个实现DB缓冲功能的进程，以减少数据库频繁的读写操作。所以其实数据库的读是一个轻量级的数量；而数据库的写操作是一个周期性能过程。案例设计一定要能够驱动这种周期性能过程。比如我们游戏的战斗，导致游戏玩家数据的改变，或驱动所有在线玩家数据的周期性存储。 b.选择具有代表性，并且最频繁的游戏操作。用于进行最高用户在线的各种性能指标采集。 我们选择的是:战斗、移动、聊天 c.聊天性能测试 广播聊天是最为考验游戏信息发送能力的功能。通过进行全局广播的压力测试。我们可以获取服务器进程发送信息到客户端的最高承载量。进而可以对我们的各种广播功能进行一个预估和频率限制。 d.同屏玩家的移动测试 移动+广播。这两种信息，基本是网络游戏流量的70-80%左右。同屏玩家数量，将会增加各种数据的广播需求，非常影响游戏性能。所以同屏的移动测试也是广播测试的一个必要环节。需要根据实际结果进行适当的优化。 e.大量玩家同时登录测试 玩家登录时，有大量的信息需要进行分配和初始化；同时也有大量的数据需要下传客户端。服务器需要进行大量的TCP连接建立。所以是一个比较关键的过程。这个测试案例是一个比较特殊，但是运营是肯定会碰到的案例。 f.由于线程池处理事务，随着事务的时耗，存在一个最优线程数的问题。过多的线程反而会降低服务器效率 3.细节问题 a.进行测试需要仔细思考客户端性能影响服务器最后表现的可能性。比如 a1.模拟客户端的性能无法有效处理服务器返回信息,可能就导致服务器发送的信息缓存在服务器系统缓存，从而表现出服务器内存不断增加。表现为服务器发送能力不足，其实可能根本就是客户端的性能问题 a2.客户端性能问题，导致发起的请求数过少，从而导致单位时间内服务器处理的请求过少。表现为服务器性能不足，其实根本就是客户端的请求能力不足。 b.网络带宽导致最后表现不足 b1.确认服务器的各个网卡，以及相互的带宽。不然可能因为相互带宽，导致服务器对于客户端请求的处理延时。表现为服务器卡机 b2.客户端模拟多个玩家，比如1000个玩家。而客户端的网卡或者客户端与服务器之间的中转服务器带宽过小，导致服务器数据发送不出，内存不断增加。表现为服务器发送能力不足，其实是中间带宽问题。 c.debug i/o导致服务器性能下降 c1.进行性能测试，一定要取消debug用的同步的i/o.比如我们服务器的debuginternalLog.同步i/o是非常影响性能的，特别在压力测试下可能导致每秒上千上万甚至几十万次的执行。一处的文件写入操作就可以导致几十万次的处理能力变成几千次的处理能力。 c2.客户端避免进行阻塞操作导致模拟多用户性能下降，导致服务器表现性能下降 d.流量需要区分内网网 内、外网流量在游戏正式运行时是完全分开的。价格也是完全不同的。一个千M的外网是一个无法想象的运营成本，而kmbps/s现在已经是一个可以接受的代价。游戏进程需要进行不同网卡的配置和绑定。确定内外网流量。
服务器负载均衡器是指设置在一组功能相同或相似的服务器前端，对到达服务器组的流量进行合理分发，并在其中某一台服务器故障时，能将访问请求转移到其它可以正常工作的服务器的软件或网络设备。
一般的NAT组网中，内网用户通过单台设备进行NAT转换访问外网，NAT设备承担了所有内外网之间的流量，无法规避单点故障。一旦发生单点故障，将导致内网用户无法与外网通信。
在头条写文章满一年了，发现一个规律，头条貌似不喜欢打码的图片，所以今天尝试一下不打码的图片，大家不要想歪了，之前写文章给图片打码，是为了保护客户的隐私和网络安全，比如说客户的IP地址，肯定必须打码，对吧？
张路，运营开发专家工程师，现负责游戏知几 AI 助手后台架构设计和优化工作。 游戏知几 随着业务不断的拓展，游戏知几 AI 智能问答机器人业务已经覆盖了自研游戏、二方、海外的多款游戏。游戏知几研发团队主动拥抱云原生，推动后台业务全量上云，服务累计核心1w+。 通过云上的容器化部署、自动扩缩容、健康检查、可观测性等手段，提高了知几项目的持续交付能力和稳定性，形成了一套适合游戏知几自身的上云实践方案。本文将会介绍游戏知几项目中遇到的痛点以及探索出的一套可靠的上云实践方案。 知几项目背景 游戏知几[1]是一款游戏
TGW全称Tencent Gateway，是一套实现多网统一接入，支持自动负载均衡的系统， 是公司有10+年历史的网关，因此TGW也被称为公司公网的桥头堡。它对外连接了各大运营商并支撑公有云上EIP、CLB等产品功能，对内提供了公网网络的接入功能，如为游戏、微信等业务提供公网接入服务。
这是前文《网络层绕过IDS/IPS的一些探索》[1]的延续，当时就想可以用四层以下的协议实现木马通信绕过各类IDS/IPS的检测，一直没有找到时间测试，正好这次攻防演练值守期间有了机会。
在内网渗透中，网络通道是一个重要的环节，今天来分享一个有意思的通道建立方式，可以绕过常规的流量检测，与常规的端口转发和端口映射不同的是其借助了文件服务器来完成网络通道的建立，原理如图：
中国移动云能力中心作为中国移动云设施构建者、云服务提供者以及云生态汇聚者，承担了移动云的技术研发、规划建设、运营维护、 合作引入、销售支撑、支持上云六大工作职责。
随着业务的增加和计算机技术的发展，接入局域网的用户将越来越多，终端和工作站的处理能力越来越强，以及图形图像和多媒体的应用越来越广泛，要求每个用户实际可用带宽很高才能使网络通信流畅，网络将成为提供多种业务的统一网络平台，并应该为不同的业务提供服务质量保证（QoS）。因此，设计方案时充分了考虑将来业务量的增大，保证当前及今后一定时期内网络的高效与通畅。
今天聊的网络虚拟化和前面几期文章中提到的Fabric上SDN中实现的网络虚拟化还不一样，此处网络虚拟化是指在服务器内部如何为虚机提供联通和通向外网时提供网络部分，和SDN实现的网络虚拟化相比没有那么丰富、节点数量也不如后者多。在服务器为主体的网络虚拟化中虚拟交换机和虚拟网卡是2个至关重要的组件。
这个时候就需要在内部网络和外部网络之间有一个设备能够保护内网。那么这个设备就是防火墙。
拿到树莓派除了研究了下 Android Things，还有就是搭建服务器，建个网站。操作系统使用官方的Raspbian，基于Linux。然后使用Nginx + PHP + WordPress建站。一切都比较顺利，中间过程以后写个文章记录一下。今天先说一下最重要的问题：如何通过内外穿透让外网访问到树莓派上的服务？ 从网站建好以后，试过两种内网穿透方式，花生壳、NPS。其他的还有FRP、ngrok等
最近遇到一个很有代表性的问题：service，pod 都正常，而且在pod内部 curl 0.0.0.0 也正常，但是curl pod IP，curl service IP 就有问题，提示 connection refused 。
FlowForward 是一款基于命令行实现的功能强大的TCP流量转发工具，用于在后渗透中横向越权时使用，该工具可定向转发数据包，打破内外网屏障，实现对内网特定主机发起攻击或中转数据包到外网，工具只有19KB绝对小巧且无任何特征，是一款不错的渗透辅助工具。
COS产品支持对数据进行丰富的操作和管理。 CFS产品支持数万客户共享使用且保证数据一致性。 CBS产品结合CVM，可以在其上部署丰富的应用。
近年来全球网络安全威胁态势的加速严峻，企业的网络安全体系建设正从“以合规为导向”转变到“以风险为导向”，从原来的“保护安全边界”转换到“保护核心数据资产”的思路上来。
SSl协议支队通信双方传输的应用数据进行加密，而不是对从一个主机到另一个主机的所有数据进行加密。
在上一期 k8s-服务网格实战-配置 Mesh 中讲解了如何配置集群内的 Mesh 请求，Istio 同样也可以处理集群外部流量，也就是我们常见的网关。
Nginx的优点: 1.性能好，可以负载超过1万的并发。 2.功能多，除了负载均衡，还能作Web服务器，而且可以通过Geo模块来实现流量分配。 3.社区活跃，第三方补丁和模块很多 4.支持gzip proxy 缺点: 1.不支持session保持。意思是：用户找Nginx请求一个PHP的页面，输入了用户名，密码。接着用户可能又开了一个新窗口，新窗口开了后，还是访问之前个的服务器，此时，Nginx会当成一个新的请求来处理，这样可能会导致请求被分发给其它的后端服务器。因为其不支持session保持 2.对后端realserver的健康检查功能效果不好。而且只支持通过端口来检测，不支持通过url来检测。 3.nginx对big request header的支持不是很好，如果client_header_buffer_size设置的比较小，就会返回400 bad request页面。 Haproxy的优点: 1.它的优点正好可以补充nginx的缺点。支持session保持，同时支持通过获取指定的url来检测后端服务器的状态。 2.支持tcp模式的负载均衡。比如可以给mysql的从服务器集群和邮件服务器做负载均衡。此点相比LVS讲，差一些！ 缺点： 1.不支持虚拟主机(这个很傻啊) 2.目前没有nagios和cacti的性能监控模板 LVS的优点: 1.性能好，接近硬件设备的网络吞吐和连接负载能力。 2.LVS的DR模式，支持通过广域网进行负载均衡。这个其他任何负载均衡软件目前都不具备。 缺点： 比较重型。另外社区不如nginx活跃。 -------------------------------------------------------------------------------------------------------- nginx lvs 负载均衡 lvs和nginx都可以用作多机负载的方案，它们各有优缺，在生产环境中需要好好分析实际情况并加以利用。 首先提醒，做技术切不可人云亦云，我云即你云；同时也不可太趋向保守，过于相信旧有方式而等别人来帮你做垫被测试。把所有即时听说到的好东西加以钻研，从而提高自己对技术的认知和水平，乃是一个好习惯。 下面来分析一下两者： 一、lvs的优势： * 1、抗负载能力强，因为lvs工作方式的逻辑是非常之简单，而且工作在网络4层仅做请求分发之用，没有流量，所以在效率上基本不需要太过考虑。在我手里的 lvs，仅仅出过一次问题：在并发最高的一小段时间内均衡器出现丢包现象，据分析为网络问题，即网卡或linux2.4内核的承载能力已到上限，内存和 cpu方面基本无消耗。 * 2、配置性低，这通常是一大劣势，但同时也是一大优势，因为没有太多可配置的选项，所以除了增减服务器，并不需要经常去触碰它，大大减少了人为出错的几率。 * 3、工作稳定，因为其本身抗负载能力很强，所以稳定性高也是顺理成章，另外各种lvs都有完整的双机热备方案，所以一点不用担心均衡器本身会出什么问题，节点出现故障的话，lvs会自动判别，所以系统整体是非常稳定的。 * 4、无流量，上面已经有所提及了。lvs仅仅分发请求，而流量并不从它本身出去，所以可以利用它这点来做一些线路分流之用。没有流量同时也保住了均衡器的IO性能不会受到大流量的影响。 * 5、基本上能支持所有应用，因为lvs工作在4层，所以它可以对几乎所有应用做负载均衡，包括http、数据库、聊天室等等。 另：lvs也不是完全能判别节点故障的，譬如在wlc分配方式下，集群里有一个节点没有配置VIP，会使整个集群不能使用，这时使用wrr分配方式则会丢掉一台机。目前这个问题还在进一步测试中。所以，用lvs也得多多当心为妙。 二、nginx和lvs作对比的结果 * 1、nginx工作在网络的7层，所以它可以针对http应用本身来做分流策略，比如针对域名、目录结构等，相比之下lvs并不具备这样的功能，所以 nginx单凭这点可利用的场合就远多于lvs了；但nginx有用的这些功能使其可调整度要高于lvs，所以经常要去触碰触碰，由lvs的第2条优点看，触碰多了，人为出问题的几率也就会大。 * 2、nginx对网络的依赖较小，理论上只要ping得通，网页访问正常，nginx就能连得通，nginx同时还能区分内外网，如果是同时拥有内外网的节点，就相当于单机拥有了备份线路；lvs就比较依赖于网络环境
前几天想弄一个FTP服无器好利便本人上传和下载文件，因为过去去网吧偶然候带着U盘，时常U盘忘记拔出带走。不过有一个很紧张的题目是，我是用的IP不是公网IP也即是说外网是走访不了我的计算机的，只能走访到路由器而我也只能通过路由器来与外界互换，因而想到了运用iis7服务器监控工具里的端口映射。
随着云计算、大数据等技术的普及，运维岗位在IT领域中的地位越来越重要。一个优秀的运维工程师不仅要具备扎实的技术基础，还需要具备良好的问题解决能力、团队协作精神和学习能力。因此，面试是选拔优秀运维工程师的关键环节。
神卓互联是一款常用的内网穿透工具，它可以将本地服务器映射到公网上，并提供域名或子域名给外部访问。神卓互联具有简单易用、高速稳定的特点
WeTest腾讯质量开放平台（wetest.qq.com）于2015年1月22日开启内测。
openstack的api只能扩展并且向前兼容，不能影响已经开发的云管和监控等业务。
公司搬家了,原来连接一个网络可以同时上内外网,现在,内网是内网,外网是外网,来回切换,工作起来很费劲,现在要不切换就同时使用内外网,不过发现这样有个问题，就是在笔记本的无线连上外网的时候，只要插上内网的网线，就发现qq一类的一律掉线，外网连接就不行了，网页也打不开。这样搞的比较麻烦，每次测试完程序，要手动拔掉网线，外网才能上。感觉这样的做法太麻烦了，能否内网和外网同时接入到笔记本，不用每次拔网线呢？于是在网上找了找资料，果然还找到了。其实是因为Windows默认路由设置的问题。Windows每次会默认把对所有IP的访问，指向以太网或者无线网的网关，当同时接入两个、或者多个连接时，这样的默认路由会有问题，需要我们手动修改一下。
来源丨GitHub科技 SSL VPN技术 SSl协议支队通信双方传输的应用数据进行加密，而不是对从一个主机到另一个主机的所有数据进行加密。 IPSec缺陷 由于IPSec是基于网络层的协议，很难穿越NAT和防火墙，特别是在接入一些防护措施较为严格的个人网络和公共计算机时，往往会导致访问受阻。移动用户使用IPSec VPN需要安装专用的客户端软件，为日益增长的用户群发放、安装、配置、维护客户端软件已经使管理员不堪重负。因此，IPSec VPN在Point- to-Site远程移动通信方面并不适用
在使用Kafka时会遇到内外网的场景，即Kafka集群使用内网搭建，在内网和外网均有客户端需要消费Kafka的消息，同时在集群内由于使用内网环境通信，因此不必太过考虑通信的加密，所以在内网使用非安全的协议也能够通信，但对于外网环境出于安全考虑，只允许通过安全的协议访问Kafka集群，本文档介绍如何基于双网卡来配置Kafka。
2019年10月23日，Rainbond发布5.1.8版本，本次版本更新带来了应用网关对多IP的支持, 第三方组件对域名实例的支持 等新功能和修复若干BUG。
检查腾讯云数据库 MySQL 公网安全策略，如果开放公网访问且没有配置安全组规则，则有可能有受到外网攻击，导致应用异常或数据泄露。
为了保护企业数据资产，很多企业进行了内外网隔离。随着企业数字化转型逐步深入，企业的业务开展，越来越依赖于不断增加的办公、生产、研发等IT系统，也越来越频繁地需要与外部进行持续大量的内外网文件交换。
保护内部主机和内部网络的安全，通过过滤的方式对网络层的ip地址和端口进行处理，不同的硬件或者软件平台上存在不同的防火墙，例如硬件防火墙ASA, Linux上的软件防火墙iptables,window上的防火墙ISA。
5月23日，绿联科技举行了“新一代存储方式·未来已来”发布会，发布了绿联NAS私有云DXP系列（包括两盘位到八盘位的九款新品）以及由绿联科技自研的全新NAS系统UGOS Pro，绿联与英特尔在AI技术上的合作成果，搭载在此次发布的UGOS Pro系统上。在英特尔酷睿™和 OpenVINO™ 等技术的帮助下，绿联NAS“相册”应用AI技术。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
