我们尝试维护过一个免费的代理池，但是代理池效果用过就知道了，毕竟里面有大量免费代理，虽然这些代理是可用的，但是既然我们能刷到这个免费代理，别人也能呀，所以就导致这个代理同时被很多人使用来抓取网站，所以
很多初学者不知道vps，物理服务器，虚拟主机，云服务器的含义和区别，今天与大家一起说说它们之间的含义和区别： VPS： VPS（Virtual Private Server 虚拟专用服务器）技术，由于有很多的物理服务器其实使用率很低，平均cpu的使用率在20%以下。于是就将一台物理服务器分割成多个虚拟专享服务器的优质服务。实现VPS的技术分为容器技术和虚拟化技术。在容器或虚拟机中，每个VPS都可分配独立公网IP地址、独立操作系统、实现不同VPS间磁盘空间、内存、CPU资源、进程和系统配置的隔离，为用户和应用程序模拟出“独占”使用计算资源的体验。VPS可以像独立服务器一样，重装操作系统，安装程序，单独重启服务器。 简单的说，就是在物理服务器内通过虚拟化技术，在一套操作系统的技术上，虚拟出很多套的独立运行的操作系统出来，从用户角度来看，就像是有很多台服务器可以使用（其实是运行在同一套物理设备里面）。这一套套虚拟出来的独立的操作系统就是VPS。如果您还未找到一款合适的动态拨号vps，我可推荐青果云动态拨号vps，专业技术，自建机房，节点丰富，秒拨数百万ip，高可靠人性化设计，精心打造从节点到系统给您不一样的感觉，力助您的业务遍布全国的每一个角落。 物理服务器： 一台实实在在物理机，服务器性能和稳定性比普通PC强，但是价格昂贵，一般有钱的大佬才会使用独立的物理服务器（就是需要自己实实在在买一台设备放在那里）。性能强，但是无论用还是不用，机器和网络等成本都在那里。 虚拟主机： VPS主机可以像独立服务器一样分割出许多虚拟主机空间，每个空间都可以放许多网站，非常适合为中小企业、小型门户网站、个人工作室、SOHO一族提供网站空间，较大独享资源，安全可靠的隔离保证了用户对于资源的使用和数据的安全。 云服务器： 云服务器就是一些实际的硬件设备（很多个物理服务器），通过虚拟化技术，可以大规模统一调度，并当成“一台”机器的技术。你根本看不到它在哪里，看不到它的CPU、内存、硬盘，但是你可以轻松把它当成“一台”现实中的主机来操作，无论是配置软件、测试性能、还是上传文件都和传统服务器没什么区别。由是数量庞大的服务器阵列，在均衡负载之后诞生很多虚拟主机，无论是数据安全还是性能都有基本的保证。 可以说云服务器是一种类似VPS服务器的虚拟化技术，VPS是采用虚拟软件，VZ或VM在一台服务器上虚拟出多个类似独立服务器的部分，每个部分都可以做单独的操作系统，管理方法同服务器一样。 云服务器是在一组集群服务器上虚拟出多个类似独立服务器的部分，集群中每个服务器上都有云服务器的一个镜像，从而大大提高了虚拟服务器的安全稳定性，除非所有的集群内服务器全部出现问题，云服务器才会无法访问。
这次给大家介绍一下Digitalocean这个机房，他家的VPS测评可以百度搜搜看，我这里说一下重点。
为了保证代理的有效性，我们往往可能需要维护一个代理池。这个代理池里面存着非常多的代理，同时代理池还会定时爬取代理来补充到代理池中，同时还会不断检测其中代理的有效性。当然还有一个很重要的功能就是提供一个接口，这个接口可以随机返回代理池中的一个有效代理。
很多人的电脑目前宽带拨号，或者在公司，都是内网IP，也就是说你只能连接别人，别人不能连接你
邮件营销经常会碰到的一个问题就是：发出去的邮件被系统当做垃圾邮件，直接进了垃圾箱，下面一米软件就来教教大家如何避免成为垃圾邮件。
在重要的攻防对抗中进行前期的信息收集时，我们的各种渗透行为很有可能暴露自己的ip，导致们在后期进行渗透攻击行为时很容易被对方溯源，并且通过ip找到你。
在了解 动态IP代理 之前，首先要了解什么是网络ip地址。IP地址 是指互联网协议也就是大家常说的互联网IP。
在使用动态vps服务器的时候发现一枚已经写好的自动配置拨号的shell脚本，分享一下，免去手动配置的烦恼，代码如下
有点标题党的嫌疑，不过确实网站的主体是在两天内的完成的，后面只是抓取了素材和完善细节。以下内容绝对是赤裸裸的干货。
我们尝试维护过一个代理池。代理池可以挑选出许多可用代理，但是常常其稳定性不高、响应速度慢，而且这些代理通常是公共代理，可能不止一人同时使用，其IP被封的概率很大。另外，这些代理可能有效时间比较短，虽然代理池一直在筛选，但如果没有及时更新状态，也有可能获取到不可用的代理。 如果要追求更加稳定的代理，就需要购买专有代理或者自己搭建代理服务器。但是服务器一般都是固定的IP，我们总不能搭建100个代理就用100台服务器吧，这显然是不现实的。 所以，ADSL动态拨号主机就派上用场了。下面我们来了解一下ADSL拨号
作为云计算技术落地的重要基础设施成果，云服务器近年来获得的飞速发展有目共睹。云服务器需求量的激增引发行业竞争的加剧，甚至很多服务商将VPS更名为云服务器混淆视听，滥竽充数。为保证我们互联网服务的正常创
网站也可以理解为web应用程序，只不过无需用户下载，只要有网络，随时随地都能访问。
作为云计算技术落地的重要基础设施成果，云服务器近年来获得的飞速发展有目共睹。云服务器需求量的激增引发行业竞争的加剧，甚至很多服务商将VPS更名为云服务器混淆视听，滥竽充数。为保证我们互联网服务的正常创建和运行，优质的云服务器是基础保障，那么选择云服务器要考虑哪些因素呢?
前阵子组装了一个主机，然后在主机上搭建了一个Linux的服务器，这里主要记录其流程和碰到的问题。
Majora-代理IP池建设系统majora.iinti.cn/majora-doc/
关于信息收集，已经有方法论类的东西总结的很好了，我只说我喜欢的,以百度代替真实站点
但幸运的是，在正式任务开始之前我大约拥有两周的时间，让我去学习了解有关的技术知识。经过两周左右的折腾，我学到了许多关于调制解调器的安全测试技术，以及电话和Asterisk的知识。最重要的是，我学会了如何更改主叫号码来迷惑用户，起初我认为这顶多是一种恶作剧，但后来我发现，这是一门很实用的社会工程方法。
作为一个老博客站长，今天给新手们讲讲如何建立一个自己的博客网站以及基本的流程，这些对于中小型企业网站的建立也是同样可以参考的。今天不讲思路，不讲观点，仅仅是结合当前国内法律法规给大家分享一下网站建立的基本步骤和流程，给新手们一个参考！
有关wordpress建站的7个必知常识，80%的人可能都还不知道，今天就来给大家总结一下关于使用wordpress建站的一些基础性知识点吧。
最近因为换了Mac，以前的Linux基本上不再使用了，但是我的SS代理还得用。SS代理大家都了解，一个很NB的Socket代理工具，但是就是因为他是Socket的，想用HTTP代理的时候很不方便。
爬虫这两年貌似成为了一项必备技能，无论是搞技术的，做产品的，数据分析的，金融的，初创公司做冷启动的，都想去抓点数据回来玩玩。这里面绝大多数一共都只抓几万或几十万条数据，这个数量级其实大可不必写爬虫，使用 chrome 插件 web scraper 或者让 selenium 驱动 chrome 就好了，会为你节省很多分析网页结构或研究如何登陆的时间。
声明：本人坚决反对利用文章内容进行恶意攻击行为，一切错误行为必将受到惩罚，绿色网络需要靠我们共同维护，推荐大家在了解技术原理的前提下，更好的维护个人信息安全、企业安全、国家安全。
IP是互联网空间中最基础的身份标识也是入网的唯一钥匙。自从防御方开始在IP层面根据一些简单的规则，例如设定时间内IP的访问次数、限制触发特定行为的IP、屏蔽高风险IP等布防风控开始，IP就已经正式走进网络安全领域，也成为了黑产与防御方争夺点。
以下原因促使我要用腾讯云服务器以及将裸奔了6~7年的域名进行ICP备案: 刚开通的微信公众号, 积极性高涨, 然而每次微信里面跳转到我的 blog, 都会出现上图所示的跳转中间页. 默认继续访问还是看
前一两年抓过某工商信息网站，几三周时间大约抓了过千万多万张页面。那时由于公司没啥经费，报销又拖得很久，不想花钱在很多机器和带宽上，所以当时花了较多精力研究如何让一台爬虫机器达到抓取极限。
随着IPV4地址耗尽，运营商开始回收并推进IPV4大内网地址，基于IPV4的传统内网映射、动态域名即将失效；但同时我们也要看到，运营商的IPV6推进计划基本快要完成了，现在我们的宽带、手机流量、各大门户网站，其实都已经支持IPV6了，今天这篇文章，我们不谈原理，直接告诉大家如何配置使用IPV6.
近年来，随着全球局势的紧张，各种冲突愈演愈烈，情报、监视与侦察（ISR）的作用愈发明显，成为了决定胜负的关键因素之一。侦察是获取情报的重要手段，反侦察能力是保障安全和成功的关键，有效的反侦察可以保护侦察人员和设备的安全性，维护情报的机密性，提高战场的隐蔽性。如图1是一种躲避警犬式追踪的方法，侦察者可以采用反复迂回的方式进行逃跑，目的是误导敌军，使其沿着错误的路线追踪，实现反跟踪。
从这篇文章的标题中我们可以看出，这一次的搭建方案主要用到的是 Docker，你可能会很好奇，Docker 跟搭建 4G 代理有什么关系吗？
PPTP协议，是点对点协议（PPP）为基于点对点连接的多协议自寻址数据包的传输提供了一个标准方法。 PPP 最初设计是为两个对等结构之间的 IP 流量的传输提供一种封装协议。在 TCP-IP 协议集中它是一种关于同步调制连接的数据链路层协议（OSI 模式中的第二层），替代了原非标准第二层协议，即 SLIP。除了 IP 以外 PPP 还可以传送其它协议，包括 DECnet 和 Novell 的 Internet 网包交换（IPX）。 PPP 主要由以下几部分组成： 封装：一种封装多协议数据报的方法。PPP 封装提供了不同网络层协议同时通过统一链路的多路技术。（人们）精心的设计 PPP 封装，使其保有对常用支持硬件的兼容性。 链路控制协议：为了在一个很宽广的环境内能足够方便的使用，PPP 提供了 LCP。LCP 用于就封装格式选项自动的达成一致，处理数据包大小的变化，探测 looped-back 链路和其他普通的配置错误，以及终止链路。提供的其他可选设备有：对链路中对等单元标识的认证，和链路功能正常或链路失败情况下的决定。 网络控制协议：一种扩展链路控制协议，用于建立、配置、测试和管理数据链路连接。 配置：通过链路控制协议使 PPP 链路很容易配置。该机制也应用于其它控制协议如网络控制协议（NCPs） 为了建立点对点链路通信，PPP 链路的每一端，必须首先发送 LCP 包以便设定和测试数据链路。在链路建立之后，LCP 可选设备才可以被认证。然后，PPP 必须发送 NCP 包以便选择和设定一个或更多的网络层协议。一旦每个被选择的网络层协议都被设定好了，来自每个网络层协议的数据报就能在连路上发送了。 链路将保持通信设定不变，直到外在的 LCP 和 NCP 关闭链路，或者是发生一些外部事件的时候（如，休止状态的定时器期满或者网络管理员干涉）。
时间过得真快，距离这个系列的上一篇文章《商业级4G代理搭建指南【准备篇】》发布的时间已经过了两个星期了，上个星期由于各种琐事缠身，周二开始就没空写文章了，所以就咕咕咕了。
实现伪静态方法比较简单，网上方法一搜就出来，web服务器分apache和nginx环境，这两个的实现方式不一样，需要根据自己的环境选择，nginx的环境伪静态如下：
VPS(Virtual Private Server 虚拟专用服务器)技术，将一部服务器分割成多个虚拟专享服务器的优质服务。实现VPS的技术分为容器技术和虚拟化技术。在容器或虚拟机中，每个VPS都可分配独立公网IP地址、独立操作系统、实现不同VPS间磁盘空间、内存、CPU资源、进程和系统配置的隔离，为用户和应用程序模拟出"独占"使用计算资源的体验。VPS可以像独立服务器一样，重装操作系统，安装程序，单独重启服务器。VPS为使用者提供了管理配置的自由，可用于企业虚拟化，也可以用于IDC资源租用。简言之：云服务器就是VPS的一种常见的表现形式。
文章：SAGE-ICP: Semantic Information-Assisted ICP
论文：MAD-ICP: It Is All About Matching Data -- Robust and Informed LiDAR Odometry
从事了5年多的PHP研发和python大数据挖掘，其实在2010-2015年是电商时代，那个时候很多企业开发做电商平台，我负责研发最多也是电商项目，电商平台主要面临的是千万级的并发量、海量图片的存储、还有双十一或者节假日的秒杀活动高并发，这个也是最挑战技术的地方。做过日IP上千万的电商平台技术架构，接触过几百万并发的挑战，做过图片服务器分布式存储、分布式集群、搜索引擎、网络分布式节点架构。但是直到2015年开始 电商就慢慢走下坡了，互联网时代其实已经由电商时代升级到大数据时代。之前是我们说是it互联网，那么现在就是data互联网。大数据+人工智能是目前互联网最大的趋势。谁掌握了数据谁就掌握了财富。
我们先讲讲爬虫，这10w个网页我没有写代码去实现抓取，当时在上班，不想花太多时间去抓取这些内容（flag）。所以就采用Chrome浏览器的插件Web Scrape去实现抓取。
Freeswitch路径 /usr/local/freeswitch（下述步骤全部以全路径为主）
标题：Stereo Visual Inertial LiDAR Simultaneous Localization and Mapping
现在只对常读和星标的公众号才展示大图推送，建议大家把betasec“设为星标”，否则可能看不到了！
本文提出了MAD-ICP，这是一种基于激光雷达里程计（LO）的新型方法。MAD-ICP利用了一种高效且通用的kd-tree数据结构，并结合估计的姿态不确定性动态维护一个稳健的环境模型。
Differential Information Aided 3-D Registration for Accurate Navigation and Scene Reconstruction
两个点云要注册在一块，一般分两个步骤：先做一个大致的对齐，也就是所谓的初始注册，一般可以通过一些可靠的点对来计算得到（如图3所示）；然后在初始注册的基础上进行精细注册，提升注册的精度（如图4所示）。精细注册的方法，一般采用ICP算法，也就是最近点迭代的方法。
程序员小伙伴们，在进行爬虫时，你是否曾纠结于选择拨号还是代理？不要犯愁！今天我将与你分享一些实用的择优技巧，帮助你在爬虫之路上实现更高效的提速！
1)如果上网方式为PPPoE，即ADSL虚拟拨号方式，则需要填写网络服务商提供的上网账号和密码，如图4-7所示。
最近家里换了宽带，并且在我的强烈要求下选择了能提供公网IP的联通宽带，当然这里是动态公网IP，期间，包括光猫的桥接+路由器拨号，都已经做完，基本上到这里为止家里的网络环境就是外部可访问的了，从此可以抛弃内网穿透，直连站起来重新做人了。为什么要折腾外部访问呢，因为我把群晖放家里了，自然是想随时随地访问一下子的，现在有了公网IP，虽然是动态的，但只需在群晖的DDNS页面配置下，就可以使用域名进行访问了，非常的方便和舒服，速度快的飞起来。欢迎访问ZoneCloud -> http://zara.asuscomm.com:5000/
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
