首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

爬虫基础知识点

HTTP全称是Hyper Text Transfer Protocol,中文名叫做超文本传输协议。HTTP协议是用于从网络传输超文本数据到本地浏览器传送协议,它能保证高效而准确地传送超文本文档。...HTTPS安全基础是SSL,因此通过它传输内容都是经过SSL加密,它主要作用可以分为两种。...(1)建立一个信息安全通道来保证数据传输安全; (2)确认网站真实性,凡是使用了HTTPS网站,都可以通过点击浏览器地址栏锁头标志来查看网站认证之后真实信息,也可以通过CA机构颁发安全签章来查询...谷歌从2017年1月推出Chrome56开始,对未进行HTTPS加密网址链接亮出风险提示,即在地址栏显著位置提醒用户“此网页安全”。...响应里包含了页面的源代码等内容,浏览器在对其进行解析,便将网页呈现了出来,模型如图所示。 ? 今天分享内容,看起来会比较枯燥,但是对以后开始爬虫大有裨益,希望小伙伴们用心体会一下。

42940

子域名信息搜集

方法三: 利用nslookup检测域传送漏洞    > nslookup > server xxx.edu.cn > ls xxx.edu.cn 更多详细操作,点击查看传送漏洞 2....域名备案搜集 备案号是网站是否合法注册经营标志,可以用网页备案号反查出该公司旗下资产。...“intitle”:搜索关键词“intitle:admin”,搜索网页标题含有关键词页面。 “inurl”:搜索关键词“inurl:admin”,搜索网页链接含有关键词页面。...“intext”:搜索关键词“intext:admin”,搜索网页“body”标签中文本含有关键词页面。 “Index of/”:直接进入网站首页下所有文件和文件夹。...“filetype”:搜索关键词“filetype:cfm”,搜索指定后缀为“cfm”页面的内容。 “cache”:搜索Google里关于某些内容缓存。

3.8K80
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Python爬虫基础讲解(四):请求

    /:这个是根目录,也就是说,通过网站名找到服务器,然后在服务器存放网页根目录。 index.html:这个是根目录下网页。...get请求:一般情况下,从服务器获取数据下来,并不会对服务器资源产生任何影响时候会使用get请求。...GET与POST方法区别: GET是从服务器上获取数据,POST是向服务器传送数据 GET请求参数都显示在浏览器网址上,即Get"请求参数是URL一部分。...比如说在登陆表单中用Get方式,用户输入用户名和密码将在地址栏中暴露无遗。并且浏览器会记录历史信息,导致账号不安全因素存在。 4....9.Cookie:发送给WEB服务器Cookie内容,经常用来判断是否登陆了。 Cookie:发送给WEB服务器Cookie内容,经常用来判断是否登陆了。

    37820

    安全工具系列 -- 信息收集

    ---- 信息收集 1、robots.txt 当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中内容来确定访问范围;如果该文件不存在...首先访问test.php文件,查看环境是否成功。 ? 环境搭建成功 ? 我们利用工具进行测试,运行完如上图,运行完以后我们可以到工具目录进行查看 ? ?...您可以使用site:搜索不超过两层Web域、顶级域及目录。您还可以在一个网站上搜索包含特定搜索字词网页。 ? url:检查列出域或网址是否位于Bing索引中。...利用以上收集到邮箱、QQ、电话号码、姓名、以及服务商,可以针对性进行攻击,利用社工库进行查找相关管理员信息,另外也可以对相关DNS服务商进行渗透,查看是否有漏洞,利用第三方漏洞平台,查看相关漏洞。...在终端执行如下所示命令: ? ? ? 输出信息显示了DNS服务详细信息。其中,包括主机地址、域名服务地址和邮件服务地址,最后会尝试是否存在域传送漏洞。

    3.2K21

    macOS 13 Ventura 10 大新功能一览

    以下内容为大家介绍macOS 13 Ventura 10 大新功能,一起来看看吧! 1....电邮可排程及取消发送 用户亦能排定电邮传送时间,甚至能取消已传送邮件;「邮件」app 亦会聪明地侦测到邮件是否缺少附件、副本收件人等项目。...Spotlight 新改进 Spotlight 带来更新设计,令浏览更为方便,同时加入让各个Apple 装置之间体验更为一致新功能,以及能够快速预览档案「快速查看」功能。...此外,Spotlight 现在更提供艺人、电影、演员、电视节目、商家及体育相关丰富搜寻结果。 8.更安全Safari 浏览体验 使用通行密匙在Safari 浏览网页就更加安全。...通行密匙是一种更简单易用、更安全登入方法,旨在取代密码。通行密匙是独一无二数码钥匙,而且留在装置之中,绝不会储存至网页伺服器。因此,骇客无法泄漏或从用户手上骗取通行密匙。

    1.8K20

    Python爬虫http基本原理

    HTTP 全称是 Hyper Text Transfer Protocol,中文名叫做超文本传输协议,HTTP 协议是用于从网络传输超文本数据到本地浏览器传送协议,它能保证传送高效而准确地传送超文本文档...HTTPS 安全基础是 SSL,因此通过它传输内容都是经过 SSL 加密,它主要作用可以分为两种: 是建立一个信息安全通道,来保证数据传输安全。...确认网站真实性,凡是使用了 https 网站,都可以通过点击浏览器地址栏锁头标志来查看网站认证之后真实信息,也可以通过 CA 机构颁发安全签章来查询。...PUT 从客户端向服务器传送数据取代指定文档中内容 DELETE 请求服务器删除指定页面 CONNECT 把服务器当作跳板,让服务器代替客户端访问其他网页 OPTIONS 允许客户端查看服务器性能...,即暂时重定向 303 查看其他位置 如果原来请求是 POST,重定向目标文档应该通过 GET 提取 304 未修改 此次请求返回网页未修改,继续使用上次资源 305 使用代理 请求者应该使用代理访问该网页

    15010

    Kali Linux渗透基础知识整理(一):信息搜集(一)

    渗透测试者会尽力搜集目标系统配置与安全防御以及防火墙等等。 内容概要 1. 网站及服务器信息 2. 搜索引擎 3....很多工具无法做反向查询原因,在于域名所有者没有添加反向解析记录。 关于DNS区域传送漏洞 区域传送操作指的是一台后备服务器使用来自主服务器数据刷新自己zone数据库。...一般来说,DNS区域传送操作在网络里真的有后备域名DNS服务器时才有必要执行,但许多DNS服务器却被错误地配置成只要有人发出请求,就会向对方提供一个zone数据库拷贝。...把网页正文内容某个字符做为搜索条件...· intitle: 搜索网页标题中是否有我们所要找字符. · 例如搜索:intitle:杭电.将返回所有网页标题中包含”杭电”网页.同理allintitle:也同intitle类似.

    1.8K40

    字节二面:TCP 与 UDP 区别?

    分享一道读者面试字节遇到面试题,还是热乎。 完整字节面经附带答案我正在整理中,一定尽快! TCP和UDP TCP 与 UDP 区别 是否面向连接 :UDP 在传送数据之前不需要先建立连接。...而 TCP 提供面向连接服务,在传送数据之前必须先建立连接,数据传送结束后要释放连接。 是否是可靠传输:远地主机在收到 UDP 报文后,不需要给出任何确认,并且不保证数据不丢失,不保证是否顺序到达。...是否提供广播或多播服务 :TCP 支持点对点通信,UDP 支持一对一、一对多、多对一、多对多; ...... 我把上面总结内容通过表格形式展示出来了!确定不点个赞嘛?...当我们使用浏览器浏览网页时候,我们网页就是通过 HTTP 请求进行加载。...被一种称为 SSH 非常安全协议所取代。 SSH 协议 : SSH( Secure Shell)是目前较可靠,专为远程登录会话和其他网络服务提供安全协议。

    65421

    这次又坑多少人? 深度解析 Dash 钱包关键漏洞!

    作者 | Beosin 成都链安 出品 | 区块链大本营(blockchain_camp) 随着区块链市场商业模式不断丰富,安全问题也不断暴露,其中钱包安全事件屡曝不止。...://api.dashcoinanalytics.com/stats.php 以 POST 方式传送数据,如图所示: ?...在解锁钱包时,网页会会直接以 POST 方式传送 a2c 数据,数据跟上面创建钱包时传输数据一样。 攻击手法: 通过查看网页源码,generateKeystoreFile() 函数内容如下: ?...通过查看网页源码发现网页中加载了引用自 greasyfork.org CryptoJSlibByteArray.js 文件。 ?...直接在浏览器中打开 CryptoJSlibByteArray.js 文件,开头内容如下: ? 此文件中插入大量空白,真实发送数据代码从728行开始。内容如下: ?

    66220

    HTTP基本原理

    HTTP 全称是 Hyper Text Transfer Protocol,中文名叫做超文本传输协议,HTTP 协议是用于从网络传输超文本数据到本地浏览器传送协议,它能保证传送高效而准确地传送超文本文档...HTTPS 安全基础是 SSL,因此通过它传输内容都是经过 SSL 加密,它主要作用可以分为两种: 是建立一个信息安全通道,来保证数据传输安全。...确认网站真实性,凡是使用了 https 网站,都可以通过点击浏览器地址栏锁头标志来查看网站认证之后真实信息,也可以通过 CA 机构颁发安全签章来查询。...PUT 从客户端向服务器传送数据取代指定文档内容。 DELETE 请求服务器删除指定页面。 CONNECT HTTP/1.1 协议中预留给能够将连接改为管道方式代理服务器。...303 查看其他位置 如果原来请求是 POST,重定向目标文档应该通过 GET 提取。 304 未修改 此次请求返回网页未修改,继续使用上次资源。

    1.3K81

    HTTP Methods

    HTTP方法作用和用法: GET 通过GET方法获取数据,Preview中内容是获取数据: GET方法是安全且幂等。...PUT 请求会身向指定资源位置上传其最新内容,通过该方法客户端可以将指定资源最新数据 传送给服务器取代指定资源内容,也就是在已有的数据上进行编辑,然后保存提交。...2、用来检查服务器性能。例如:AJAX进行跨域请求时预检,需要向另外一个域名资源发送一个HTTP OPTIONS请求头,用以判断实际发送请求是否安全。...具体比如说更新用户信息电话号码字段 而 PUT 用于更新某个资源较完整内容,比如说用户要重填完整表单更新所有信息,后台处理更新时可能只是保留内部记录 ID 不变。...但是,服务器在响应HEAD请求时不会回传资源内容部分,即:响应主体。这样,我们可以不传输全部内容情况下,就可以获取服务器响应头信息。HEAD方法常被用于客户端查看服务器性能。

    46730

    用树莓派做服务器运行博客网页

    (IMAP/POP3)代理服务器,可以作为一个HTTP服务器进行网站发布处理,以及作为反向代理进行负载均衡实现 外网访问: ​ 如果映射到内网IP,那访问服务器只能在内网访问,这显然不是我们所期待...Layer 安全套接字协议)和继任者传输层安全(Transport Layer Security,TLS)是为网络通信提供安全及数据完整性一种安全协议,TLS与SSL在传输层与应用层之间对网络连接进行加密...-v npm -v 返回版本信息就说明安装成功: 2.3 安装Hexo 使用nodejsnpm安装包管理工具安装hexo,指令如下 安装指令 npm install -g hexo-cli 查看是否安装成功...sudo chmod +x /var/repo/web_blog.git/hooks/post-receive Nginx网页根目录设置 上一步我们已经创建好网页根目录,并且已经做好文件传送钩子,这一步我们配置...5.结语 树莓派服务器内容就写到这了,文章大概描述了一下部署网页到树莓派服务器内容,有问题可以在评论区或者私信向我反馈,希望大家给个关注,后期还会持续更新树莓派有关DIY 发布者:全栈程序员栈长

    1.5K20

    HTTP 请求方法

    但是并不是 POST 参数存储在实体主体中就认为它安全性更高,我们可以通过一些抓包工具如(Fiddler)查看。...GET 方法是安全,而 POST 却不是,因为 POST 目的是传送实体主体内容,这个内容可能是用户上传表单数据,上传成功之后,服务器可能把这个数据存储到数据库中,因此状态也就发生了改变。...它提供了一个通过 URL 来获取数据简单方式,并且不会使整个页面刷新。这使得网页更新一部分页面而不会打扰到用户,局部刷新避免资源浪费。...常用于: 检查请求URL是否有效,可以通过响应码进行判断 可以根据返回响应头进行判断资源是否被篡改 PUT 用来向服务器上传文件,并且具有幂等性。...TRACE 用来查看一个请求,经过网关,代理到达服务器,最后请求变换。显示出请求到响应传输路径。不过有安全漏洞,会泄漏网站信息,被服务器禁止使用。仅在HTTP 1.1版本可以使用。

    1.3K10

    PHP经典面试题目汇总(上篇)

    ,然后再进行操作,而单引号则不需要判断) 2、常用超全局变量(8个) $_GET ----->get传送方式 $_POST ----->post传送方式 $_REQUEST ----->可以接收到get...获取提交数据 get传送数据量较小,post传送数据量较大,一般被默认不受限制,但在理论上,IIS4中最大量为80kb,IIS5中为1000k,get安全性非常低,post安全性较高 3.2 GET...) 判断一个变量类型和长度,并输出变量数值 7、HTTP状态码 点击这儿查看HTTP状态码详解 常见HTTP状态码: 200 - 请求成功 301 - 资源(网页等)被永久转义到其他URL 404...事务处理 锁定表、优化事务处理 适用外键,优化锁定表 建立索引 优化查询语句 12、是否使用过模板引擎?...是致命,而include不是 require_once表示了包含一次,避免了重复包含 15、谈谈mvc认识 由模型、视图、控制器完成应用程序,由模型发出要实现功能到控制器,控制器接收组织功能传递给视图

    3.5K70

    HTTP协议概述

    HEAD: 类似于GET请求,只不过返回响应中没有具体内容,用于获取报头 PUT: 从客户端向服务器传送数据取代指定文档内容。 DELETE: 请求服务器删除指定页面。...对于GET和HEAD方法,服务器将在与请求资源匹配时发回请求资源ETags。对于PUT和其他非安全方法,在这种情况下它只会上传资源。...参数也为Etag If-Unmodified-Since: 在实体在指定时间之后未被修改才请求成功 Max-Forwards: 限制信息通过代理和网关传送时间 Pragma: 用来包含实现特定指令...Range: 请求实体一部分,指定范围 Referer: 先前网页地址,当前请求网页紧随其后,即来路 TE: 客户端愿意接受传输编码,并通知服务器接受接受尾加头信息 Upgrade: 向服务器指定某种传输协议以便服务器进行转换...在未更新网页情况下,可确保浏览器继续显示当前文档 205 Reset Content: 重置内容。服务器处理成功,用户终端应重置文档视图。

    68320

    深入解析Cookie技术

    例如,为用户提供改变网页内容、布局和颜色权力,允许用户输入自己信息,然后通过这些信息对网站一些参数进行修改,以订制网页外观。...另外,由于费用、带宽限制等原因,用户访问一个站点时并不希望浏览网页所有的内容。...如果有人盗取了这样Cookie文件,他就可以冒充登录网站,这将对用户个人信息安全构成不可预测威胁。 因此,在Cookie中保存一些不重要数据,如用户首选项或其它对应用程序没有重大影响信息。...最新IE6提供了多种隐私保护功能,包括:查看网站P3P隐私策略,以了解该网站如何使用个人可识别信息;通过Cookie隐私设置决定是否允许将网站Cookie保存在计算机上;在访问不符合隐私设置条件站点时发出隐私警报...它专门用于Cookie管理,支持用户查看、删除、编辑已经存在Cookie,自动地实时控制是否接受Cookie,根据过期时间过滤Cookie,它还能够记录Cookie活动,编辑拒绝或允许Cookie网站列表

    1.3K100

    2018年6月21日笔记

    ,通过因特网传送万维网文档数据传送协议。...HTTPS:是以安全以目标的HTTP通道,简单讲是HTTP安全版。即HTTP下加入SSL层,HTTPS安全基础是SSL,因此加密详细内容需要SSL。...TCP连接 浏览器发送HTTP请求报文,获取目标网页文件 服务器发送HTTP响应报文,将目标网页文件发送给浏览器 释放TCP链接 浏览器将网页内容包括文本、图像、声音等呈现在用户计算机屏幕。...python采用标记和分代垃圾回收策略,每次垃圾回收都会中断正在执行程序,造成所谓的卡顿。 4.同步异步,阻塞非阻塞 同步需要自己去轮询,异步就是中断会通知你是否已经完成。...同步和异步区别,对于操作结果来说,会不会等待结果返回。 阻塞是在中断过程中,你不可以去干其他事。非阻塞就是在同样情况下,可以同时去干其他事情。阻塞与非阻塞区别是相对于线程是否被阻塞。

    36320

    学员笔记 | 网站访问原理

    ,用于传送www方式数据 http1.0与http1.1区别: 1.0规定浏览器与服务器保持短暂连接,浏览器每次请求都需要与服务器建立一个TCP连接服务器完成请求处理后立即断开连接 1.1支持持久连接...Head:类似于get,响应无具体内容,用于获取报头 密码暴力破解 安装 apt-get install cupp 输入....url,当一个网页经历过短期URL变化时使用。...但是该拓展也存在问题,会导致恶意攻击者上传对应恶意软件 查看WebDAV是否开启:在IIS管理器中Web服务拓展里查看 漏洞利用 利用IIS put scanner扫描并挖掘服务器是否支持WebDAV...加密等级标识:N无安全加密,I弱安全加密,U强安全加密。 渲染引擎:格式为渲染引擎/版本信息 浏览器版本信息:在浏览器/后 移动端与PC段UA头区别:移动端中会出现mobile ?

    1.3K30

    Linux VPS使用命令行通过Firefox Send轻松安全地共享文件

    说明:Firefox Send可能很多人知道,一个很不错临时文件分享系统,官方地址→传送门,用的人也挺多,之前博主曾水过自建Firefox Send教程,具体查看传送门,不过都只能通过网页端共享...,使用VPS共享就有点不行了,这里就说个工具ffsend,基于官方Firefox Send,使用一个简单命令,通过安全,专用和加密链接,从命令行轻松安全地共享文件和目录,可以指定可选密码,最高可达2GB...功能 功能齐全,友好命令行工具 安全地上传和下载文件和目录 始终在客户端加密 额外密码保护,生成和可配置下载限制 文件和目录存档和提取 内置共享URL缩短器和QR代码生成器 支持新旧Firefox...-f #查看版本 ffsend --version 2、直接安装 除了自己编译外,作者也直接提供了编译好文件给你使用,文件下载地址:点击进去,然后再根据自己系统架构下载对应最新版二进制文件。...如果你想上传更大文件和保留更长时间,可以试试博主很久前发过同类工具Transfer.sh,使用查看传送门。

    83700

    HTTP协议概述

    它不仅保证计算机正确快速地传输超文本文档,还确定传输文档中哪一部分,以及哪部分内容首先显示(如文本先于图形)等。 HTTP特点 无连接:无连接含义是限制每次连接处理一个请求。...S其实是Security单词首字母。 HTTPS 安全基础是 SSL,因此通过它传输内容都是经过 SSL 加密,它主要作用可以分为两种: 是建立一个信息安全通道,来保证数据传输安全。...确认网站真实性,凡是使用了https 网站,都可以通过点击浏览器地址栏锁头标志来查看网站认证之后真实信息,也可以通过 CA 机构颁发安全签章来查询。...关于TCP/IP和HTTP协议关系,网络有一段比较容易理解介绍:“我们在传输数据时,可以使用(传输层)TCP/IP协议,但是那样的话,如果没有应用层,便无法识别数据内容,如果想要使传输数据有意义...PUT 从客户端向服务器传送数据取代指定文档内容。 PATCH 对PUT方法补充,用来对已知资源进行局部更新 DELETE 请求服务器删除指定页面。

    1.4K30
    领券