首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Python爬虫基础知识:异常的处理

不过通常的Python APIs异常如ValueError,TypeError等也会同时产生。 HTTPError是urlError的子类,通常在特定HTTP URLs中产生。...,内容是getaddrinfo failed 2.HTTPError 服务器上每一个HTTP 应答对象response包含一个数字"状态码"。...其他不能处理的,urlopen会产生一个HTTPError。 典型的错误包含"404"(页面无法找到),"403"(请求禁止),和"401"(带验证请求)。...处理方式:丢弃 400 非法请求 处理方式:丢弃 401 授权 处理方式:丢弃 403 禁止 处理方式:丢弃 404 没有找到 处理方式:丢弃 5XX...当一个错误号产生后,服务器返回一个HTTP错误号,和一个错误页面。 你可以使用HTTPError实例作为页面返回的应答对象response。

1.2K100
您找到你想要的搜索结果了吗?
是的
没有找到

Python:爬虫系列笔记(4) -- URL异常处理

11004,错误原因是 getaddrinfo failed 2.HTTPError HTTPError是URLError的子类,在你利用urlopen方法发出一个请求时,服务器上都会对应一个应答对象response...其他不能处理的,urlopen会产生一个HTTPError,对应相应的状态吗,HTTP状态码表示HTTP协议所返回的响应的状态。下面状态码归结如下: 100:继续 客户端应当继续发送请求。...处理方式:丢弃 400:非法请求 处理方式:丢弃 401授权 处理方式:丢弃 403:禁止 处理方式:丢弃 404:没有找到 处理方式:丢弃 500:服务器内部错误...HTTPError实例产生后会有一个code属性,这就是是服务器发送的相关错误号。...如果发生的不是HTTPError,则会去捕获URLError异常,输出错误原因。

1.7K90

说说PythonHTTP常见响应状态码?

如果参考答案不够好,或者有错误的话,麻烦大家可以在留言区给出自己的意见和讨论,大家是要一起学习的 。 废话不多说,开始今天的题目: 问:说说PythonHTTP常见响应状态码?...ps:今天这个HTTP状态码面试题,不仅仅只要Python是这样,其他语言也通用 。...HTTP状态码分为5种类型: 1** 信息,服务器收到请求,需要请求者继续执行操作 2** 成功,操作被成功接收并处理 3** 重定向,需要进一步的操作以完成请求 4** 客户端错误,请求包含语法错误或无法完成请求...400 (错误请求) 服务器不理解请求的语法。 401授权) 请求要求身份验证。对于需要登录的网页,服务器可能返回此响应。 403 (禁止) 服务器拒绝请求。...407 (需要代理授权) 此状态代码 401授权)类似,但指定请求者应当授权使用代理。 408 (请求超时) 服务器等候请求时发生超时。

71830

retrofit-helper 简洁的封装retrofit,优雅的取消请求

retrofit-helper Retrofit是很多android开发者都在使用的Http请求库!...2.3 Callback2 统一处理回调 请求开始、成功处理、失败处理、成功回调、失败回调、请求结束在此统一处理,各方法可以根据业务的不同自行重写,例如:可以重写parseResponse方法根据不通的http..."; break; case 401: msg = "身份授权"; break; case 403...统一处理异常错误 HttpError类中有两个成员属性msg 被body,msg是保存错误的描述信息等,body可以保存异常的具体信息或者原始的json等,onError(Call2 call2.../** * 通用的错误信息,一般请求是失败只需要弹出一些错误信息即可,like{@link retrofit2.HttpException} * Created by chengxin on 2017

2.8K20

Python 爬虫库 urllib 使用详解,真的是总结的太到位了!!

Python urllib库 Python urllib库用于操作网页URL,并对网页的内容进行抓取处理。 urllib包 包含以下几个模块: urllib.request - 打开和读取URL。...大概方法如下图: urllib.request模块 urllib.request定义了一些打开URL的函数和类,包含授权验证、重定向、浏览器cookies等。...HTTPError是URLError的一个子类,用于处理特殊HTTP错误例如作为认证请求的时候,包含的属性code为HTTP的状态码,reason为引发异常的原因,headers为导致HTTPError...区别: URLError封装的错误信息一般是由网络引起的,包括url错误HTTPError封装的错误信息一般是服务器返回了错误状态码。...URL 转码 python中提供urllib.parse模块用来编码和解码,分别是urlencode()unquote()。

1.7K30

Django RESTful API设计指南

RESTful API设计指南 #1 环境 Python3.7.3 djangorestframework==3.8.2 #2 动词 methods url 说明 GET /zoos 列出所有动物园(列表...状态码主要有以下几类 1xx —— 元数据 2xx —— 正确的响应 3xx —— 重定向 4xx —— 客户端错误 5xx —— 服务端错误 #3.2 常见的 HTTP 状态码可见以下表格 代码 msg...401 Unauthorized [*] 表示用户没有权限(令牌、用户名、密码错误),登录时,访问需要登录的页面。...403 Forbidden [*] 服务器拒绝请求,表示用户得到授权401错误相对),但是访问是被禁止的。已经登录,但是禁止访问某些页面。...500 Internal Server Error [*] 服务器发生错误,用户无法判断发出的请求是否成功 502 Server Error [*] 后端服务挂掉或者服务器压力过大,nginx接到的请求无法及时传递给后端的服务处理

1.1K20

Web应用安全

URL,就会看这个URL请求的资源是否是受限的,如果是,则返回401(Unauthorized——授权),包含一个www.authenticate首部和realm(领域)信息; 客户端和用户:浏览器得到...401的响应,根据realm信息,要求用户提供用户名和口令;浏览器再次发送刚才的那个请求,但是这个请求还包括一个安全HTTP首部以及用户名和口令; 服务端:容器接收到请求,容器接收到有用户名和口令的请求时...如果不匹配则再次返回401; 如果匹配,说明认证通过,则接着检查这个用户的权限,容器会查看这个用户指派的“角色”是否允许访问这个资源(即授权),如果授权成功,则把这个资源返回给客户端; 三、实施web安全...forgery等等 支持Servlet API集成 支持Spring MVC集成,但不限于此 这里我从Spring Guides找到了一个在web应用中使用Spring Security保护资源的例子...SSL/TLS SSL是一个介于HTTP协议TCP之间的一个可选层,在网络协议中的层次入下图所示。TLS是SSL 3.0的后续版本,可以理解为SSL 3.1,它是写入了 RFC 的。 ?

1.6K30

SpringBoot 如何使用 Sa-Token 完成权限认证?

什么是 Sa-TokenSa-Token 是一个轻量级 Java 权限认证框架,在其官网中,它的自我介绍是:非常易用且功能强大的Java身份认证授权框架,专注于减少用户认证授权开发的工作量,让开发人员可以精力更多的放在业务逻辑中...实现效果在完成以上步骤之后,我们已经成功地 Sa-Token 集成到了 SpringBoot 应用中,下面让我们来测试一下它的实际效果。3.1....访问受保护的资源访问一个需要权限验证的资源,此时如果在请求头中携带正确的 Token,那么请求会被正常处理,否则会返回 401 错误码。...访问注销接口访问注销接口 /logout,传入正确的 Token,然后再访问受保护的资源 /protected,此时应该返回 401 错误码,表示授权。...: e849c5fe820a2a2b2519c4b8cc6b3134返回结果如下:HTTP/1.1 401Content-Type: text/plain;charset=UTF-8Unauthorized4

1.1K00

python爬虫开发之Request模块从安装到详细使用方法实例全解

如果被重定向到别的主机,授权 header 就会被删除。 代理授权 header 会被 URL 中提供的代理身份覆盖掉。...requests.exceptions.HTTPError: 404 Client Error Request模块响应头 我们可以查看以一个 Python 字典形式展示的服务器响应头: r.headers...Request模块错误异常 遇到网络问题(如:DNS 查询失败、拒绝连接等)时,Requests 会抛出一个 ConnectionError 异常。...如果 HTTP 请求返回了不成功的状态码, Response.raise_for_status() 会抛出一个 HTTPError 异常。 若请求超时,则抛出一个 Timeout 异常。...至此python爬虫模块Request从安装到详细使用方法实例全解基本就结束了,更多关于python爬虫模块Request的使用方法实例请查看下面的相关链接

1.2K10

使用静态IP代理发生“401错误代码是什么原因?如何解决?

在网络代理中,静态IP代理是一种常用的代理方式,然而,有时使用静态IP代理时可能会出现401错误,本文探讨这种情况的原因。什么是401错误?...首先,我们需要了解401错误的含义,401错误表示未经授权访问,即客户端发送的请求未被授权。...代理服务器需要提供有效的凭据以获得访问权限,如果代理服务器提供有效的凭据或提供的凭据不足以访问所请求的资源,则会出现401错误。...,因此,目标服务器返回401错误。...通过检查这些问题并采取相应的措施,可以解决401错误问题,并确保顺利连接到目标服务器。最后Smartproxy是海外HTTP代理服务器提供商,服务于大数据采集领域帮助企业/个人快速高效获取数据源。

2.1K30
领券