开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >专栏 >python爬虫 requests异常：requests.exceptions.ConnectionError...

python爬虫 requests异常：requests.exceptions.ConnectionError...

作者头像

周小董

发布于 2019-06-24 07:28:20

发布于 2019-06-24 07:28:20

11.2K0

举报

文章被收录于专栏：python前行者python前行者

使用 requests抓取网页时会碰到如下异常：

requests.exceptions.ConnectionError: HTTPSConnectionPool Max retries exceeded

原因

1.http的连接数超过最大限制，默认的情况下连接是Keep-alive的，所以这就导致了服务器保持了太多连接而不能再新建连接。 2.ip被封 3.请求过快

解决

1.在header中不使用持久连接‘Connection’: ‘close’或requests.adapters.DEFAULT_RETRIES = 5 2.若是请求过快，可设置time.sleep 3.使用代理ip 4.Requests请求时有时会请求不到页面，或是请求到空白的页面，超时要重试几次，使用try…except语句

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2019年06月23日，如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

评论

登录后参与评论

暂无评论

编辑精选文章

换一批

万字详解高可用架构设计

Go 开发者必备：Protocol Buffers 入门指南

10分钟带你彻底搞懂分布式链路跟踪

多租户的 4 种常用方案

亿级月活的社交 APP，陌陌如何做到 3 分钟定位故障？

60页PPT全解：DeepSeek系列论文技术要点整理

HTTPSConnectionPool(host=’xxxxx’, port=443): Max retries exceeded with url:xxxxxxxx (Caused by Ne…

SSL 证书 python php http linux

http的连接数超过最大限制，默认的情况下连接是Keep-alive的，所以这就导致了服务器保持了太多连接而不能再新建连接。

kirin

2021/04/19

8.9K0

python接口自动化29-requests超时重试方法

http https 网络安全 github git

“由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败”,这是经常遇到的问题 requests.exceptions.ConnectionError: HTTPSConnectionPool(host=’www.github.com’, port=443): Max retries exceeded with url: / (Caused by NewConnectionError(‘<urllib3.connection.verifiedhttpsconnection object="" at="" 0x0000020f06524ac8="">: Failed to establish a new connection: [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。’,)) 一般出现这个问题的原因是：host=’www.github.com’ 主机地址没连上，使用 requests 发请求时，有些网站服务器不稳定，特别是国外的网站，经常会出现连接失败情况。连接失败后，有时候会抛出上面异常，有时候会一直卡住，进入假死状态，没响应，也不会结束。</urllib3.connection.verifiedhttpsconnection>

上海-悠悠

2020/05/29

5.7K0

树莓派上传数据错误一例

line requests 数据树莓派 gpio

DotNet Whisperer

2024/08/14

1480

requests 处理异常错误 requ

https php 网络安全 http

　　使用python requests模块调用vmallarg.vmall.com接口API时报如下错误：

py3study

2020/01/17

1.7K0

Unexpected EOF 远程主机强迫关闭了一个现有的连接如何处理

尝试百度了不少方法，如time.sleep(1)，response.close()，socket.setdefaulttimeout(20)。

dongfanger

2020/09/23

2.6K0

【Python】已解决：requests.exceptions.ConnectTimeout: HTTPConnectionPool(host=‘123.96.1.95’, port=30090)

网络 python host port requests

已解决：requests.exceptions.ConnectTimeout错误解析与解决方案

屿小夏

2025/05/23

1740

Python Requests 库中的重试策略实践

网络请求由于各种原因可能会失败，例如网络波动、服务暂时不可达等。为了增强客户端的健壮性，实现请求的自动重试是一个常见的做法。在Python中，requests库是处理HTTP请求的标准工具之一。然而，requests本身并不直接提供重试机制，这需要借助urllib3库中的Retry类来实现。

科技新语

2024/09/13

2350

Python Requests 库中的重试策略实践

python爬虫系列之Session相关知识

python session python爬虫

作为爬虫工作者，日常工作中常常遇到采集的页面限制我们的访问，尤其在频繁刷新或者访问一个页面时会引起网站的一些列反爬措施。网站的反爬措施有很多，今天我们就来谈谈 Session 和 cookie 的在python爬虫中的相关知识。

小白学大数据

2023/06/12

4430

python爬虫中Session 和 cookie的使用

爬虫网站 python 网络安全

在日常采集数据的过程中，我们经常会遇到有些页面只有登录之后我们才可以访问，并且在登录之后可以连续进行一系列操作，但是有些时候又需要重新进行登录。甚至有些网站登录很长的时间都不会失效，这种情况又是为什么？其实这里面涉及到 Session 和 cookie 的相关知识。

小白学大数据

2023/03/03

1.3K0

python使用requests时报错requests.exceptions.SSLError: HTTPSConnectionPool

分析:由于报错SSL证书验证失败,所以这次的访问应该是https协议.但是我们明明使用的是http,所以,猜测访问该网站后,被重定向到了https://www.baidu.com/

用户1214487

2018/08/01

5.7K0

python使用requests时报错requests.exceptions.SSLError: HTTPSConnectionPool

Python爬虫利器：Requests库的使用

python 爬虫安全

写了一些爬虫，从urllib库转到requests库，到目前为止，个人感觉requests库是最简单易用的HTTP库，以下这段话来自requests官网：

王强

2018/08/09

9430

开源项目 requests 的 stars 为啥比 python 还多 3.7k？

python php http https

结合上一篇文章《一次算法读图超时引起的urllib3源码分析》，我们学习了 urllib3 的基本语法、常见姿势和请求管理模式，以及PoolManager、HTTPConnectionPool、HTTPConnection等模块部分源码。对于学习 Python 的小伙伴来说，urllib3 强大的功能几乎能实现所有 HTTP 请求场景，但这就足够了吗？

程序员荒生

2022/03/15

8070

开源项目 requests 的 stars 为啥比 python 还多 3.7k？

爬取数据缺失的补坑，Python数据爬取的坑坑洼洼如何铲平

http 爬虫 python

渣渣业余选手讲解，关于爬取数据缺失的补坑，一点点关于Python数据爬取的坑坑洼洼如何铲平，个人的一些心得体会，还有结合实例的数据缺失的补全，几点参考，仅供观赏，如有雷同，那肯定是我抄袭的！

二爷

2020/07/22

2K0

爬取数据缺失的补坑，Python数据爬取的坑坑洼洼如何铲平

requests.exceptions.SSLError: HTTPSConnectionPool

SSL 证书 http https 网络安全

报错：requests.exceptions.SSLError: HTTPSConnectionPool(host='tc.ltyuanfang.cn', port=443): Max retries exceeded with url: /api/token (Caused by SSLError(SSLError("bad handshake: Error([('SSL routines', 'tls_process_server_certificate', 'certificate verify failed')])")))

cuijianzhe

2022/06/14

1.6K0

爬虫小白也能玩转！Python爬虫中的异常处理与网络请求优化

大家好，我是来自爬虫世界的小编。今天，我要和大家分享一些关于Python爬虫中的异常处理和网络请求优化的经验。不论你是初学者还是有一定经验的爬虫程序员，我相信这些实用的技巧和代码示例都能为你在爬取数据的过程中带来方便和效率。

用户614136809

2023/08/18

3570

Python爬虫异常处理：自动跳过无效URL

url 动态代理 python爬虫

爬虫在运行过程中常常会遇到各种异常情况，其中无效URL的出现是较为常见的问题之一。无效URL可能导致爬虫程序崩溃或陷入无限等待状态，严重影响爬虫的稳定性和效率。因此，掌握如何在Python爬虫中自动跳过无效URL的异常处理技巧，对于提升爬虫的健壮性和可靠性至关重要。

小白学大数据

2025/03/25

2170

Python爬虫过程中DNS解析错误解决策略

python爬虫 python dns

在Python爬虫开发中，经常会遇到DNS解析错误，这是一个常见且也令人头疼的问题。DNS解析错误可能会导致爬虫失败，但幸运的是，我们可以采取一些策略来处理这些错误，确保爬虫能够正常运行。本文将介绍什么是DNS解析错误，可能的原因，以及在爬取过程中遇到DNS解析错误时应该如何解决。

小白学大数据

2023/11/14

9250

Python爬虫面试：requests、BeautifulSoup与Scrapy详解

腾讯技术创作特训营S6

在Python爬虫开发的面试过程中，对requests、BeautifulSoup与Scrapy这三个核心库的理解和应用能力是面试官重点考察的内容。本篇文章将深入浅出地解析这三个工具，探讨面试中常见的问题、易错点及应对策略，并通过代码示例进一步加深理解。

Jimaks

2024/04/22

8070

python爬虫常用库之requests详解

python 爬虫 github anaconda

这是日常学python的第11篇原创文章在使用了urllib库之后，感觉很麻烦，比如获取个cookie都需要分几步，代码又多，这和python的风格好像有点不太像哈，那有没有更加容易点的请求库呢？答案是有的，那就是第三方库requests,这个库的作者是大名鼎鼎的kennethreitz，创作这个库的原因就是想让python开发者更加容易地发起请求，处理请求。里面还有个名字：HTTP for Humans,顾名思义，就是用来请求http的。想看源代码的可以在github上搜索他的名字就可以看到了。接下来

sergiojune

2018/04/04

1.4K0

python爬虫常用库之requests详解

Python：requests：详解超时和重试

python http 爬虫

网络请求不可避免会遇上请求超时的情况，在 requests 中，如果不设置你的程序可能会永远失去响应。超时又可分为连接超时和读取超时。

丹枫无迹

2019/01/22

5.9K0

相关推荐

HTTPSConnectionPool(host=’xxxxx’, port=443): Max retries exceeded with url:xxxxxxxx (Caused by Ne…

更多 >