Python WebScraping -我可以浏览网站，但请求返回'403‘

文章/答案/技术大牛

发布

1回答

python、python-3.x、web-scraping、beautifulsoup

我想在代码中搜索网站，但是我得到了一个403代码。我已经搜索了所有关于解决这个问题的主题，并使用了定义用户代理的建议，但它仍然不起作用。这是我尝试过的代码。comprar-casas/lisboa-distrito/pagina-1'print(response) 它返回"Response 403“。我怎么

浏览 34提问于2019-10-09得票数 0

回答已采纳

1回答

ConnectionError: HTTPSConnectionPool(host='www.google.com'，port=443)：

python、html、python-3.x、web-scraping

我想从google.com中抓取网页结果。我遵循了这个问题的第一个答案，。不幸的是，我得到了连接错误。我碰巧也查过其他网站，它没有连接。是因为公司的代理设置吗？请注意，我正在使用虚拟env "Webscraping“。\python37\webscraping\lib\site-packages\requests\api.py"，第75行，在get返回请求(‘get’，url，p

浏览 1提问于2018-10-29得票数 0

1回答

请求在Python中接收403，但在浏览器中工作良好

python、http、python-requests

我有一个简单的HTTP请求，它在浏览器中工作得很好，但在Python中却不行。在Chrome的中，我不添加任何标头，它可以工作，但在Python中不行。我注意到在Python中可能需要一个“用户代理”头，但是它不起作用。PS:最终，我被禁止在网站上，我被“拒绝访问”，即使是在使用Chrome浏览器访问主网站的时候。PS2:我在

浏览 1提问于2021-01-08得票数 0

1回答

Python请求403启用Cookies

python、cookies、cloudflare、http-status-code-403

当我试图从我的Python应用程序中访问一个站点时，我收到了以下403个禁止的回复。据我所知，CloudFlare并没有对我提出任何挑战，就像很多其他人的类似问题一样，它要求我启用cookies。该网站返回200 OK，如果我尝试通过卷曲或通过任何浏览器，所以这不是IP限制，这只是我的Python请求，它不喜欢。在目标URL之前，我尝试了各种用户代理的组合，尝试了

浏览 27提问于2021-10-13得票数 1

2回答

用curl_getinfo返回失败的200

php、curl

在下载之前，我使用此代码获取有关网页和文件的信息。active';www.example.com/film.mp4但在URL..it中没有扩展名的情况下不能工作，返回“非活动”；www.example.com/film/test用CURLINFO_HTTP_CODE重传403错误

浏览 5提问于2015-05-02得票数 0

1回答

网站在浏览器中打开，但在Python中打开时返回403

python、url、beautifulsoup、http-status-code-403、urlopen

有一个网站在浏览器中愉快地打开，在Python中打开时返回403 HTTP错误，如下所示：import urllib2 soup = BeautifulSoup(r, 'lxml') 该网站是一个很受欢迎的新

浏览 0提问于2016-04-19得票数 2

1回答

返回HTTP 401并表示客户端不重复请求

c#、ios、asp.net-mvc-3、http-status-codes、http-status-code-401

用户名和密码被发送到请求体中。如果用户或密码无效，服务器将返回HTTP 401。服务器是用C#、MVC3和.NET 4.0实现的。我们面临的问题是，如果客户端收到401，那么它会自动重新发送相同的请求2次。实际上，这只是针对iOS的问题。iOS的人说，它发生在低水平，它是失控的应用。所以可能服务器应该能够说客户端不再发送请求了。..。客户端<e

浏览 3提问于2014-09-03得票数 0

2回答

发出AJAX请求时禁止ajax 403

ajax、general-network-error

网站发起ajax请求，但总是收到所有浏览器的返回403错误。可以推断出什么问题？

浏览 5提问于2013-01-28得票数 4

1回答

何时显示“未找到记录”页或返回HTTP 404？

routing、http-status-code-404

我相信大家对此有很多不同的意见。预条件这是不公开的。场景显然，如果记录不存在，API将返回HTTP 404。谢谢!

浏览 2提问于2013-07-26得票数 5

回答已采纳

2回答

不支持的浏览器的HTTP状态代码

http、web、http-status-codes

您将返回哪些HTTP状态代码来指示不支持的浏览器？我看过，但似乎都不合适。

浏览 3提问于2013-11-05得票数 9

回答已采纳

3回答

Scrapy下载图像403错误

python、scrapy、varnish

我正在尝试从这个网站下载图片：目标网站最近改变了他们使用唯一URL发送图像的方式。当我下载图片时，我得到了一个403错误。下面的链接。我可以在浏览器中加载每个图像一次。加载映像一次后，后续请求会产生403错误。当我将浏览器更改为隐私模式时，我可以多次重新加载图像。这让我相信他们在以某种方式跟踪cookie。我尝试禁用scrap

浏览 3提问于2014-11-27得票数 0

1回答

"HTTP 403“，同时执行脚本单击搜索按钮，这与手动单击很好

selenium、selenium-webdriver、webdriver、http-status-code-403、http-error

在输入一些字段中的数据后，我试图点击搜索按钮，根据同一页面中的搜索结果(从A市到B市的航班列表，以及选定的日期)。当我为这个场景运行Selenium脚本时，系统显示的是HTTP 403，而当我手动运行它时，它工作得很好。

浏览 0提问于2019-05-28得票数 0

7回答

用Python进行屏幕抓取

python、screen-scraping、htmlunit、pycurl

Python有提供JavaScript支持的屏幕抓取库吗？我一直在使用pycurl来处理简单的HTML请求，对于需要JavaScript支持的更复杂的请求，使用了Java的HtmlUnit。理想情况下，我希望能够从Python中完成所有事情，但我还没有遇到任何允许我这样做的库。它们存在吗？

浏览 8提问于2010-02-03得票数 14

回答已采纳

2回答

Web抓取访问被拒绝|限制访问的Cloudflare

python、web-scraping、python-requests

我正在尝试使用python脚本访问和获取来自www.cclonline.com网站的数据。这就是代码。PC-Components/Graphics-Cards/')print(source.status_code)Access denied | www.cclonline.com used Cloudflare to restrict access P

浏览 137提问于2021-05-08得票数 0

回答已采纳

1回答

在IE上使用ajax调用时遇到403错误

ajax、internet-explorer、http-status-code-403

我有我的网站加载页面使用ajax。除了IE之外的所有浏览器都可以正确加载页面，IE在ajax请求中抛出错误403。然而，即使在IE中，它也能在本地主机中工作得很好。你可以在上查看我的网站。单击任何文章都会对内容进行ajax调用。我该如何修复它？因为它接收到HTTP403响应，所以没有返回任何数据，所以我无法显示我的页面。

浏览 0提问于2012-01-21得票数 4

1回答

Azure - WebApp -通过证书验证请求

azure、authentication、ssl、ssl-certificate、azure-web-app-service

我想对我的网站上的请求使用证书身份验证。但是当我(通过)将clientCertEnabled设置为true时，当我试图通过https访问我的站点时，我得到了403禁止的错误。通过浏览器，我得到了蓝屏错误403 -此web应用程序已停止，但我仍然可以通过http访问网站。当我将clientCertEnabled切换回false时，https正在工作。通过fiddler，我也得到了<e

浏览 11提问于2016-09-23得票数 0

回答已采纳

2回答

我想访问链接http://www.nation.co.ke/business/seedsofgold/Egg-imports-from-Uganda-hatch-big-losses-for-farmers/-/2301238/2897930/-/dpeqesz/-/index.html 该链接可公开访问，甚至可以使用curl加载。但是在Java代码中它抛出了Exception in thread "main" java

浏览 3提问于2015-10-09得票数 0

回答已采纳

3回答

验证XML代码时出现意外异常

c#、.net、html、xml

在.NET/C#中，我想验证一些html代码。例如，我有以下HTML：<!</body>我有以下C#代码：var settings = new XmlReaderSettingsvrdr.Read()) {

浏览 4提问于2010-11-02得票数 0

回答已采纳

1回答

“帐户所需”页面使用什么HTTP状态代码？

http-status-code-404、http-status-codes、google-search-console

我运行一个网站，其中一些网页需要一个免费帐户访问。我注意到网站管理员工具中有大量来自这些页面的软404。这些页面要传递的正确状态代码是什么？

浏览 3提问于2014-03-17得票数 0

回答已采纳

1回答

在浏览器中一切正常时，Requests.get返回403

python、web-scraping、python-requests、http-status-code-403

当我从浏览器请求https://haveibeenpwned.com/unifiedsearch/jonathan@gmail.com时，一切正常，但是当我从Python请求它时，它抛出了一个403。我在python请求中设置了用户代理，但一直收到403响应。我的代码： import requests url="https://

浏览 171提问于2019-06-17得票数 0

点击加载更多