2回答
我抓取了一些页面，这些页面检查我的IP是否是vpn或代理(假IP)如果发现是假的站点正在阻止我的请求请看是否有方法可以每x次使用真实IP更改我的IP而无需使用vpn或代理或重启路由器注:我正在使用Python脚本进行此过程
浏览 26提问于2021-11-16得票数 0
2回答
我有一个Python脚本，每30秒访问一个网站，每次我都需要一个不同的IP地址。
其他方法？
浏览 10提问于2019-12-19得票数 18
我在使用Scrapy / Python编写Youtube网络抓取程序时遇到了一个技术问题。我很清楚网络上使用的不同的防抓取系统。然而，其中一个给我带来了问题。我的脚本的预计抓取频率将是189个数据集(页面)每秒约208MB / s。我想有尽可能少的IP禁令，黑名单等。我知道使用免费代理很容易(通过代理的数据都不会泄露，所以不加密对我来说无关紧要)，但速度对我来说似乎太低了。但是付费代理太贵了(最低180欧元/月)。我想我明
浏览 41提问于2021-07-20得票数 0
我在数字海洋水滴上运行木偶机刮刀。这是当前的输出和代码片段。const browser = await puppeteer.launch({ args:["--no-sandbox", "--proxy-server
浏览 3提问于2019-12-23得票数 2
1回答
我正在进行一个抓取项目，从一个网站中提取网页数据。我制作了一个脚本来遍历URL和解析HTML内容，并将结构化的内容输入到我的database.The脚本中，但是最近脚本被卡住了，在调查中发现目标站点阻塞了我们的IP。这影响了我的脚本的工作，没有任何网页可以从网页请求，每次我得到一个访问限制错误。我正在处理一个带有弹性IP的amazon实例，因此我对他们何时/是否会解除对我的IP的禁令感到困惑。我听说过旋转代理方法用于
浏览 3提问于2014-08-04得票数 1
我创建了以下bash脚本：for ip in $(cat targets.txt); do"curl -I http://"${ip}但是，我没有收到预期的输出，这是来自targets.txt中列出的IP地址的header响应。
浏览 1提问于2018-11-06得票数 0
回答已采纳
3回答
我试着在玩具反斗城的页面上抓取一个特定的字段...
它在页面加载过程中只工作了一次，然后就再也不能工作了。有些网站有办法防止人们抓取他们的内容吗？我是个新手，请温柔点。
浏览 0提问于2013-08-17得票数 0
1回答
我正在编写一个抓取器，它将提取给定代理的信息。我正在使用python请求和具有用户名和密码的私有代理来访问"https://ip8.com/“，它将提供有关代理的信息，并将抓取信息。代理运行得很好，所以没有问题。 我几乎尝试过每种方法。我也尝试过urllib3，但没有成功。proxy_string , "https": proxy_string}
s.auth = HTTPProxyAuth("use
浏览 11提问于2019-05-29得票数 0
我想从python程序中找到我的公网ip地址。和任何其他想法或网站，以便我可以获得我的ip
浏览 0提问于2013-07-23得票数 1
回答已采纳
2回答
抓取运行应用程序的ip
、、、
现在我要做的是指定正在运行应用程序的服务器的ip地址，因此在这种情况下，如果服务器的ip地址设置为类似于111.111.111.111的内容，我如何在windows系统中获取该应用程序内部的111.111.111.111ip地址，并在完成后以整数形式显示服务器的ip地址？我不希望显示它的本地ip，那是像127.0.0.1或甚至192.168.x.x之类的东西。
浏览 3提问于2012-05-06得票数 0
1回答
我使用Scrapy进行网络抓取，使用Polipo作为代理，使用Tor作为网络。我知道我的代理做旋转IP，但IP位置大部分时间是在我的国家之外。在我刮过的网站上，考虑到IP的位置，它可能会有一些阻塞。那么，如何保持旋转的IP规则并限制所使用的IP的位置？
版本: 1.5.0，Python版本: 2.7.9，Tor版本: 0.3.4.8，Vidalia: 0.2.21
浏览 0提问于2018-11-13得票数 2
回答已采纳
我使用代理ips列表来抓取它们，比如ip1, ip2, ..., ip10。每当我从一个站点(比如site5 )抓取任何页面时，我都会调用一个函数getProxyFor(site5)，该函数为我提供了从site5请求页面时应该使用的代理ip。getProxyFor检查以最少的次数返回用于site5的代理ip (我可以附加一些条件，例如代理的使用时间或它发送的成功请求总数(针对所有站点)，等等)。我可
浏览 1提问于2014-09-03得票数 0
我试图刮一个网站，该网站提供不同的网页取决于发送请求的IP的地理位置。我使用的是位于美国的亚马逊EC2 (这意味着它为美国提供了一个页面)，但我想要的页面将在印度提供服务。
浏览 1提问于2012-11-09得票数 1
1回答
我想使用代理IP进行网络抓取使用刮除。为了使用代理，我设置了文档中提到的环境变量http_proxy。$ export http_proxy=http://proxy:portfrom scrapy.spider import BaseSpider://whatismyip.com"]
print respons
浏览 3提问于2014-05-12得票数 4
回答已采纳
1回答
访问网站时发送网站访问者IP
、、、、
我正在做一个个人项目，我想知道为什么不使用一种ip记录器，记录访问者的ip并将其发送到不一致的网络挂钩。代码可以工作，但只能在本地运行。color: "4700374", fields: [ {name: "varos
浏览 43提问于2021-09-04得票数 0
回答已采纳
1回答
有没有办法让我运行一个php (我可以访问它)，然后php抓取我的ip，然后冒充我从另一个站点获取一些东西(通过代理我的ip到远程位置)？假设我的ip是: 192.353.89.xx然后它使用我的ip从远程站点获取一些东西，并处理并回显给我，这样远程服务器就会认为是我在提取信息。
浏览 4提问于2012-07-29得票数 1
回答已采纳
我一直在使用一些不同的前向代理软件，主要是CCProxy和Squid /Cache。我所拥有的是一个专用服务器，它有一个带有多个IP的NIC。一个IP是静态的，其余的是动态的。静态IP充当主地址，这是我访问代理服务器的方式，其他是用于web抓取和其他任务的动态ip地址。我在CCProxy中创建了一个代理，它允许您将用户链接到特定的出站ip地址，这对于我所做的工作非常有用，允许我为不同的ip分配不同的任务。
浏览 0提问于2018-09-05得票数 1
回答已采纳
1回答
当我做DOM解析HTML时，我想隐藏我的ip地址，我只是从其他网站解析了航班时刻表，我想隐藏我的ip，这样他们就不会禁止我的ip。有人能帮帮我吗？
浏览 1提问于2013-09-30得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
