尝试/例外抓取URL末尾有3个随机数字的站点
尝试/例外抓取URL末尾有3个随机数字的站点是指通过程序自动化地访问并抓取URL末尾包含3个随机数字的网站。这种技术常用于网络爬虫、数据采集和信息抓取等应用场景。
尝试/例外抓取URL末尾有3个随机数字的站点的优势在于可以快速、高效地获取大量网站的数据，并进行后续的分析和处理。通过自动化的方式，可以节省人力资源和时间成本，提高工作效率。
这种技术的应用场景包括但不限于：
- 数据采集与分析：可以用于抓取各类网站的数据，如新闻、社交媒体、电子商务等，用于市场调研、舆情分析、竞品分析等。
- SEO优化：可以抓取网站的关键数据，如标题、关键词、描述等，用于优化网站的SEO效果，提升搜索引擎排名。
- 网络监测与安全：可以抓取网站的内容和链接，用于监测网站的可用性、性能和安全性，及时发现并解决问题。
- 数据挖掘与机器学习：可以抓取大量的数据用于训练机器学习模型，进行数据挖掘和预测分析。
腾讯云提供了一系列相关产品和服务，可以支持尝试/例外抓取URL末尾有3个随机数字的站点的需求：
- 腾讯云服务器（CVM）：提供稳定可靠的云服务器实例，用于部署和运行爬虫程序。
- 腾讯云数据库（TencentDB）：提供高性能、可扩展的云数据库服务，用于存储和管理抓取到的数据。
- 腾讯云CDN（Content Delivery Network）：加速静态资源的传输，提高网站的访问速度和用户体验。
- 腾讯云API网关（API Gateway）：提供API管理和发布服务，方便对外提供数据接口。
- 腾讯云容器服务（TKE）：提供高可用、弹性伸缩的容器集群，用于部署和管理爬虫应用。
更多关于腾讯云相关产品和服务的介绍，请访问腾讯云官方网站：https://cloud.tencent.com/
相关·内容
我正在尝试抓取一个网站。这是此的延续
我能够获得所需的数据，但网站有多个页面，每天都有不同的页面。有时它可能是20页，而另一天则是33页。我试图通过获取最后一个页面元素来实现这个解决方案，但是当我到达要抓取的站点上的pager div时，我发现了以下格式
<a class="ctl00_cph1_mnuPager_1" href="javascript:__doPostBack('ctl00$cph1$mnuPager','32')">32</a>
<a class="ctl00_
浏览 50提问于2017-09-12得票数 0
1回答
我已经向中文百度提交了我的网站的站点地图文件。
我的网站地图包括：
1)使用gzip压缩的 16 sitemap文件，每个文件小于10 16，包含更少的50K url。
2)带有指向上述站点地图gzipped文件的链接的站点地图索引。
我看到的是百度非常奇怪的行为--它将我的一些站点地图文件标记为Failed (抓取失败)，而其他文件似乎是经过处理的(正常--正常)。
当我重新提交同一组站点地图时，其他文件随机成为失败的爬行文件，而以前失败的文件可以不出错地进行处理。
除了百度留言“失败的爬虫”(抓取失败)之外，我找不到我的站点地图有什么问题。
我变得疯狂，因为百度标记文件“失败的爬虫”相当随
浏览 3提问于2016-10-18得票数 0
回答已采纳
3回答
如何检测这两个URL驱动到相同的站点(所以它们是相同的URL)而不必使用web抓取来读取内容？
例如:我需要检查(使用GET请求)
两个url都是同一个站点，但我如何检测？
我更喜欢Ruby或Python，但我可以使用任何语言。
编辑：
另一个像 & 这样的案例。这个网站有一些随机横幅，当重新加载时会改变，所以HTML --它与每次重新加载不一样。
谢谢!
浏览 3提问于2014-06-20得票数 1
回答已采纳
我有一个包含循环的后台工作线程。对于每一次迭代，我想更新一个文本框，向用户显示正在发生的事情的日志。例如，如果用户为头条删除了200个网站，它会说：
抓取站点1.net抓取站点2.net抓取站点3.net
我能看到的唯一能做到这一点的是reportProgress，它只有一个整数例外。我不需要报告百分比。我希望每次迭代都要触发一个事件。
这个是可能的吗？
浏览 0提问于2010-08-02得票数 2
通过抓取，我使用随机代理中间件为Scrapy ()。
首先，我通过抓取免费的代理站点(不使用代理旋转)获得list.txt (代理列表)，然后，当我通过两个不同的Scrapy项目运行它时，我会对另一个站点进行抓取(使用代理旋转)，它工作得很好。
问题是如何将获取代理和抓取合并到一个粗糙的项目中，还是有其他方法来处理它？
我试图在一个Scrapy项目中一起运行它，不幸的是，它不起作用。可能是因为在这种情况下，尝试使用list.txt进行代理旋转，此时请求释放代理站点是空的。
浏览 1提问于2019-06-23得票数 0
回答已采纳
2回答
我有一个脚本，从网页提取网址，加载每个链接，并提取我需要的数据。然而，经过进一步的研究，我发现Selenium并没有像它应该的那样打开链接，而是在复制信息。例如： link 1 - Title:ABC <-- within link, extract 123
link 2 - Title:DEF <-- within link, extract 456
link 3 - Title:GHI <-- within link, extract 789
link 4 - Title:JKL <-- within link, extract 000 输出应如下所示： ABC,
浏览 20提问于2019-05-02得票数 0
回答已采纳
我有一个页面抓取器，用于从站点的子目录中抓取内容，而我的重写规则正在干扰内容抓取。例如，抓取器正在抓取站点的旧版本的内容：
/catalog.asp?page=23§ion=14
然后用它来填充新版本：
/PartsBook/Catalog.aspx?page=23§ion=14
除了使用此内容预先填充新站点之外，我还将旧url重定向给那些将它们标记为新url的用户。这样做的问题是，它会导致抓取器尝试读取新页面，而不是旧页面。有没有办法使用规则条件将规则限制为只影响非本地请求？
浏览 2提问于2011-11-30得票数 7
我有以下类型的url：
localhost/Support/My-DNN-Module-Name/ID/133
我需要始终提取末尾的ID值，在本例中是133。这就是我目前正在做的提取它的工作：
if (url) {
// try tograb number as int from url
var intValue = url.match( /\d+/ );
if (intValue) {
console.log("converted url to int value and the resu
浏览 12提问于2020-05-06得票数 0
回答已采纳
11回答
我有这个reg ex
var id = url.match(/(\d+)\/\d+$/)[1];
，即解析url。
http://whatever.com/something/70/48/359
它正在像它应该的那样抓取48，但它在
http://whatever.com/something/70/48/359#
为什么#搞乱了正则表达式
浏览 1提问于2010-11-20得票数 0
回答已采纳
Python给出15精度点的随机数。是否有一种方法可以得到17点，就像javasctip Math.random()一样。
我试过了，效果很好。还有别的办法吗？
import random
print(format(random.random(), '.17g'))
P.S.：我不是数学背景(我来自生物学)。
我的实际需要是随机模拟JavaScript，因为其中一个网站使用它动态创建一些验证，这是我想用python来抓取该站点的。
浏览 9提问于2022-01-07得票数 0
回答已采纳
1回答
我需要做一个图形抽象，我想展示这个项目的目标是预测两个参数之间的正相关关系。我不想像那样从谷歌上抓取照片。我可以在Python中生成一些跟随特定趋势线的随机点吗？
浏览 0提问于2019-02-19得票数 0
我有一个功能齐全的抓取脚本从网站提取数据。在安装过程中，目标站点根据我的USER_AGENT信息禁用了我。随后，我添加了一个RotateUserAgentMiddleware来随机旋转USER_AGENT。这很好用。
但是，现在当我尝试使用scrapy shell来测试xpath和css请求时，我得到了一个403错误。我确信这是因为scrapy shell的USER_AGENT默认为目标站点已列入黑名单的某个值。
问:是否可以在scrapy shell中使用不同于默认的USER_AGENT来获取URL？
fetch('')添加什么?？更改USER_AGENT的步骤
Thx
浏览 0提问于2014-08-21得票数 19
回答已采纳
1回答
用于抓取的Drupal结构
、、、、
我正在尝试用Python脚本刮一个drupal站点，用于过去的音乐演出。
在使用wordpress站点进行此操作时，我会像这样迭代urls：
…
...and，它会让我转发到一个页面(如果有)，我可以刮。实际的URL应该是这样的：
我的Drupal站点也有一些部分(例如/gigs/或/古典/等等)。
有没有办法找出他们的urls是什么，这样我就可以用来抓取它了(欢迎其他建议)吗？
理想情况下，我会找出结构是什么。
…
等。
但也许它不是这样工作的？
浏览 9提问于2016-04-21得票数 0
回答已采纳
2回答
从完整的url获取列表名
、、、
我有数百个不同的随机URL，所有文档都在库中，没有来自不同农场、不同站点集合和站点的任何其他参数，目标是从SharePoint下载一个文件作为二进制数组。
例如，传入url = 。
那么，如何从这里获得(a)正确的站点收集根url (b)站点根url (c)库根url？我现在想到的唯一方法就是慢慢地从url的每一部分中剥离出来，直到例如.Rootfolder不再给出例外.或者反过来，通过url的第一部分缓慢地添加位，直到根文件夹、nog长程序给出一个异常，然后查询子网等等。
浏览 4提问于2015-04-01得票数 1
回答已采纳
1回答
在这个问题上，我使用了php简单的html dom，但没有成功。现在我去了DOMDocument和DOMXpath，这看起来确实很有希望。
这是我的问题:我正在尝试从页面中抓取数据，该页面在页面最初显示后通过web服务请求加载。这仅仅是毫秒，但是由于这一点，普通的抓取显示了一个模板值，而不是实际的数据。我使用网络设置找到了端点url。因此，如果我将该url输入浏览器地址栏，数据将以JSON格式很好地显示。一切都好。
我的问题出现了，因为每当站点被重新访问或页面刷新时，端点url的后缀都是随机生成的，因此我无法将这个url硬编码到我的php文件中。例如，在第一次访问时，url的末尾是"?
浏览 1提问于2015-02-09得票数 0
1回答
从URL的元组加载URL
、、、、
我在一个元组中有一个很大的URL列表，当我按下一个按钮时，它会随机选择一个URL，然后按下第二个按钮来加载URL。再次按下第一个按钮只会切换到另一个URL，以便加载第二个按钮。我得到了随机部分的工作，所以我只需要知道如何从我的列表传递一个URL到一个按钮轻敲。感谢您的帮助，谢谢。
我现在正在做这样的事情，而不是加载像yahoo.com这样的特定站点(就像我在这里做的那样)，我想要加载我随机选择的一个站点
@IBAction func ButtonTapped(sender: AnyObject) {
let url = NSURL(string:"http://www.yah
浏览 0提问于2016-03-09得票数 0
1回答
Facebook的刮板不起作用。我已经更新并部署了我的网站。我通过查看页面源代码验证了这些更改。但根据the debug tool的说法，Facebook仍然保留着以前的页面。我等了一整夜，又试了一次，但它仍然说它正在刮掉以前的页面。我使用VPN从不同的地方访问网站，但都是一样的。这是我尝试使用的第一个网站。我尝试在调试工具中向url添加一个哈希。然后它说“这个网址以前没有在Facebook上被分享过”。我点击了“获取新信息”，它再次抓取旧信息。我试着在批处理无效化程序中输入url。我单击debug，得到“一些输入URL被忽略，因为它们是Facebook URL或超出了最大输入。”url只有
浏览 40提问于2021-05-01得票数 0
回答已采纳
在下载站点上，我想抓取镜像站点的所有URL。我使用的是PHP。
例如，在此页面上：
http://drivers.softpedia.com/progDownload/Gigabyte-GA-P55A-UD3-rev-10-Intel-SATA-RAID-Preinstall-Driver-9501037-Download-99091.html
我想提取以下URL：
http://drivers.softpedia.com/dyn-postdownload.php?p=99091&t=0&i=1
http://drivers.softpedia.com/dyn-postdown
浏览 1提问于2011-05-10得票数 0
我试图将URL与javascript进行比较，当前的url是：
http://domain/products?save&step&id=287
我使用了window.location.search，它呈现：
?save&step&id=287
我需要知道如何将URL与任何像这个伪码一样的数字进行比较，我使用(any_number)作为随机数的例子，它不需要匹配相等的数字，因为我不知道哪一个是正确的方法。
var prod_url = window.location.search;
if(prod_url == "?save&step&
浏览 8提问于2015-10-20得票数 0
回答已采纳
4回答
我正在尝试写一个非常基本的基准测试脚本，它将从网站加载随机页面，从主页开始。
我将使用curl抓取页面的内容，但随后我还想从中加载一个随机的下一个页面。谁能给我一点Shell代码，它将从一个随机的href从curl命令的输出中获得URL？
浏览 0提问于2012-07-13得票数 1
我正在尝试用jquery抓取href末尾的15。
<a class="ajax" href="/organizations/1/media/galleries/15">Silly Gangs</a>
有什么想法吗？
浏览 0提问于2010-09-22得票数 0
回答已采纳
因此，作为来自Thenewboston的一项任务，我试图从他的站点抓取一段代码并将其写入文件中。代码抓取部分工作正常，但编写部分不起作用：
import requests
from bs4 import BeautifulSoup
def crawler(url):
source = requests.get(url)
source_text = source.text
soup_obj = BeautifulSoup(source_text, "html.parser")
for code in soup_obj.find('cod
浏览 7提问于2017-12-04得票数 2
回答已采纳
1回答
我们的站点有超过20K的页面，每个页面在URL中都有一个不同的ID，允许我们识别被访问的人。我们想做个比较。但是，使用正则表达式，我不能将筛选器缩小到特定的站点列表，因为每个列表项的排列也会被返回。例如：
如果我有以下筛选器：> Page > Regex >( 748欧元1419\1496)，包括9748、7482、7483等。这造成了一个问题，因为我仅限于我的第一个5000个结果，所以我会丢失一些我需要准确完成我的报告。
浏览 1提问于2015-10-13得票数 1
回答已采纳
1回答
我正在尝试获得在一个非常大的Sharepoint集合中创建的子站点的总数。请注意，我不能直接访问服务器。
是否有我缺少的本地sharepoint功能将提供站点计数？
是否有能够抓取集合的webservice？(我们有谷歌的迷幻剂)
除了在服务器上运行powershell脚本之外，还有其他选项吗？
谢谢!
浏览 1提问于2012-04-04得票数 0
回答已采纳
我创建了一个爬虫，它可以抓取电子商务站点中的页面，并收集不同项目的数据。爬行器可以很好地处理站点的特定页面(www.sitedomain/123-item-category)，以及搜索页面(www.sitedomain/searchpage?controller?search=keywords+item+to+be+found). 但是，当我通过Scrapyrt运行它时，特定的页面工作正常，但是搜索页面返回0项。没有错误，只有0 items.This出现在2个不同的站点和2个不同的爬行器上。 在使用Scrapyrt时，搜索页面是否有一些特定的东西需要考虑？ 以这样的蜘蛛为例： import
浏览 24提问于2020-12-10得票数 0
我想抓取从URL生成器接收到的一组随机网站，使用Selenium的和对捕获的DOM状态进行静态代码分析。
这对爬行的机器来说可能不安全吗？
我担心的是，随机生成的站点中有一个是恶意的，从ChromeDriver (用于捕获新的DOM状态)执行ChromeDriver会以某种方式感染运行测试的机器。我应该在某种沙箱环境中运行这个程序吗？
-编辑--
如果重要的话，爬虫完全是用Java实现的。
浏览 5提问于2017-08-26得票数 2
回答已采纳
1回答
我在我的站点中缓存有问题，我认为它来自我正在使用的模板(JSN )。即使在我的Joomla设置(全局配置、系统插件、模块)中禁用缓存之后，缓存仍能工作。
我认为可以解决这个问题的一种方法是重写URL，并在URL的末尾添加一个随机数或会话id，这样我就可以强制加载页面，而不是从缓存中显示。
有办法这样做吗？
谢谢
浏览 0提问于2014-10-15得票数 0
回答已采纳
1回答
执行多个get请求
、、、
我正在写一个python程序，它使用漂亮的汤从网站上抓取图像链接，然后对图像进行分类。网站以给定的url格式将他们的图像放在不同的页面上：(website.com/(a-z)(a-z)(0-9)(0-9)(0-9)(0-9)这意味着url的可能性非常高(+100万)。我担心，如果我多次向该站点发出get请求，可能会损害该站点或将我置于法律危险之中。我怎样才能在不破坏网站或使自己陷入法律麻烦的情况下抓取最多的urls？如果你们还想要更多信息，请告诉我。谢谢!
附言:我已经在下面留下了我的代码的伪代码，如果这有帮助的话。
另外，如果格式奇怪或混乱，我很抱歉，我是从手机上发的
For url in
浏览 10提问于2020-05-06得票数 0
1回答
硒与Scrapy结合
、、、、
是否有任何方法有效地将Selenium集成到Scrapy中，以实现其页面呈现功能(以便生成屏幕截图)？
在Scrapy已经处理完这个请求之后，我看到的很多解决方案只是在WebDriver上抛出一个Scrapy请求/响应URL，然后就可以完成了。这会产生两倍多的请求，在许多方面失败(需要登录的站点，具有动态或伪随机内容的站点，等等)，并使许多扩展/中间件失效。
有什么“好”的方法让这两个人一起工作吗？有没有更好的方法来生成我正在抓取的内容的截图？
浏览 3提问于2015-07-13得票数 6
我有一个简单的php脚本，用于从Facebook获取图像并将用户配置文件图像下载到我的服务器上。
$url = 'https://graph.facebook.com/'.$idUser.'/picture?width=200&height=200&redirect=false';
$data = json_decode(file_get_contents($url), true);
$url = $data["data"]["url"];
$path = $idUser.'.jpg'
浏览 4提问于2014-06-27得票数 0
回答已采纳
1回答
我之所以使用iMacros，是因为我想抓取一个特定的站点，以获取在URL中使用的ID，然后按下一个按钮。
我知道您不能在URL的语法中使用正则表达式或全局化。但是我想可能有一种方法可以在URL GOTO=中输入变量？更好的是，我不想将变量随机化，但是让它尝试1- 99999中的每一页。
这就是我目前的情况：
VERSION BUILD=8940826 RECORDER=FX
TAB T=1
SET !ERRORIGNORE YES
SET !VAR3 ("Math.floor(Math.random()*99999 + 1);")
URL GOTO=http://example
浏览 3提问于2015-11-11得票数 1
回答已采纳
2回答
我需要你帮我解决网络抓取问题。我正试图从一个网站上抓取新闻。但是我在抓取总分页的数量时遇到了问题。
例如，在这个页面上，我想刮这个分页(166)。但是分页路径不在站点结构中：
url <- 'https://www.burkina24.com/category/actualite-au-burkina-faso/politique/'
read_html(url) %>%
html_nodes("#wrapper .nav-links > a") %>%
html_attr("href") %>%
浏览 3提问于2020-10-05得票数 0
回答已采纳
1回答
我正在尝试抓取：
我的爬虫从一个URL开始，然后深入到该页面上提到的所有链接。现在，我抓取了其他站点，我的逻辑是检查URL是否包含"products“字符串，然后下载产品信息。在这个网站上没有前面提到的东西。如何区分产品页面和普通页面？(它所需要的只是一条if语句。我希望我的问题是清楚的。为了便于记录，下面是该站点的产品页面：
浏览 0提问于2019-08-20得票数 0
1回答
我想使一个具有成本效益的分布式爬虫(即，我可以添加额外的服务器，以更快地处理URL)，重点是抓取整个网站作为一个服务。它将抓取目标站点的每个URL，并下载，例如，在其他站点上直接引用的任何图片或文件(但不能在此之后爬行其他站点)。由于目标站点所有者将允许他们的网站进行爬行，爬虫可能不那么礼貌，例如每秒下载20页。
这个建筑听起来合理吗？
AWS ECS2实例是可以根据需要杀死或联机的工人。
运行PostgreSQL的AWS数据库存储页面元数据。
URL边界(要爬行的URL )、所见URL列表、URL爬行深度等将存储在数据库中。
工作人员将轮询数据库中的新工作，以及哪个工作人员也
浏览 5提问于2015-11-08得票数 0
回答已采纳
我试图从一个网站上的多个链接刮体育时间表。已正确找到并打印了URL，但只有来自上一次抓取的URL的数据才会输出到控制台和文本文件。
我的代码如下：
<code>A0</code>
这为我提供了以下输出
<code>B1</code>
我有下面的旧代码，它的工作正常，并输出所有的数据从每个抓取的网址从主页。
<code>A2</code>
我认为这个问题可能是以下原因：
<code>A3</code>
因此，我尝试将其移动到URL循环中，但输出是相同的(只有从输出的主页抓取的最后一个<c
浏览 24提问于2020-08-01得票数 0
回答已采纳
3回答
我已经看到很多激活链接通过电子邮件发送，我实现了一个激活链接，但对此并不满意(来自其他网站的长激活链接看起来有点酷，但我看不出这么长的激活链接有什么意义)。下面是我的激活链接的样子
站点/控制器/方法/4/MJKL
第三段是用户id，第四段是注册过程中随机生成的令牌……
我经常看到这是用url字符串实现的，但是使用url字符串和使用url段有什么不同呢？
如果我传递除用户id和令牌之外的任何其他信息会有帮助吗？
浏览 0提问于2009-11-18得票数 0
回答已采纳
5回答
我有一个网站，它使用jQuery和Ajax来改变网站的内容，而无需重新加载页面。该网站包含我经常更改的内容。但不知何故，页面被保存在缓存中，因此它不会显示更改。
我尝试了几种方法来使浏览器不将站点保存到缓存中，比如META和PHP。但是它不起作用。
我认为这与这样一个事实有关，即页面总是有相同的URL，所以我想给它添加一个随机数，如下所示：
window.location.hash = $(this).attr('href').substr(0,$(this).attr('href').length-5);
(这不是我的代码，是用googlin找到的)，但这只是
浏览 0提问于2011-09-15得票数 2
回答已采纳
谁能告诉我如何使用Scrapy从this page抓取用户评论的文本？我知道如何使用选择器从抓取的代码中检索项，但页面似乎是从其他地方提取注释的数据。我想不出在哪里。 我尝试过使用站点检查器和Chrome中的“网络”选项卡来检查站点。我想它可能是'https://user.guancha.cn/static/js/comments-plugin-cms.js?201910221652‘，但我看不到存储在那里的评论。 谢谢你的帮助！
浏览 16提问于2020-01-30得票数 0
回答已采纳
1回答
网络刮刀
、、、、
我正试图从下面的网站()中抓取一个URL列表，但是我在教程中没有运气。下面是我尝试过的代码的一个例子：
from bs4 import BeautifulSoup
import urllib2
url = "http://thedataweb.rm.census.gov/ftp/cps_ftp.html"
page = urllib2.urlopen(url)
soup = BeautifulSoup(page.read())
cpsLinks = soup.findAll(text =
"
浏览 4提问于2015-03-10得票数 2
回答已采纳
1回答
我有几百个URL，在那里我试图为页面上的图像抓取图像路径。每个页面都是相同的格式，但是div类对每个页面都是唯一的。
我希望能够使用Google中的导入xml来只抓取数据路径元素的内容。
我尝试使用xpath提取URL，但失败了。
<div class="uniqueid active" data-path="/~/media/Images/image.jpg" data-alt="Anything"></div>
例如//div[@class='*']/@data-path"
站点示例：
浏览 0提问于2019-02-11得票数 1
回答已采纳
我正在使用web抓取框架scrapy来对一些站点进行数据挖掘。我正在尝试使用CrawlSpider，页面上有一个“上一步”和“下一步”按钮。URL的格式为
www.qwerty.com/###
其中，###是每次按下next按钮时递增的数字。如何格式化规则，使其不会出现无限循环。
这是我的规则：
rules = (
Rule(SgmlLinkExtractor(allow='http://not-a-real-site.com/trunk-framework/791'),follow=True,callback='parse_item',
浏览 2提问于2011-07-14得票数 2
1回答
我有一个start URL，只想抓取一个页面，但是我想通过在start_url中输入介于1到50之间的随机数随机选择该页面：
start_urls = ["http://www.modcloth.com/shop/bedding?sorting=loved&page=1"]
其中page=随机数
浏览 3提问于2014-02-25得票数 2
回答已采纳
我目前正在编写一个Python项目，它需要执行以下操作：
-the用户输入到不同站点的多个链接
-the脚本从这些站点抓取信息，并将输出写入.txt文件中。
我遇到的问题是，如果一个站点无法到达(例如，一个随机链接: oflexertzue.com)，那么整个脚本就会停止，我必须重新启动它。
如果无法到达某个站点，我将收到以下错误消息：
Failed to establish a new connection: [Errno 11001] getaddrinfo failed'
我试图找到一种方法来跳过下一个链接或构建一个异常，并将' exception‘输出到文本文件中。我也
浏览 3提问于2022-07-18得票数 0
回答已采纳
1回答
我想用(file_put_contents)函数从url抓取文件，但我不能，我得到了错误(文件找不到)，但我确信100%的文件路径是正确的，因为当我点击下载同一站点的文件的链接时，它工作，但当我想抓取它时，它显示找不到。
请参阅此路径
当您尝试抓取它或尝试使用(linux命令，如wget)时，您得到的结果是未找到该文件，但请查看文件页面
转到底部，你会看到相同的文件路径，点击它，它就会被下载。
在不进入站点的情况下获取此文件的任何帮助。
问候
浏览 3提问于2012-06-16得票数 0
1回答
我正在尝试在html方向上垂直抓取遵循一个简单规则的页面：
他们有/MLA####或/MLA-# (#作为随机数)
问题是，对于下面的代码，当/MLA####或/####MLA###页面出现时，scrapy只能检测到名称为/MLA-#的页面，我的scrapy代码不起作用，而且抓取是错误的
rules = (Rule(LinkExtractor(allow=r'/_Desde_'), follow=True),
Rule(LinkExtractor(allow='/'+'MLA'), follow=True, callback=
浏览 0提问于2020-10-21得票数 0
1回答
我正在尝试抓取一些网站。下面是我的代码：
for (var i = 0; i < urls.length; i++) {
url = urls[i];
console.log("Start scraping: " + url);
page.open(url, function () {
waitFor(function() {
return page.evaluate(function() {
return document.getElementById("progr
浏览 2提问于2014-11-01得票数 1
我有一个功能刮刀，从数据库中抓取大量网站，并将结果读取到相同的数据库中。我从数据库中获取域，并手动附加。在网址上。即使这个url不正确，绝大多数站点都可以正确地重定向爬行器，但是对于一些站点，我得到了一个DNSLookup错误，因为没有重定向，即使该站点明显存在并且可以通过浏览器访问。
我的问题是，有没有办法重试获得DNSLookup错误的抓取，但使用不同的URL？我目前在errback中处理我的错误，我根据我得到的错误类型将必要的信息插入到数据库中。有没有办法从抓取结果中请求新的抓取？
浏览 0提问于2019-04-08得票数 1
2回答
我正在从事一个项目，需要抓取实际的网址，并在路由本身使用它。我所看到的、正在阅读的和测试的一切都允许路由抓取站点URL之后的项目。这就是我尝试过的，每次都会简单地显示站点为空(这可能是因为默认设置为空)。你能告诉我一些关于允许路由也使用根URL的问题吗？我们的目标是一个网站，将处理的网址和路由我到不同的内脏一旦进入视图。
下面是我尝试过的代码，但在localhost之外没有成功
routes.MapRoute(
"PageRouter",
"{site}/{*url}",
浏览 3提问于2009-03-06得票数 2
回答已采纳
1回答
问题的主题
例如，我想从play market上刮一页书。Google market有多种语言版本，没有特定的url标记。那么，我如何才能用我需要的语言而不是随机的语言来抓取特定的版本呢？
环境
“x射线”："^2.2.0“
节点--版本: 5.9.0
npm --版本: 3.7.3
重现步骤
试着从play market上抓取任何页面。例如：
预期行为
用特定的语言抓取页面
实际行为
它抓取随机语言(瑞典语，西班牙语，葡萄牙语-所有这些当我从相同的VPS运行x射线)
浏览 1提问于2016-08-21得票数 0
5回答
有没有办法在VS中没有断点的情况下暂停调试？(c#控制台应用程序)
我注意到，几次后，我的程序简单地停止工作，但没有异常抛出，它只是停止了它应该做的事情。这就是为什么我想知道是否有任何方法可以暂停代码，就像有一个断点一样，这样我就能够理解发生了什么。
该程序从网站中抓取数据并将其插入MS SQL SERVER数据库(如果重要的话)。
编辑:
这是在我的代码中做神奇的功能，并从网站上抓取数据。所有其他的东西都只是数据单脉冲素。
public static string PostRequest(string url, string request)
{
var ht
浏览 1提问于2018-10-09得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
