网页爬取工具 - 腾讯云开发者社区

文章/答案/技术大牛

发布

0回答

新浪微博搜索是否禁用了huginn，有什么解决办法吗？

tcp/ip

比如，用huginn爬网这个链接： https://s.weibo.com/weibo?换了其他地方的机器，电脑和ip不同，huginn照样无法正常爬取。而在同一台机器上用下载工具甚至简单的脚本下载这个链接的网页内容，却可以实现，不知道是什么情况。

浏览 248提问于2021-09-28

1回答

IE 8的问题

internet-explorer-8

我的网站在mozila上工作正常，但当我们转到IE 8时，它在状态栏上显示错误User Agent: Mozilla/4.0 (compatible; MSIE 8.0; Windows

浏览 0提问于2011-04-04得票数 0

1回答

如何使用wget下载页面，但如果页面不存在，则忽略404错误消息？

wget

有没有办法让wget在下载网址或爬取网页时忽略HTTP错误响应码？

浏览 5提问于2015-08-19得票数 6

回答已采纳

2回答

如何用python爬取数据并保存到excel？

python

利用python爬取豆瓣电影排行榜（https://movie.douban.com/chart)的数据并保存到excel中。用相同代码爬取网页豆瓣top250的数据可以爬取到excel中，但将网址及相关信息改为网页豆瓣电影排行榜中的信息时便无法爬取，也找不出问题所在。以下图片为完整代码。

浏览 592提问于2021-01-09

4回答

将asp.net动态站点转换为静态站点的工具

asp.net、web-crawler

有没有什么工具可以爬取asp.net网站并创建一个静态站点？

浏览 2提问于2008-09-04得票数 0

回答已采纳

2回答

关闭浏览器或单击中止时，脚本不会停止

c#、asp.net、events

我写了一个网络爬虫，它在do while循环中调用网页，循环时间为3秒总共有7000个网站...我解析数据并将其保存在我的数据库中。

浏览 0提问于2010-01-22得票数 0

2回答

怎样在不使用API的前提下爬取Twitter数据？

数据挖掘、python、api、twitter、数据

由于现在Twitter API 数据爬取付费，所以我想在不使用Twitter API的情况下使用python爬取到特定关键词的Twitter数据或者Reddit数据，有什么好办法吗？

浏览 1055提问于2024-01-06

1回答

为什么谷歌机器人不能抓取这个robots.txt？

wordpress、robots.txt、googlebot

我不明白为什么谷歌机器人不能抓取和索引我创建的WordPress网站。这就是我的robots.txt：Disallow: /wp-admin/Disallow: /wp-login.phpDisallow: /content/

浏览 1提问于2014-11-24得票数 0

0回答

为什么用xpath提取数据保存到数据库会带有<span class="title">xxxx</span>这样的html标签？

html、数据库、scrapy、python爬虫、title

我的本意是只想爬取xxxxx，为何标签也被爬取了呢图片

浏览 201提问于2023-08-23

2回答

HTML爬行到ePub的转换工具

html、parsing、epub

目前似乎还没有工具可用于爬取站点并将内容转换为ePub格式。我认为，在没有得到网站所有者明确同意的情况下，在网站上执行这一行动是有法律含义的。

浏览 2提问于2011-05-08得票数 1

回答已采纳

1回答

我的要求是使用图形apis在我的整个SharePoint Online (SPO)中搜索文件。我在MS Graph Explorer中使用的查询如下所示：基本上，上面的查询是搜索标题/名称为'res1a2b3c4d5e‘的所有文档。如果我搜索任何现有的文档，这将很好地工作。如果我试图搜索在进行上述调用之前创建/上传的任何文档，我将不会得到结果。如果我在几分钟后搜索相同的内容，则请求成功。当我在我的客户站点上尝试相同的内容时，它有数百

浏览 2提问于2017-04-18得票数 1

1回答

如何避免爬取CGI生成的日历网页

web-crawler、nutch

网页由CGI程序生成。大多数网页的URL都包含诸如?id=2323&title=foo之类的表达式。然而，我面临的一个问题是，这个网站有一个日历。也会生成一些类似日期的网页。这意味着纳奇将试图抓取一些无害的网页，如year=2030&month=12。如何在Nutch中避免这样的陷阱？编写很多正则表达式？

浏览 1提问于2012-01-27得票数 0

回答已采纳

2回答

在Java中从某个URL调用脚本？

java、javascript、html、parsing、execute

为了方便起见，我使用Java解析一个随机网站的超文本标记语言，假设它是。在解析HTML数据之后，我希望提取其中的一些数据，并将其显示在显示器上。之后，用户将输入搜索词，并按下一个按钮。这个按钮将执行“搜索”按钮后面的脚本。我想在几个网站上做到这一点，所以给我一种只与google一起工作的方法不会对我有太大帮助。

浏览 0提问于2012-03-30得票数 0

回答已采纳

4回答

网站爬行自动检测

web-crawler

是否可以编写代码来检测网站是否正在爬取内容？

浏览 1提问于2009-04-08得票数 1

2回答

你好可以把您那个爬取二手房价信息的那些个源代码发我一份不？

scrapy、数据分析、可视化

Scrapy爬取二手房信息+可视化数据分析谢谢

浏览 312提问于2021-12-30

1回答

系统自动更新SQL Server全文索引会导致阻塞和超时

sql-server、fulltext-index

自动更新目录中的全文索引的内部系统进程(change tracking = on)需要很长时间才能完成，从而锁定了希望同时访问同一个表的其他查询。除了将更改跟踪设置为关闭之外，是否可以采取其他措施来避免这些影响？保持较小的目录大小是否有帮助，即每个目录一个表？全文目录目前有34 GB大小，其中包含一些包含大量记录的非常大的表。

浏览 22提问于2019-02-22得票数 0

回答已采纳

20回答