爬虫代码示例 - 腾讯云开发者社区

文章/答案/技术大牛

发布

1回答

无法在Lambda中创建AWS胶水爬行器，Lambda由Step函数触发

node.js、aws-lambda、aws-glue、amazon-athena、aws-step-functions

该查询成功运行，并在给定的S桶中生成结果要在Lambda中创建AWS爬虫，下面是我在Lambda (NodeJS)中的代码： };}; Problem createCrawler是

浏览 2提问于2021-08-14得票数 1

2回答

抓取图像、整个Web页面并缓存它们

python

我正在开始一个项目，想知道图像中的人物和图像所在的整个网页之间的关系。

浏览 0提问于2010-06-16得票数 0

2回答

基于.Net的web爬虫示例

c#、.net、visual-studio-2008、web-crawler、search-engine

有没有准备好使用开源工具的示例？

浏览 0提问于2009-09-17得票数 2

回答已采纳

1回答

C#.net中两种超文本标记语言文件的比较

c#、.net

我实际上正在制作一个爬虫，它可以从网站上获取单词，并将整个页面存储为html文件，但现在我想比较新的爬虫与旧的爬虫，即旧的html文件与新的，找出它们之间的差异，有多少单词被删除或插入？因此，基本上我需要c#代码或示例，它们可以帮助我找出两个html文件是如何比较的？但它对我不起作用

浏览 1提问于2011-12-23得票数 0

回答已采纳

1回答

perl中的Web Crawler问题

perl、web-crawler、libwww-perl

我用Perl构建了一个网络爬虫。HTML::ContentExtractor 从网页中提取文本。示例代码的参考链接问题是，它不会从具有.aspx扩展名的网页中获取文本。它非常适合其他网页，我不知道为什么这个爬虫在aspx页面上会失败。

浏览 8提问于2014-04-25得票数 0

1回答

用于特定web爬虫的机器人元标记

seo、web-crawlers、meta-tags、browsers、meta-robots

网络爬虫列表noimageindex (指数化-控制参数)只适用于googlebot (以下两个元标记代码)。其他所有爬虫(例如YandexBot，Baiduspider)都可以工作(下面是1:一个元标记代码)。下面的代码对每个爬虫都有效吗？如果没有，最简单的方法是什么？示例代码 1: <meta name="robots" content="index, follow" >

浏览 0提问于2021-02-25得票数 2

回答已采纳

3回答

在C#或VB.net中寻找爬虫

c#、asp.net、vb.net

我正在寻找一个在c#或Vb.net编写的工作爬虫示例代码。

浏览 4提问于2009-07-24得票数 2

回答已采纳

2回答

PhantomJS传递HTML字符串并返回页面源代码

c#、javascript、ajax、selenium、phantomjs

对于C#中的网络爬虫项目，我尝试执行Javascript和Ajax来检索爬行页面的完整页面源代码。爬虫下载页面源代码，我想在源代码中执行现有的Javascript/Ajax。在一个示例项目中，我尝试了以下操作，但没有成功： WebCli

浏览 0提问于2014-04-03得票数 2

1回答

高性能网络蜘蛛的开发

php、c++、c、web-crawler

我想开发一个WebSpider守护进程(PHP/C/C++)你知道关于如何开发高性能网络爬虫的好参考资料吗？

浏览 0提问于2011-10-17得票数 0

1回答

如何在刮刮中通过CrawlerProcess传递自定义设置？

python、web-scraping、scrapy、scrapy-spider

我有两个CrawlerProcesses，每个都叫不同的蜘蛛。我想将自定义设置传递给这些进程之一，以将蜘蛛的输出保存到csv，我认为我可以这样做：process = CrawlerProcess(get_project_settings()) process.crawl('ABC', crawl_links=main_links, custom_settings=storage_set

浏览 0提问于2017-02-17得票数 6

回答已采纳

1回答

提要内容缺少代码段突出显示

google-search-appliance

源内容缺少代码段突出显示。它突出显示了标题fine。下面是从提交的提要中提取的示例记录， <record url="http://my.example.com/1" mimetype="text/html" displayurl="http://my.example.com

浏览 1提问于2015-01-30得票数 0

1回答

使用AWS爬虫创建雅典娜表

amazon-web-services、amazon-s3、aws-glue、amazon-athena

我不太熟悉AWS爬行器，所以请让我知道我可以设置的爬虫配置，以实现这两种情况中的任何一种- 或者，获取intermediate_files

浏览 7提问于2021-10-14得票数 0

1回答

Robots.txt与Noindex标记

seo、robots.txt、noindex

matt认为，尽管我们使用Robots.txt阻止页面，但使用noindex标记更好。(资料来源：https://www.youtube.com/watch?v=KBdEwpRQRD0) 如果它被Robots.txt阻止，谷歌机器人如何解读它是否有索引标签？因为据我所知，如果它被Robots.txt屏蔽了，谷歌将不会在那篇文章中看到任何东西。

浏览 0提问于2014-10-24得票数 2

回答已采纳

2回答

爬行时管理URL的常见方法是什么？

web-crawler

我正在尝试编写一个网络爬虫程序，但现在我想知道:存储所有urls的最佳方法是什么，这样爬虫就可以一起工作，但不会干扰。将所有已找到的URL保存在由所有Queue实例共享的PriorityQueue如果数据库最终是一致的，我如何防止多个爬虫获

浏览 5提问于2011-12-28得票数 0

回答已采纳

4回答

用php编写客户端重定向服务器端

javascript、php、.htaccess、redirect

我不想做301 - 302 - 307等重定向的原因是因为我希望页面向爬虫程序发送一个200HTTP OK响应。我通常使用混淆的JavaScript在静态use主机(如S3 )上执行此操作，但是，我意识到爬虫程序可能会拾取JS，因为它是客户端。我使用的未被阻塞的JS代码示例；然而，爬虫很难找到PHP，所以我想做一个类似的重定向，但用的是PHP。

浏览 0提问于2015-07-29得票数 0

1回答

完成刮伤爬虫时更新变量

python、scrapy

当我在一个循环中运行多个爬虫时，我想要跟踪有多少个爬虫。我尝试的是使用信号，但我的爬虫似乎找不到它的范围以外的其他模块。我想做的是注册爬行是在另一个脚本中完成的，例如通过传递/更新一个变量。示例代码(简写版本-解释问题)：isWikipediaDone = False process.crawl(file)

浏览 1提问于2017-03-29得票数 2

回答已采纳

2回答

google +1按钮上的红色三角形

jsp、web、liferay、google-plus、google-plus-one

JSP代码如下：String plusOneDisplayStyle = "medium"; plusOneDisplayStyle

浏览 2提问于2013-12-08得票数 1

2回答

我试图为爬虫创建一个通用的regex模式，以避免所谓的“爬虫陷阱”(只添加url参数并引用相同页面的链接，这会导致大量无用的数据)。很多时候，这些链接只是一次又一次地将相同的部分添加到URL中。下面是一个日志文件的示例： http://examplepage.com/cssms/chrome/cssms/chrome/cssms/pages/browse/cssms/pages/misc/..我可以使用正则表达式

浏览 4提问于2015-09-28得票数 1

回答已采纳

1回答