Python 2.7.13 -抓取链接-跟随链接-抓取内容

文章/答案/技术大牛

发布

1回答

、、

我正在建立一个网络刮板，将抓取所有的英国McDonalds地址，邮编和电话号码。我使用的是聚合器，而不是McDonalds网站。我已经“借用”了一些代码，并重新调整了它的用途--但我收到了错误。

浏览 2提问于2017-03-07得票数 0

回答已采纳

6回答

有没有办法用PHP抓取链接？

我想使用PHP来抓取我们有大约6,7000个href链接的文档。我们需要的是链接另一侧的内容，这意味着PHP必须跟随每个链接并抓取链接的内容。这可以做到吗？谢谢

浏览 0提问于2009-09-17得票数 0

1回答

Python :跟随链接并抓取数据

、、

/usr/bin/env pythoncode(200) # assert pagelinks = showlinks()如何使用follow()，以及用于获取值的命令是什么？

浏览 2提问于2017-03-28得票数 0

回答已采纳

1回答

抓取，跟随分页链接

、、、

每一个页码都是到另一个页面的链接，我需要抓取每一页。

浏览 5提问于2015-06-08得票数 1

1回答

我如何编写Zapier代码，以跟踪电子邮件中提供的链接？

、、

我正在使用Mailparser抓取预订电子邮件，然后使用Zapier在我们的系统中创建预订。我尝试过使用python和JS，但都没有用。感谢您的阅读！

浏览 0提问于2018-11-05得票数 0

1回答

使用python从同一网页中的多个链接中提取数据

、、、

我是蟒蛇和网络抓取的新手。我试图从这个链接中提取关于临床诊断测试的测试成分的信息。

浏览 1提问于2018-01-19得票数 0

2回答

在网站中搜索特定的URL链接？

哪种语言或方法最容易输入网站的URL并接收该网站上与给定URL相链接的每个URL。例如，如果我想要查看在我的网站上有多少次有一个名为oranges的页面的链接，我就会使用它。作为回报，我会得到一个文本文件或其他一些文件，其中所有的URL都包含到"“的链接。

浏览 1提问于2012-03-08得票数 1

2回答

抓取爬虫蜘蛛不跟随链接

、、

为此，我在Scrapy爬行蜘蛛示例中使用了示例：我正在Python 2.7.2+上运行Scrapy版本0.16.2

浏览 3提问于2013-11-16得票数 1

回答已采纳

1回答

抓取爬行器不跟随链接

我试图做一个爬虫，将抓取整个网站，并输出一个清单的所有域名，上述网站链接(没有重复)。

浏览 0提问于2020-05-23得票数 1

回答已采纳

1回答

用Python从网站中检索源代码

、

我一直试图从一个没有运气的网站上提取链接。据我所读，它可以很容易完成，但链接是与弹出对话框在网站内。唯一能抓取链接的方法是ctrl并查看要复制的源。是否有办法在抓取全部内容之前选择所有内容？编辑我想避免下载任何超出python已经拥有的内容，例如BS/Scrapy等。

浏览 0提问于2015-09-08得票数 0

3回答

我应该否认来自爬虫网站的反向链接吗？

、、、、

我分析了我的网站的反向链接概况，发现很多通过爬行网络生成数据的网站都指向我的网站。 📷有什么建议，我应该否认这样的领域与反向链接吗？

浏览 0提问于2016-12-06得票数 1

2回答

PHP爬行方法

、

任何人都可以告诉我，如果curl不能在PHP中爬行，那么将使用哪种方法进行爬行？

浏览 2提问于2011-05-12得票数 0

1回答

Sharepoint Search 2013 -有没有办法为存储在数据库中的URL列表编制索引？

、、、

我有一个数据库表，其中包含我希望Sharepoint Search 2013索引的URL列表，以便它们显示在搜索结果中-这些URL是各种内容类型的混合-网页、Word文档、PDF等。我已经搜索了选项，但似乎找不到任何相关的东西- BDC和BCS已经出现了很多，但似乎更多的是连接器返回的索引内容。我想要做的是使用从表返回的数据作为指向要建立索引的项的指针。

浏览 6提问于2014-09-02得票数 0

2回答