利用python爬取豆瓣电影排行榜（https://movie.douban.com/chart)的数据并保存到excel中。用相同代码爬取网页豆瓣top250的数据可以爬取到excel中，但将网址及相关信息改为网页豆瓣电影排行榜中的信息时便无法爬取，也找不出问题所在。以下图片为完整代码。
浏览 340提问于2021-01-09
1回答
由于现在Twitter API 数据爬取付费，所以我想在不使用Twitter API的情况下使用python爬取到特定关键词的Twitter数据或者Reddit数据，有什么好办法吗？
浏览 705提问于2024-01-06
比如，用huginn爬网这个链接：
https://s.weibo.com/weibo?换了其他地方的机器，电脑和ip不同，huginn照样无法正常爬取。而在同一台机器上用 下载工具甚至简单的脚本下载这个链接的网页内容，却可以实现，不知道是什么情况。
浏览 114提问于2021-09-28
2回答
我写了一个网络爬虫，它在do while循环中调用网页，循环时间为3秒 总共有7000个网站...我解析数据并将其保存在我的数据库中。
浏览 0提问于2010-01-22得票数 0
1回答
我创建了一个jQuery插件，想知道是否有人知道有多少人在使用它？有没有办法抓取网站，并返回一个是，如果网站正在使用它？
浏览 0提问于2011-09-19得票数 0
回答已采纳
1回答
我的网站在mozila上工作正常，但当我们转到IE 8时，它在状态栏上显示错误User Agent: Mozilla/4.0 (compatible; MSIE 8.0; Windows
浏览 0提问于2011-04-04得票数 0
如果我在几分钟后搜索相同的内容，则请求成功。当我在我的客户站点上尝试相同的内容时，它有数百万个文档。我几乎要花20+几个小时才能成功地进行搜索
那么，图形api在任何SPO缓存上都能工作吗？
浏览 2提问于2017-04-18得票数 1
但如果我搜索的网站：，我只得到72个内容。
从这个url，它说可能是因为数据还没有从其他服务器传输。好吧，没问题，所以我得等一下。但我也怀疑内容在谷歌的观点中是重复的，或者是薄弱的内容。是复制的内容吗？或者它是一个薄弱的内容？这是个图片库。任何内容我都需要翻译。
浏览 0提问于2012-03-15得票数 2
我在子域文件夹中的.htaccess中添加了以下内容：AuthType BasicRequireuser username
我只想仔细检查一下，这将阻止谷歌(和其他机器人)爬取内容，这样我就不必处理重复内容的问题。
浏览 0提问于2014-03-05得票数 0
如题，我最近在做一个数据分析，想要用到美团的美食信息，于是就想用python爬取美团的数据，但是在构造爬虫的时候发现美团有一个_token参数，百思不得其解，还请大神指教
浏览 2259提问于2018-09-12
1回答
Nutch不爬网页面内容
、、、
我有一个问题，我不能从一个网站抓取内容，其中包含一个php形式的内容。我假设这就是问题所在，因为所有其他页面都被爬行而没有问题。它设法提取菜单文本，但不提取主要内容。正如我所说的，域名上的所有其他页面都可以顺利地提取出来。
浏览 5提问于2016-05-16得票数 0
5回答
我已经用Python抓取了一些网页。我去掉了html标签，只将这些页面的一些内容存储为repr(s)。这些网页中的大多数都不是英文的。现在，我如何才能以原始语言查看爬网内容？
浏览 2提问于2011-04-28得票数 1
回答已采纳
1回答
我正在尝试从网页上的表格中拉出文本。我使用Invoke-WebRequest拉取网页，将该变量设置为显示"AllElements“，并尝试仅拉取与”表“匹配的内部值；但当我运行脚本时，没有拉回任何内容，也没有显示任何错误。$URI = 'https://www.python.org/downloads/release/python-2716/'
$R = Invoke-WebRe
浏览 23提问于2019-05-01得票数 0
我想爬这个网站：使用Apache。该网页动态加载ajax内容。如果我用默认配置爬行它，Nutch只会带来头和页脚，动态加载的内容就会丢失。我用的是Nutch 1.14。
浏览 0提问于2018-06-08得票数 0
回答已采纳
1回答
网页由CGI程序生成。大多数网页的URL都包含诸如?id=2323&title=foo之类的表达式。然而，我面临的一个问题是，这个网站有一个日历。也会生成一些类似日期的网页。这意味着纳奇将试图抓取一些无害的网页，如year=2030&month=12。如何在Nutch中避免这样的陷阱？编写很多正则表达式？
浏览 1提问于2012-01-27得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
