1回答
由于现在Twitter API 数据爬取付费，所以我想在不使用Twitter API的情况下使用python爬取到特定关键词的Twitter数据或者Reddit数据，有什么好办法吗？
浏览 552提问于2024-01-06
利用python爬取豆瓣电影排行榜（https://movie.douban.com/chart)的数据并保存到excel中。用相同代码爬取网页豆瓣top250的数据可以爬取到excel中，但将网址及相关信息改为网页豆瓣电影排行榜中的信息时便无法爬取，也找不出问题所在。以下图片为完整代码。
浏览 335提问于2021-01-09
SharePoint2010 search中的索引数据库和属性数据库有什么不同？
浏览 5提问于2011-02-15得票数 0
回答已采纳
我正在尝试使用Search Server Express 2010通过管理中心为一个非SharePoint站点创建一个爬网规则。如果我尝试指定一个URL来获取cookie，我会在IE8中得到以下JS错误。感谢您的帮助，谢谢。
浏览 6提问于2012-11-13得票数 4
在我们的网站上有一个网站地图另外，我在站长中心有一个解析结果，上面写着：“第21行:爬行延迟: 10规则被Googlebot忽略”。什么意思？谢谢。
浏览 3提问于2009-09-28得票数 1
我想抓取一个ASP.NET网站，但是urls都是一样的，我如何使用python来抓取特定的页面呢？这里是我想爬的网站： 我应该得到哪些信息来区分一个页面和另一个页面？
浏览 4提问于2015-08-16得票数 0
回答已采纳
4回答
Scrapy问题
、、
我正在尝试让SgmlLinkExtractor正常工作。SgmlLinkExtractor(allow=(), deny=(), allow_domains=(), deny_domains=(), restrict_xpaths(), tags=('a', 'area'), attrs=('href'), canonicalize=True, unique=True, process_value=None)所以，我进入
rules = (Rule(SgmlLinkExtractor(allow=(&
浏览 1提问于2009-11-28得票数 9
回答已采纳
1回答
我怎样才能抓取每一个href的抓取？我只知道如何显示它，但我希望能够进入其中的每一个链接。这是我们的内部网数据，因此您将无法访问链接。另外，当数据显示在文件中时，我如何格式化日期？是否需要在start_url中添加urls列表？我需要把我的initSpider改成crawlSpider吗？<cell type="href" href="/dis/packages.jsp?view=list&show=perdevice&device_gid=6F5941585835587177572B3465656A61496B76747
浏览 3提问于2013-07-10得票数 2
回答已采纳
我正在尝试创建一个自定义报告，它显示当前的爬网时间/持续时间，状态是完全爬网还是增量爬网。
有谁知道我可以用什么API来获取这样的信息？
浏览 0提问于2009-06-01得票数 0
回答已采纳
0回答
使用Python语言编写爬虫程序，使用正则表达式将指定日期时段内的全部上市公司股票数据爬取下来，并按照股票代码保存到相应的Excel文件中。
有偿联系微信：15527440125
浏览 204提问于2020-05-23
1回答
在上一篇关于爬网问题的帖子(#!)对于单页面应用程序，我们决定摆脱html单元(这对于JS 来说非常慢)，并选择实现Phantom Js with pushstate (以获得漂亮的urls)。由于Phantom Js不支持pushstate，我们现在正在考虑实现僵尸Js (希望是最后一次修改！)
有什么实现僵尸for Java应用的小贴士吗？或者其他更适合的无头浏览器(支持that状态并拥有强大的Js引擎)？
浏览 1提问于2013-11-16得票数 1
1回答
我使用apache-nutch-crawler1.6进行爬行。在爬行之后，当我尝试使用命令读取爬行结果的内容时错误是
Exception in thread "main" org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:/home/ubuntu/nutch/framework/apache-nutch-1.6/blogs/segments/20
浏览 0提问于2013-06-21得票数 1
我尝试检查隐藏的种子文件，但没有找到，并且在我运行爬网命令的NUTCH_HOME/ run /local中只有一个文件夹urls/seed.txt。请告诉我可能是什么问题？
浏览 1提问于2013-04-17得票数 1
我发出的命令如下：据我所知，2是爬行的轮数。当我执行此命令并读取crawldb时，我只收到127个url，这比预期的要少得多。当我发出这个命令将数据传递给Solr时：然后执行搜索，那么我总共只得到了20个url。
浏览 0提问于2015-06-03得票数 0
我需要写一个脚本，通过爬网插入用户名或电子邮件100万条记录到数据库中。脚本可以是任何类型，如python、ruby、php等。
请让我知道这是可能的?如果可能，请提供我如何才能建立脚本的信息。
浏览 5提问于2010-12-27得票数 1
回答已采纳
1回答
我应该爬
但我怎么才能爬上这个网站。我想它是用jQuery的。有些人说你应该使用ajax。但是我将包含mongodb的数据库，所以我将使用node.js，如何才能做到这一点？
浏览 8提问于2016-10-05得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
