1回答
由于现在Twitter API 数据爬取付费，所以我想在不使用Twitter API的情况下使用python爬取到特定关键词的Twitter数据或者Reddit数据，有什么好办法吗？
浏览 549提问于2024-01-06
首先，这样做的目的是爬取我们的一个登录应用程序，并获取有关作业运行的数据，而我可能无法通过任何其他方式获取这些数据。我可以通过浏览器登录，也可以检查我的cookie；那么我如何(及时地)将这些信息添加到cURL调用中，以便我可以使用PHP来解析返回页面(和链接)？
浏览 3提问于2015-11-18得票数 0
利用python爬取豆瓣电影排行榜（https://movie.douban.com/chart)的数据并保存到excel中。用相同代码爬取网页豆瓣top250的数据可以爬取到excel中，但将网址及相关信息改为网页豆瓣电影排行榜中的信息时便无法爬取，也找不出问题所在。以下图片为完整代码。
浏览 335提问于2021-01-09
2回答
我想知道从什么时候起Facebook上的粉丝就是粉丝了？我想出的唯一办法就是抓取粉丝页面的整个feed，然后像墙上的帖子一样追踪第一个帖子。然而，这种方法并不十分准确。
浏览 2提问于2011-05-19得票数 0
回答已采纳
1回答
我已经写了一个php网络爬虫来索引只有180个特定来源的内容，但它平均每页需要2秒来分析，抓取和保存我想要的内容:图片，网址，标题，完整内容，摘录，标签。(有几种算法可以分析所有元标签以获得正确的数据)lynx -auth用户名:密码website.com/crawler.php?group=1
lynx -auth用户名:密码website.com/crawler.php?group
浏览 0提问于2012-09-26得票数 1
之前从一个国外站看到过抓取泰国房产数据的抓取，https://www.barkingdata.com/?crawlers/ddproperty-crawler.html
不知道国内有没有谁搞过这个 ，要爬取18年之前的历史数据
浏览 76提问于2022-05-10
我是一个研究小程序3天的 新手，就是现在想做一个类似于网易新闻样式的小程序，前台从eclipse爬取数据到MySQL，然后小程序读取MySQL中的数据显示到小程序中。
浏览 7370提问于2018-05-07
回答已采纳
1回答
如何处理UUIDS？
、、、
我有一组数据，其中包括网址，公司名称和一些其他有关公司的信息。我读取这些数据，获取URL，抓取它们，并用随机生成的UUID保存抓取的数据。问题是当我想重新抓取数据的时候。我将有一组新的数据-which可能是重复的-因此将生成一个新的UUID和一个新的记录。但这并不是我所期望的。我想要做的是看看哪些东西已经被爬取，并更新它们，而不是添加新的记录。另外，这并不是读取URL并查看URL是否已被爬取，因为公司可能会更改其URL，甚至更改其名称
浏览 1提问于2017-09-21得票数 0
如果用户没有访问过该页面，则不会有搜索结果。有没有一种不需要访问就能索引所有页面的方法？或者我必须使用另一个扩展？
Typo3: v4.2.8 Indexed_search: v2.11.1
浏览 0提问于2012-01-16得票数 0
回答已采纳
如题，我最近在做一个数据分析，想要用到美团的美食信息，于是就想用python爬取美团的数据，但是在构造爬虫的时候发现美团有一个_token参数，百思不得其解，还请大神指教
浏览 2250提问于2018-09-12
1回答
在进一步的调查中，我发现可疑数据包含ASC控制字符()。我的表是一个简单的平面结构，如果任何行包含这些字符中的一个，则不会显示结果。
只要我替换数据中的字符，结果就会出现。我可以从数据库中删除这些字符，但如果能确认并了解原因会更好。任何帮助都将不胜感激。
浏览 0提问于2013-09-02得票数 0
1回答
我目前的需求相对简单:我需要一个能够将数据保存到磁盘的爬虫程序，并且我需要它能够仅重新爬取站点的更新资源，并跳过已经爬取的部分。有没有人有在Java中直接使用Nutch代码的经验，而不是通过命令行。
浏览 0提问于2010-12-03得票数 6
回答已采纳
当nutch在索引阶段完成它的循环(即爬取-解析-索引)时，我不希望nutch索引(lucene索引)，但我希望nutch使用我的代码将所有抓取的数据(我相信他将它们作为NutchDocument对象)
浏览 2提问于2010-07-12得票数 1
回答已采纳
请任何人让我知道，我如何才能识别更新的网址去重新抓取？当页面要重新爬行时，我只想抓取页面的更新内容，而不是已经抓取的旧内容。提前谢谢。普拉亚..。
浏览 0提问于2012-04-20得票数 0
我遇到的问题是，GSA在每次爬取页面时都会增加页面查看计数器。这完全控制了统计数据，淹没了真实用户的视图。
我知道如何重新开始。
浏览 1提问于2010-01-20得票数 3
回答已采纳
2回答
我写了一个网络爬虫，它在do while循环中调用网页，循环时间为3秒 总共有7000个网站...我解析数据并将其保存在我的数据库中。我在我的数据库里看到了。 我能防止这种情况吗？..现在，如果我停止webserver，这是可能的。 谢谢你，并致以最良好的问候。
浏览 0提问于2010-01-22得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
