1回答
由于现在Twitter API 数据爬取付费，所以我想在不使用Twitter API的情况下使用python爬取到特定关键词的Twitter数据或者Reddit数据，有什么好办法吗？
浏览 557提问于2024-01-06
2回答
我有一个破烂的代码，应该能够采取电话和地址从一个网页中的表格： name="People" }
但是我一直得到0个抓取的页面2, 16, 1, 14, 26, 788223
浏览 0提问于2017-02-16得票数 0
请任何人让我知道，我如何才能识别更新的网址去重新抓取？当页面要重新爬行时，我只想抓取页面的更新内容，而不是已经抓取的旧内容。提前谢谢。普拉亚..。
浏览 0提问于2012-04-20得票数 0
1回答
如何处理UUIDS？
、、、
过程是这样的。我有一组数据，其中包括网址，公司名称和一些其他有关公司的信息。我读取这些数据，获取URL，抓取它们，并用随机生成的UUID保存抓取的数据。UUID uuid = UUID.randomUUID();
这对于第一轮爬行来说是很好的。问题是当我想重新抓取数据的时候。我将有一组新的数据-which可能是重复的-因此将生成一个新的UUID和一个新的记录。但这并不是我所期望<e
浏览 1提问于2017-09-21得票数 0
1回答
我正在用groovy & grails和mongodb开发一个网络爬虫，有没有办法用crawler4j计算页面的深度？我知道我可以限制到我想要爬取的深度，但还没有遇到任何建议如何计算页面深度的东西。
浏览 2提问于2014-06-26得票数 0
我的本意是只想爬取xxxxx，为何标签也被爬取了呢
图片
浏览 60提问于2023-08-23
2回答
我想知道从什么时候起Facebook上的粉丝就是粉丝了？我想出的唯一办法就是抓取粉丝页面的整个feed，然后像墙上的帖子一样追踪第一个帖子。然而，这种方法并不十分准确。
有什么想法吗？
浏览 2提问于2011-05-19得票数 0
回答已采纳
1回答
在if语句下索引链接？
、、、
$databaselink; echo $link;}"> BOOK</a>抓取可以看到并将被索引的链接的WIll？
请注意，此内容无需beein登录即可显示。是公开的。登录后，用户将获得一个类别，其中将显示链接。
浏览 0提问于2013-01-06得票数 0
我不明白为什么谷歌机器人不能抓取和索引我创建的WordPress网站。这就是我的robots.txt：Disallow: /wp-admin/Disallow: /wp-login.php
Disallow
浏览 1提问于2014-11-24得票数 0
我的要求是使用图形apis在我的整个SharePoint Online (SPO)中搜索文件。我在MS Graph Explorer中使用的查询如下所示：基本上，上面的查询是搜索标题/名称为'res1a2b3c4d5e‘的所有文档。如果我搜索任何现有的文档，这将很好地工作。如果我试图搜索在进行上述调用之前创建/
浏览 2提问于2017-04-18得票数 1
我想在我的网站上看到所有公开访问链接的列表，这样我就知道用户可以访问哪些页面。是否有网站或应用程序可以抓取我的网站并显示此类信息？
浏览 1提问于2011-12-04得票数 0
使用selenium爬取WOS数据，首先对下拉条进行点击模拟，会弹出一个新的选择框，同时页面的结构也是新生成的。下一步想要模拟点击“核心合集”却报错，我写的两个find_element_by_xpath都报错：
0. driver.find_element_by_xpath('//*[@id="select2-databases-result-ey69
浏览 129提问于2018-07-17
利用python爬取豆瓣电影排行榜（https://movie.douban.com/chart)的数据并保存到excel中。用相同代码爬取网页豆瓣top250的数据可以爬取到excel中，但将网址及相关信息改为网页豆瓣电影排行榜中的信息时便无法爬取，也找不出问题所在。以下图片为完整代码。
浏览 335提问于2021-01-09
我希望我的站点地址栏在我转到子页面时不要更改它的地址，它应该显示我的index.html，即使我进入子页面。例如，如果我打开www.xyz.com并导航到任何页面，它仍然应该显示www.xyz.com。
我听说用.htaccess可以做到这一点，可能吗？
浏览 1提问于2011-03-07得票数 2
回答已采纳
我正在寻找一种方法来搜索站点(或顶级页面列表)，并确定是否实际需要包含在相关页面上的JS文件，或者哪些页面确实需要特定的JS文件。
服务器端语言是PHP.页面的实际显示不会是个问题。我继承了一个非常大的网站。到目前为止，惯例是，如果在任何子页面上需要一个JavaScript文件，则通常会将其放在每个页面的模板中。没有条件。没有缩小。没有连接。展望未来，我们将推出require.js
浏览 4提问于2013-12-10得票数 4
我要做的是创建一个美国所有酒吧的数据库。我需要这个数据库半定期更新(大约每周)，以包括新开的酒吧。
yelp api的问题是他们只返回20个结果。在我周围5英里的范围内有800多家酒吧。我如何才能现实地实现我的目标？
浏览 0提问于2011-01-18得票数 1
2回答
我已经为网站构建了一些小部件，它在页面加载后异步加载： <head>...</head> <div>...javascript"; ns.src = "http://mydomain.com/myjavascript.js s.parentNode.in
浏览 1提问于2011-10-04得票数 5
通常，indexed_search只对已经访问过的页面进行索引。如果用户没有访问过该页面，则不会有搜索结果。有没有一种不需要访问就能索引所有页面的方法？或者我必须使用另一个扩展？
浏览 0提问于2012-01-16得票数 0
回答已采纳
自动更新目录中的全文索引的内部系统进程(change tracking = on)需要很长时间才能完成，从而锁定了希望同时访问同一个表的其他查询。保持较小的目录大小是否有帮助，即每个目录一个表？全文目录目前有34 GB大小，其中包含一些包含大量记录的非常大的表。
浏览 22提问于2019-02-22得票数 0
回答已采纳
首先，这样做的目的是爬取我们的一个登录应用程序，并获取有关作业运行的数据，而我可能无法通过任何其他方式获取这些数据。我可以通过浏览器登录，也可以检查我的cookie；那么我如何(及时地)将这些信息添加到cURL调用中，以便我可以使用PHP来解析返回页面(和链接)？
浏览 3提问于2015-11-18得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
