为什么Facebook的帖子抓取变得非常慢，或者在几百篇帖子被抓取后停止？
Facebook的帖子抓取变得非常慢或在几百篇帖子被抓取后停止可能有以下几个原因：
- 网络连接问题：帖子抓取速度慢或停止可能是由于网络连接不稳定或带宽限制导致的。网络连接问题可能是由于服务器故障、网络拥堵或网络配置不当等原因引起的。解决这个问题的方法是检查网络连接是否正常，确保网络带宽足够，并确保服务器和网络设备的配置正确。
- 服务器负载过高：如果Facebook的服务器负载过高，可能会导致帖子抓取变慢或停止。服务器负载过高可能是由于帖子抓取任务过多、服务器硬件不足或服务器配置不当等原因引起的。解决这个问题的方法是优化服务器配置，增加服务器硬件资源，或者调整帖子抓取任务的调度策略。
- 数据库性能问题：帖子抓取过程中涉及到大量的数据读取和写入操作，如果数据库性能不足，可能会导致帖子抓取变慢或停止。数据库性能问题可能是由于数据库服务器负载过高、数据库索引不合理或数据库配置不当等原因引起的。解决这个问题的方法是优化数据库配置，增加数据库服务器的硬件资源，或者优化数据库查询语句和索引设计。
- 抓取算法问题：帖子抓取的算法设计不合理也可能导致抓取速度变慢或停止。抓取算法问题可能是由于抓取任务的并发度不合理、抓取策略不合理或抓取过程中的错误处理不当等原因引起的。解决这个问题的方法是优化抓取算法，增加抓取任务的并发度，改进抓取策略，并增加错误处理机制。
腾讯云相关产品和产品介绍链接地址：
- 云服务器（CVM）：https://cloud.tencent.com/product/cvm
- 云数据库 MySQL 版：https://cloud.tencent.com/product/cdb_mysql
- 腾讯云 CDN：https://cloud.tencent.com/product/cdn
- 腾讯云对象存储（COS）：https://cloud.tencent.com/product/cos
- 腾讯云人工智能：https://cloud.tencent.com/product/ai
- 腾讯云物联网平台：https://cloud.tencent.com/product/iotexplorer
- 腾讯云移动开发：https://cloud.tencent.com/product/mobile
- 腾讯云区块链服务：https://cloud.tencent.com/product/tbaas
- 腾讯云元宇宙：https://cloud.tencent.com/product/vr
相关·内容
我试图用Selenium和BeautifulSoup抓取Facebook品牌社区页面上从2016年开始的所有社区帖子，比如this。在抓取300-500个帖子后，其余的帖子加载速度非常慢，有时甚至不加载。这可能是因为Facebook为个人用户设置的数据速率限制。 我想知道我怎样才能克服这个问题。当我达到这样的限制时，我可以等待x
浏览 27提问于2021-09-13得票数 0
2回答
在Facebook上分享一篇文章时，我遇到了一个问题。Facebook从我的图片中随机选择一个缩略图。问题是Facebook想要一个200px200px的缩略图，而我的特征图像大小恰好是150x150。该网站的布局是为了适应150x150，所以我不想让图像变得更大。作为测试，我尝试了200x200，fb拉出了正确的图像。
然而，当我在帖子中添加一张200x200<
浏览 1提问于2013-05-07得票数 0
我正在尝试使用这个脚本在wordpress上创建无穷无尽的可拖动墙：。我面临的问题是，我不知道如何抓取wordpress帖子，并将它们插入到墙上的网格中。这是初始化墙的代码： // Define The Wall
浏览 0提问于2014-03-04得票数 2
1回答
关于在wordpress中查询帖子的过程，我想了解一些东西：$args = array{ 'posts_per_page' => 3所以理论上wordpress会进入数据库，浏览所有的帖子，对于每一篇文章，从第一篇到最后一篇，
浏览 5提问于2016-02-09得票数 0
回答已采纳
5回答
在Facebook中，当我发布链接时，Fascebook会包含旧的元数据(标题、描述等)。我最近添加了Open Graph Protocol元标签，但Facebook仍然使用旧的东西。Facebook如何刷新此元数据，我可以强制刷新吗？
浏览 4提问于2011-07-20得票数 23
--Load scripts for Facebook scraper--><script>var e = document.createElement('script');
e.src = document.location.protocol + '//connect.facebook.net&#
浏览 0提问于2012-09-08得票数 0
回答已采纳
我有一个客户，她有一个博客，她在过去的两年里慢慢成长起来。从xyz.wordpress.com迁移到xyz.com后，所有Facebook的赞和分享都丢失了！我已经关注了很多关于这个问题的论坛，但我很乐意找到任何解决这个问题的方法。有谁知道如果
浏览 0提问于2015-12-04得票数 0
谁能给我解释一下Facebook上的“直到”和“自来”是如何工作的？另外，为什么它会在返回旧帖子之前返回新帖子？我需要抓取较旧的之前，然后与较新的，否则我的脚本将
浏览 0提问于2012-02-07得票数 0
我有一个脚本，将刮Facebook在一个while循环的帖子。但为了防止被Facebook屏蔽，我更喜欢抓取功能run(self)只在特定的时间运行，并在1小时后停止。我怎样才能做到这一点呢？我看到有人发布了关于在特定时间启动函数，但在特定时间后没有停止它的帖子。在某个时间启动函数的<
浏览 13提问于2021-08-10得票数 1
回答已采纳
>" />我已经读到，在将图像添加到库中时，我需要让Facebook抓取页面中的og:标签&scrape=true');
然而，我非常确定这是不起作用的，在应用程序中调用mail()之后，访问该URL，但没有得到任何结果，这表明它没有被</e
浏览 5提问于2012-04-10得票数 4
回答已采纳
截至今天上午(7月12日)，我们用来自动添加更新到facebook页面的服务器脚本包含了网站徽标的缩略图。
如果有合适的图片，我们自己添加一个图片，否则将图片变量留空。从今天起，Facebook会抓取在网页og:image设置中设置的图片(或者在页面上的第一个图片被禁用的情况下)，并将其添加到发布更新中。Net的结果是，今天早上的每一篇帖子都有一个网站徽标作为图像
浏览 1提问于2012-07-12得票数 0
我知道Facebook会在你的网站上的特定页面第一次被访问时缓存类似的数据，并且在调试器页面中输入url会清除缓存。然而，我们现在已经改进了我们的Facebook描述/图像/等，我们需要刷新整个站点的缓存(大约300个页面)。有没有一种简单的方法来做到这一点，或者如果我们需要编写一个例程来逐个纠正它们，那么实现这一点的最好方法是什么？
浏览 0提问于2012-11-16得票数 1
回答已采纳
1回答
我需要为网站生成网站地图，可能有非常大量的用户贡献的内容。我读过这个教程：，它给出了这样的例子：{ 'podcasts' => $podcast,
])->header('Content-Type', 'text
浏览 15提问于2016-09-19得票数 2
我有一个Vue / Nuxtjs应用程序，它显示了大量用户提供的内容(可以把它想象成一个众包博客)。客户端上的内容被检索并存储在Vuex中。加载页面时，它会显示当前内容，然后使用fetch获取更新后的数据。下面是一个典型的组件： this.$store.state.feeds.latest }这工作得很好。问题是初
浏览 0提问于2021-07-14得票数 0
4回答
我有一个循环，可以从250fps的高速图像抓取器中获取图像。用户只需要看到大约30fps(或更低)的图像。如何设置第二个线程来频繁地显示当前帧？Thread(){ Wait(30); /** Wait for 30 ms **/我使用的是Windows四核的英特尔机器，使用的是MinGW、gcc和OpenCV主要标准是显示线程必须尽可能少地离开我的主处理循环。每一毫秒都很重要。
我试着用CreateThre
浏览 1提问于2010-01-13得票数 13
回答已采纳
我最近买了一些新的windows server2008机器，都是运行IIS7的。
我已经将我的一些网站移到了他们那里，但当应用程序池第一次启动时，他们似乎运行得非常慢。所有的网站都是预编译的(使用webdeploy)，在IIS6中，它们变得很快，我认为这可能只是因为web应用程序相当大，但我在较小的应用程序上也遇到了同样的问题。应用程序池被设置为经典模式，因为我们无法让urlMap
浏览 0提问于2009-11-16得票数 1
回答已采纳
以下是我自己的2个问题： 'numberposts' => -1, 'meta_compare' => 'LIKE',));
我试着用几种不
浏览 0提问于2021-03-16得票数 0
回答已采纳
这是一个相当令人恼火的问题。几个月来，我们的代码一直运行得很好，但现在，突然之间，它就不能正常工作了，代码只是使用这个url来抓取我们在粉丝页面上发布的帖子，并在我们的网站上显示出来。limit=10
现在它不起作用了，我花了很长时间来筛选关于这个问题的搜索结果。不幸的是，我找到的所有东西似乎都指向Facebook的应用程序，而不是粉丝页面。我不停的看到我需要如何
浏览 0提问于2011-06-07得票数 6
回答已采纳
4回答
我有一个网站上的评论部分，我想精简一点，如果可能的话，这样就不会对数据库造成太大的影响。当用户选择一个帖子时，如果它有与之关联的评论，它就会列出评论。当注释列表时，它从另一个表中获取用户名。我将用户的id存储在comments表中，并使用该id从users表中选择记录。并显示为"user“所说的：
假设我在一篇帖子上有1000条评论，它会点击用户表1000次来抓取用户名。我认为这可能是一个
浏览 1提问于2011-10-09得票数 2
回答已采纳
我有一个perl脚本，它使用web获取用户在不同站点(tumblr、reddit等)上的“受欢迎”的帖子，然后下载每个帖子的某些部分(例如，链接自post的图像)。现在，我有一个JSON编码的文件，它跟踪已经被获取的帖子(对于tumblr，它只是记录了喜欢的总数，对于reddit，它记录了上一次获取的帖子的"id“)，
浏览 0提问于2014-02-19得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
云直播
对象存储活动推荐
腾讯云开发者
