python爬虫卡住 - 腾讯云开发者社区

文章/答案/技术大牛

发布

1回答

打开搜索服务器设置超时

web-crawler、search-engine、screen-scraping、open-search-server

我在OpenSearchServer中使用web爬虫，在爬行时，它在Extracting url list操作期间被卡住了。在完成会话的时候，它也会被卡住。

浏览 5提问于2015-10-08得票数 0

1回答

弹性豆杆不运行的克隆约伯

python、amazon-web-services、cron、crontab、amazon-elastic-beanstalk

我在一个弹力豆茎应用程序上有一个抓取器，我可以像这样运行SSH：我想帮我安排一个任务来处理这个问题。Cron won't r

浏览 0提问于2015-04-13得票数 0

1回答

将具有动态生成名称的DynamoDB表导出到S3

amazon-s3、amazon-dynamodb、aws-glue

我将时间序列数据存储在每日生成的DynamoDB表()中。这些表的命名惯例是"timeseries_ 2019-12-20 "，其中2019-12-20为当前日期。我想以CSV格式将前一天表发送到S3桶。推荐的方法是什么？我在看AWS Glue，但不知道如何让它每天找到新的表名。也许有云观察事件的lambda函数会更好？DynamoDB表的大小不大，存储了几百个数字。

浏览 4提问于2019-12-21得票数 0

回答已采纳

2回答

使用scrapy python的.net框架

c#、python、scrapy、ironpython

可以在Python 框架中使用.NET框架从不同的站点抓取数据吗？我正在做我的最后一年的项目，在这个项目中，我想使用C#作为前端语言，并使用Python来抓取数据。

浏览 0提问于2014-05-07得票数 4

1回答

如果我为我的python脚本做了一个简单的gui，它会影响它的效率吗？

python、user-interface、tkinter

嗨，我想做一个网页爬虫，检查URL的数据，如果我做一个简单的Gui，使脚本更容易查找变量的数据，添加代码的gui会使我的网络爬虫效率降低吗？我需要爬虫尽可能高效，能够尽可能快地处理数据。为这个Python脚本制作一个gui，会不会妨碍web爬虫的性能？

浏览 3提问于2015-01-27得票数 0

回答已采纳

3回答

将数据从PHP脚本传递到Python Web Crawler

php、python、stdout、stdin、web-crawler

我有一个python爬虫，每隔几分钟就抓取几个网页。我现在正在尝试实现一个可以通过web访问的用户界面，并显示爬虫获得的数据。我将使用php/html作为接口。无论如何，用户界面需要某种类型的按钮来触发爬虫程序立即抓取特定的网站(而不是等待下一次抓取迭代)。现在，有没有一种方法可以将数据从php脚本发送到正在运行的python脚本？然后我在考虑使用一个共享文件，php在其中写入数据，python从中读取数据。但是，我需要一些方法来让python脚本知道，新数

浏览 1提问于2011-03-31得票数 1

1回答

如何轻松地在远程github分支和本地分支/文件夹之间切换？

python、git、github、scrapy

我用Python2.7编写了大量的Scrapy爬行器。我需要将它们全部转换为支持Python 3，这种转换必须在1 go内完成。我只能在Python 3爬虫做好部署准备之后才能开始使用。现在，由于“所有操作都必须保持活动状态”，我需要一个单独的Python 3爬虫的远程分支。这个分支可以称为Remote-B。我手动创建了这个分支，所以整个存储库现在有两个分支: Master(Remote-A)和Python3爬虫(Remote-B)，后者是主分支的一个

浏览 3提问于2019-09-10得票数 0

回答已采纳

1回答

我怎么能强制停止我的爬虫得到一个特定的网址抓取最后一次？

python、beautifulsoup、scrapy、web-crawler、html-parsing

我正在制作一个爬虫来找出最近添加的youtube视频，当我的爬虫到达旧视频(在前一个转弯中爬行)时，我想停止爬虫。我使用的不是scrapy和漂亮的汤，我使用的是python库。请给我推荐任何选项

浏览 9提问于2017-06-27得票数 0

2回答

PHP与

php、python、web-crawler

我计划制作的网络爬虫，可以抓取200+领域，哪一种语言将适合它。我非常熟悉PHP，但我是Python的业余爱好者。

浏览 2提问于2014-11-21得票数 0

回答已采纳

1回答

在ubuntu的后台运行时，爬虫停止。

python、web-crawler

我使用具有无限循环的python制作了一个简单的爬虫，所以它不能停止。随机延迟17 ~ 30，这个爬虫爬行相同的一个页面，并找到'href‘链接，定期更新，并存储到Mysql。因为我使用了Linux命令这个爬虫是在Ubuntu服务器背景下运行的。我想它已经运行了大约4个小时。但爬虫突然停止了。第二天我再试一次。

浏览 1提问于2014-05-20得票数 0

回答已采纳

3回答

Scrapy -如何启动同一爬虫进程的多个实例？

python、web-scraping、scrapy、scrapy-spider

我在启动同一爬虫的多个实例时被卡住了。我想让它像一个爬虫实例的1url一样运行。我必须处理50k个urls，为此，我需要为每个urls启动单独的实例。在我的主要爬虫脚本中，我设置了7分钟的closedpider超时，以确保我不会爬行很长时间。但之后当传递第二个url时，它会显示以下错误：ReactorNotRestartable 请建议我应该做些什么才能让它为同一个爬虫的多个实例运行

浏览 1提问于2015-11-13得票数 6

1回答

如何提取我的爬虫目前所站的网址？

python、scrapy、web-crawler

我正在使用python中的scrapy框架制作一个web爬虫。其主要思想是，爬虫从页面中提取一些数据，如果数据符合某些条件，爬虫应该提取其当前所处的URL。是否有一些方法/函数可以获得当前的URL？

浏览 5提问于2016-11-27得票数 0

回答已采纳

2回答

具有动态参数的Facebook共享链接

javascript、angularjs、facebook

我需要在我的share应用程序(JavaScript + AngularJS)中实现共享URL的能力，其中包括如下参数：或者：正在显示的页面可能包含一个列表，其中包含许多可以共享的文档，我需要在每个文档上附加共享的可能性(如果适用的操作将取决于文档的状态)。所以，第一个问题是:这是

浏览 0提问于2016-05-16得票数 0

回答已采纳

1回答

分布在不同地理位置的爬虫

python、web-crawler、nutch

我需要创建一个爬虫与客户端在每个台式机和一个中央服务器，其中的数据是索引。有没有可能在Nutch中创建这样的爬虫？还有没有别的选择。基于Python的爬虫会更好。

浏览 2提问于2011-07-04得票数 0

回答已采纳

1回答

Web Crawler的常用输出格式

web-crawler

爬虫的常见输出格式是什么？它会是XML，JSON吗？或者它会根据爬虫的不同而不同，例如: Python，Java？

浏览 0提问于2012-08-20得票数 0

回答已采纳

2回答

网络爬虫-忽略Robots.txt文件？

python、web-crawler、mechanize、robots.txt

一些服务器具有robots.txt文件，以阻止web爬虫在其网站中爬行。有没有办法让网络爬虫忽略robots.txt文件？我正在为python使用Mechanize。

浏览 1提问于2011-12-05得票数 14

回答已采纳

2回答

对于蟒蛇爬虫，我应该使用无限循环还是cron作业？

python、cron、web-crawler

我用python编写了一个爬虫，它可以访问60多个网站，解析HTML，并将数据保存到数据库。哪一个更有效率？无限循环还是cron作业？

浏览 7提问于2021-05-14得票数 0

1回答

docker scrapy spyder未自动重新启动

python、docker、scrapy、celery

我正在运行docker+python+spyder 我的spyder运行与我的并发限制一样多，idk，有人能帮我理解它吗？-loglevel=info --concurrency=5 -n myuser@%n - .env - redis 我的爬虫代码process.stop() return results 使用这段代码，我可以多次运行spider，但只运行了5次，当我检查它时，我认为这是因为我的并发性只有5次，当再次运行(第6次)时，它就卡住了

浏览 11提问于2019-03-18得票数 0

1回答

将我的Python电子邮件爬行器转换为Web应用程序的框架

python

在Python方面经历了几年之后，我才知道它在web开发中的应用。我在Python中制作了一个电子邮件爬虫程序(基本上是一个使用其他几个功能的函数)，它帮助我在generate实习的公司。我的老板问我是否可以让我的python电子邮件爬虫进入一个网络应用程序，这样其他员工就可以通过我来抓取电子邮件，这样我就可以在更重要的事情上工作。是否有一些web应用程序框架可以用来将我的python电子邮件爬虫程序转换成一个简单的公司专用web应用程序？制作网络应用程序所需的时间范围

浏览 5提问于2015-07-08得票数 0

回答已采纳

2回答