嗨，我想做一个网页爬虫，检查URL的数据，如果我做一个简单的Gui，使脚本更容易查找变量的数据，添加代码的gui会使我的网络爬虫效率降低吗？
我需要爬虫尽可能高效，能够尽可能快地处理数据。为这个Python脚本制作一个gui，会不会妨碍web爬虫的性能？
浏览 3提问于2015-01-27得票数 0
回答已采纳
我有一个python爬虫，每隔几分钟就抓取几个网页。我现在正在尝试实现一个可以通过web访问的用户界面，并显示爬虫获得的数据。我将使用php/html作为接口。无论如何，用户界面需要某种类型的按钮来触发爬虫程序立即抓取特定的网站(而不是等待下一次抓取迭代)。
现在，有没有一种方法可以将数据从php脚本发送到正在运行的python脚本？然后我在考虑使用一个共享文件，php在其中写入数据，python从中读取数据。但是，我需要一些方法来让python脚本知道，新数
浏览 1提问于2011-03-31得票数 1
我必须用Python写一个网络爬虫。我不知道如何解析页面并从HTML中提取URL。我应该去哪里学习来编写这样的程序呢？
换句话说，有没有一个简单的python程序可以作为通用网络爬虫的模板？理想情况下，它应该使用相对简单的模块，并且应该包括大量的注释来描述每一行代码所做的事情。
浏览 2提问于2013-03-20得票数 17
我使用具有无限循环的python制作了一个简单的爬虫，所以它不能停止。随机延迟17 ~ 30，这个爬虫爬行相同的一个页面，并找到'href‘链接，定期更新，并存储到Mysql。因为我使用了Linux命令这个爬虫是在Ubuntu服务器背景下运行的。我想它已经运行了大约4个小时。但爬虫突然停止了。第二天我再试一次。
浏览 1提问于2014-05-20得票数 0
回答已采纳
我正在学习爬虫，在一些基本的爬虫之后，我尝试从github下载谷歌学者爬虫大师，看看它是如何运行的，在几个我可以修复的错误之后，我遇到了一个ModuleNotFoundError: No module这段代码有一些问题，其中包含python 3.x版本中不再支持/建议的解决方案，包括后来被重命名/移动的模块，但我无法确定这是否也是这种情况，希望能得到帮助。
浏览 3提问于2018-03-07得票数 0
5回答
我正在用python编写一个简单的网络爬虫，我不想创建一个简单的queue类，但我不太确定最好的开始方法。我想要的东西，只持有唯一的项目来处理，这样爬虫将只抓取每一页每次脚本运行一次(只是为了避免无限循环)。有没有人能给我一个简单的队列示例？
浏览 0提问于2009-02-14得票数 1
回答已采纳
我想创建一个简单的网络爬虫为乐趣。我需要网络爬虫来获得一个网页上的所有链接的列表。python库中有没有内置的函数可以让这一切变得更容易？感谢您提供的任何知识。
浏览 5提问于2010-11-10得票数 1
1回答
我有一个python爬虫，它获取信息并将其放入SQL中。现在我也有了php页面，它从SQL读取这个信息，并表示它。问题是:为了让爬虫程序工作，我的电脑必须全天候工作。我有一台简单的家用电脑--所以这是个问题。是否有一种不同的方式运行网络爬虫？还是我必须在我的电脑上运行？
浏览 1提问于2015-12-08得票数 0
回答已采纳
在Python方面经历了几年之后，我才知道它在web开发中的应用。我在Python中制作了一个电子邮件爬虫程序(基本上是一个使用其他几个功能的函数)，它帮助我在generate实习的公司。我的老板问我是否可以让我的python电子邮件爬虫进入一个网络应用程序，这样其他员工就可以通过我来抓取电子邮件，这样我就可以在更重要的事情上工作。是否有一些web应用程序框架可以用来将我的python电子邮件爬虫程序转换成一个简单的公司专用web应用程序？制作网络应用
浏览 5提问于2015-07-08得票数 0
回答已采纳
2回答
解析网站
、、
我想做一个程序，作为用户输入的网站地址。然后，该程序转到该网站，下载它，然后解析其中的信息。它使用来自网站的信息输出一个新的html文件。现在我只想让它的网站，不需要登录，但稍后我想让它的工作，你必须登录的网站，所以它必须能够处理cookies。做这件事最好的编程语言或工具是什么？
浏览 2提问于2010-04-07得票数 1
我有一个java网络应用程序，我需要使用一个简单的网络爬虫来读取网页中的html。我在java中找不到任何简单的解决方案。但是我得到了一个非常简单的python脚本来解决我的问题。现在，如何从我的java类调用python脚本(.py)，并预先从python脚本.Thanks获取返回值。
浏览 1提问于2015-02-05得票数 0
我想使用Python的多处理库并行执行这些检查。我写了以下代码(主要基于Python文档示例)，但运行速度似乎相当慢。有什么方法可以让这个脚本运行得更快吗？
浏览 0提问于2011-08-06得票数 0
回答已采纳
给出了从代码中运行scrapy爬虫的许多方法：from scrapy.crawler import CrawlerProcess
class MySpider(scrapy.Spider在python中，以非阻塞的异步方式运行爬虫最简单的方法是什么？
浏览 3提问于2016-02-26得票数 3
回答已采纳
2回答
因此，我有一个关于单元测试的问题，不一定是关于Python的，但是由于我目前正在使用Python，所以我选择以它作为我的问题的基础。我知道单元测试的概念，但我在互联网上唯一能找到的就是非常简单的单元测试。就像测试方法sum(a，b)是否返回a+ b的和一样。提前感谢！
浏览 1提问于2014-01-18得票数 3
回答已采纳
我用python写了一个简单的爬虫。它似乎工作良好，并找到新的链接，但重复发现相同的链接，它不是下载新的网页找到。它似乎是无限爬行，即使它达到了设定的爬行深度极限。我不会犯任何错误。它只会永远运行。我在Windows 7 64位上使用Python2.7。= 3: print "e.g: python c
浏览 3提问于2017-09-24得票数 0
回答已采纳
1回答
弹性豆杆不运行的克隆约伯
、、、、
我在一个弹力豆茎应用程序上有一个抓取器，我可以像这样运行SSH：
我想帮我安排一个任务来处理这个问题。Cron won't r
浏览 0提问于2015-04-13得票数 0
1回答
从服务器的角度来看，我想在网站上自动执行以下操作：
基本上，这是一个简单的机器人，以预定的方式导航一个网站。我将如何在Python中创建类似的东西以在Raspberry Pi上运行？
浏览 6提问于2019-04-18得票数 0
回答已采纳
3回答
我试图在C++中做一个非常简单的网页爬虫/蜘蛛应用程序。我一直在使用谷歌搜索一个简单的，以了解这个概念。我发现了这个：
然而，这是复杂的理解对我来说，因为我开始学习C++大约一个月前。互联网上是否有更简单的教程或指南？
浏览 15提问于2010-11-25得票数 22
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
