我正在尝试用python写一个快速爬虫，但我不想用线程。我读过一些文章，说Scrapy是单线程的，可以在响应返回之前发出请求。我想知道是否有任何示例代码可以对urllib或urllib2执行相同的操作，并在响应返回之前发出新的请求。
提前谢谢。
浏览 0提问于2012-05-06得票数 0
1回答
我正在试着写一个简单的网络爬虫来测试新的asyncio模块是如何工作的，但是有些地方我搞错了。我正在尝试使用单个URL启动爬虫程序。该脚本应该下载该页面，找到该页面上的任何<a>标记，并安排它们也被下载。我期望的输出是一串行，指示第一个页面已经下载，然后以随机顺序(即，当它们被下载时)随后的页面，直到所有的完成，但看起来他们实际上只是按顺序下载。一般来说，我对异步是一个全新的了解，尤其是这个模块，所以我确信我只是遗漏了一些基本的概念。
到目前为止，我的代码如下：
import asyncio
import re
import requests
import time
from bs
浏览 1提问于2015-06-22得票数 1
不久前，我从David Beazley的协程程序上读到了，我想知道是否有实际的基于Python的软件使用它们？
为什么协程看起来像是Python中最未使用的功能？
浏览 0提问于2011-04-23得票数 8
1回答
在我的一个网络爬虫中，我有一个类，它跟踪要抓取的urls，删除重复的urls，等等：
class VisitOnlyOnceClerk(object):
def __init__(self):
self.visited = set()
self.to_visit = set()
def enqueue(self, url, referer):
if not url in self.visited:
self.to_visit.add((url, referer))
def __bool__(se
浏览 0提问于2011-12-17得票数 1
回答已采纳
1回答
我通过lua脚本从浏览器执行python脚本：
os.execute('python scriptname.py --arg1 Test --arg2 Test2')
我再次这样做(例如，通过刷新页面，发送表单)
os.execute('python scriptname.py --arg1 Test3 --arg2 Test4')
我希望第二个脚本只被执行时，第一个脚本完成到最后。我希望脚本被添加到队列中，并从最旧的脚本到最新的脚本执行。我该怎么做呢？
浏览 2提问于2018-07-08得票数 0
1回答
我对Python和ECMAScript中的生成器的理解是，它们比普通生成器更强大。例如，它们都允许通过next()将值传递回生成器，并且都允许从另一个生成器(Python中的yield from和ES6中的yield * )生成，这是生成器中不需要的两件事。
那么，考虑到这种扩展的功能，在Python和ES6中实现的生成器是否与协程相同？有什么不同吗？
浏览 0提问于2015-08-08得票数 1
2回答
我有一个关于协程实现的问题。我首先在Lua和stackless-python上看到了coroutine。我可以理解它的概念，以及如何使用yield关键字，但我不知道它是如何实现的。
我能得到一些关于它们的解释吗？
浏览 2提问于2010-08-09得票数 4
回答已采纳
从文档中我有这个例子，我已经测试过了，并且工作正常。
from requests_html import AsyncHTMLSession
asession = AsyncHTMLSession()
async def get_pythonorg():
r = await asession.get('https://python.org/')
async def get_reddit():
r = await asession.get('https://reddit.com/')
async def get_google():
r
浏览 5提问于2021-05-23得票数 1
我正在使用Python和Tornado来构建带有jquery UI滑块元素的基本应用程序。我的目标是，当用户与滑块交互时，它将被发送一个值给python函数，结果将显示在python控制台中。我的custom.js是：
$(function() {
$("#slider-range-max").slider({
min : 0,
max : 100,
slide : function(event, ui) {
$("#amount").val(ui.value);
ajax({
浏览 2提问于2016-05-16得票数 4
我正在尝试为我的异步循环设置一个标志。我试着使用asyncio.Event，但得到了一个RuntimeError，下面是我的代码： import sys
import asyncio
import logging
root = logging.getLogger()
root.setLevel(logging.DEBUG)
ch = logging.StreamHandler(sys.stdout)
ch.setFormatter(
logging.Formatter('%(asctime)s - %(name)s - %(levelname)s %(message)s&
浏览 54提问于2020-12-18得票数 0
我已经创建了一个hangman命令，但在调用该命令时出现错误，如第二段代码所示。有没有人知道这个错误指的是什么，或者我当前代码中的错误？
@bot.command()
async def hangman(self, ctx):
"""Play hangman!"""
game = Hangman(ctx, self.bot)
await game.play()
Ignoring exception in command play:
Traceback (most recent cal
浏览 1提问于2021-01-26得票数 2
我目前正在尝试用Python学习asyncio。我知道await关键字告诉循环它可以切换协程。但是，我应该在什么时候实际使用它呢？为什么不把它放在第一位呢？
另外，为什么await在'response.text()‘之前，为什么不在session.get(url)之前？
async def print_preview(url):
# connect to the server
async with aiohttp.ClientSession() as session:
# create get request
async with ses
浏览 0提问于2020-05-15得票数 0
2回答
我已经看到很多关于python中的协程的演讲和文章。它们被认为是“微线程”，我听说它们可以提高性能。
协程如何提高性能？到目前为止，我看到的是它们是单线程的，并且是按顺序执行的。我同意从设计的角度来看，它们非常优雅，特别是在生产者/消费者类型的应用程序中。
我想我没有抓住要点。有人能帮我解释一下吗？
浏览 0提问于2011-07-05得票数 16
回答已采纳
1回答
我尝试使用Python进行异步编程，遇到了一个有趣的应用程序，我需要在大约100台机器上收集大约10个文件的文件大小，以查看哪些机器没有适当地清除它们的日志文件。
我的同步方法是：
File_info = namedtuple("File_info", "machineinfo size")
machines = utils.list_machines() # the computers being queried
# each machine object has attributes like "name", "IP",
浏览 1提问于2017-04-14得票数 0
4回答
对于对其他语言(Python/JavaScript)有一定异步经验的人来说，当谈论异步/等待时，总是会假设在某个地方有一个事件循环。但是对于C++，我已经浏览了文档，没有找到任何讨论事件循环的地方。为什么会这样呢？
对于Node，它只有一个默认的事件循环。对于Python，如果需要，您可以创建多个。但是对于C++，这个事件循环是不是和Node一样呢？或者出于某种原因，我们根本不需要它吗？
浏览 7提问于2021-02-20得票数 19
1回答
如何从异步函数返回值
、、、、
我有一个异步函数，我试图从其中获取返回变量，但由于某种原因，我无法让它工作，我尝试了几个与googling不同的方法，但它们都返回类似的错误。 我有这个函数： @bot.command()
async def start(ctx):
"""starts the server"""
try:
status = server.status()
await ctx.channel.send("The server is already online!")
except:
浏览 30提问于2020-04-16得票数 2
我有一个python爬虫，每隔几分钟就抓取几个网页。我现在正在尝试实现一个可以通过web访问的用户界面，并显示爬虫获得的数据。我将使用php/html作为接口。无论如何，用户界面需要某种类型的按钮来触发爬虫程序立即抓取特定的网站(而不是等待下一次抓取迭代)。
现在，有没有一种方法可以将数据从php脚本发送到正在运行的python脚本？我在考虑标准输入/输出，但找不到一种方法可以做到这一点(从一个进程写入另一个进程stdin)。然后我在考虑使用一个共享文件，php在其中写入数据，python从中读取数据。但是，我需要一些方法来让python脚本知道，新数据已经写入文件，以及让php脚本知道爬虫何
浏览 1提问于2011-03-31得票数 1
嗨，我想做一个网页爬虫，检查URL的数据，如果我做一个简单的Gui，使脚本更容易查找变量的数据，添加代码的gui会使我的网络爬虫效率降低吗？
我需要爬虫尽可能高效，能够尽可能快地处理数据。为这个Python脚本制作一个gui，会不会妨碍web爬虫的性能？
浏览 3提问于2015-01-27得票数 0
回答已采纳
会发生什么事？
我用Python2.7编写了大量的Scrapy爬行器。我需要将它们全部转换为支持Python 3，这种转换必须在1 go内完成。我只能在Python 3爬虫做好部署准备之后才能开始使用。我不能一次部署一个爬虫。
我做了什么/我有什么？
我目前有一个远程分支，它是主分支。让我们称之为遥控器-A。这就是容纳所有爬行器的分支，它们每天都会被执行。这个分支必须继续运作。
对于远程分支，我有本地文件夹/分支，修复错误并创建新的。让我们把它叫做Local.，从主人那里，我推拉。
现在，由于“所有操作都必须保持活动状态”，我需要一个单独的Python 3爬虫的远程分支。这个分支可以称为Rem
浏览 3提问于2019-09-10得票数 0
回答已采纳
我有一个使用asyncio和await模块的python程序。这是我取自的一个示例程序。
import asyncio
import os
import urllib.request
import await
@asyncio.coroutine
def download_coroutine(url):
"""
A coroutine to download the specified url
"""
request = urllib.request.urlopen(url)
filename = os.
浏览 3提问于2016-08-04得票数 2
1回答
我正在制作一个爬虫来找出最近添加的youtube视频，当我的爬虫到达旧视频(在前一个转弯中爬行)时，我想停止爬虫。我使用的不是scrapy和漂亮的汤，我使用的是python库。请给我推荐任何选项
浏览 9提问于2017-06-27得票数 0
我知道在python37中我们有一个新的接口asyncio.get_running_loop()，它很容易使用，让我们在调用协程时不需要显式地传递eventloop。 我想知道是否有什么方法可以让我们在python36中获得同样的效果？ # which allows us coding conveniently with this api:
import asyncio
async def test():
print("hello world !")
async def main():
loop = asyncio.get_running_loop()
浏览 33提问于2019-06-25得票数 4
回答已采纳
1回答
我正在对我的python代码做一些分析。我正在使用异步api进行rpc调用
async def rpc_call():
return client.call(params) // makes rpc calls over tcp
async def test():
await rpc_call()
start = time.time()
loop = asyncio.get_event_loop()
tasks = []
for i in range(10000):
tasks.append(asyncio.ensure_future(test()))
pri
浏览 0提问于2018-04-22得票数 1
我使用具有无限循环的python制作了一个简单的爬虫，所以它不能停止。随机延迟17 ~ 30，这个爬虫爬行相同的一个页面，并找到'href‘链接，定期更新，并存储到Mysql。我使用了Ubuntu服务器。因为我使用了Linux命令
$ nohup python crawer.py &
这个爬虫是在Ubuntu服务器背景下运行的。我想它已经运行了大约4个小时。但爬虫突然停止了。第二天我再试一次。而且效果很好！有什么问题吗？这是关于网页的块吗？或者nohup命令有限制时间？非常感谢。
浏览 1提问于2014-05-20得票数 0
回答已采纳
1回答
我正在使用python中的scrapy框架制作一个web爬虫。其主要思想是，爬虫从页面中提取一些数据，如果数据符合某些条件，爬虫应该提取其当前所处的URL。是否有一些方法/函数可以获得当前的URL？
谢谢。
浏览 5提问于2016-11-27得票数 0
回答已采纳
1回答
我想返回异步生成器的第一个元素，并处理剩余的值，而不返回像fire和forget那样的值。如何在python中提前返回协程？在将迭代器传递给asyncio.create_task之后，它不会打印剩余值。
import asyncio
import time
async def async_iter(num):
for i in range(num):
await asyncio.sleep(0.5)
yield i
async def handle_remains(it):
async for i in it:
print(
浏览 2提问于2021-09-27得票数 0
已将torando v5.1迁移到v6。但是异步协程似乎已经被移除了。对它的修复有什么建议？ 将项目从2.7迁移到3.6，同时将tornado框架从v5.1迁移到v6.0.2，因为这个[Python code for DynamoDB query is working on v3.6 but not working in python 2.7 strackoverflow线程]中建议的错误。 安装v6 tornado后，它会中断，并出现以下错误。 Python3 xxxx.py
Traceback (most recent call last):
File "XXXX.py&#
浏览 84提问于2019-04-02得票数 1
1回答
我在不同的地理位置有几台台式机。我需要创建一个爬虫与客户端在每个台式机和一个中央服务器，其中的数据是索引。有没有可能在Nutch中创建这样的爬虫？还有没有别的选择。基于Python的爬虫会更好。
浏览 2提问于2011-07-04得票数 0
回答已采纳
我很难理解asyncio的整个概念。现在，我尝试将Socket模块和asyncio一起使用，使UDP聊天同时作为服务器和客户端工作。在两个asyncio协程中，我运行循环(一个用于服务器，一个用于客户端)。但是程序只能作为客户端工作。在网络上发送数据，但不接收数据。我猜对于这种情况有更好的asyncio解决方案，但在继续之前，我想了解为什么特定的代码不工作。你有什么线索吗？
# PYTHON 3.4
import asyncio
import socket
PORT = 50001
MAX_BYTES = 8400
LOCAL_IP = ''
REMOTE_IP = '
浏览 2提问于2016-02-21得票数 1
需要将现有应用程序连接到社交媒体监控。爬虫的常见输出格式是什么？它会是XML，JSON吗？或者它会根据爬虫的不同而不同，例如: Python，Java？
浏览 0提问于2012-08-20得票数 0
回答已采纳
2回答
一些服务器具有robots.txt文件，以阻止web爬虫在其网站中爬行。有没有办法让网络爬虫忽略robots.txt文件？我正在为python使用Mechanize。
浏览 1提问于2011-12-05得票数 14
回答已采纳
我用python编写了一个爬虫，它可以访问60多个网站，解析HTML，并将数据保存到数据库。
现在，我正在使用cron作业，每15分钟运行一次爬虫。问题是，我无法知道爬虫要花多少时间才能完成(有时可能需要超过15分钟)，如果已经在运行，我不想再运行另一个爬虫。
我一直在想，我是否最好使用一个无限循环，并使爬虫成为一个永久运行的进程(但是如何确保爬虫不会失败并退出呢？以及如何在每次退出时重新启动？)。
哪一个更有效率？无限循环还是cron作业？
浏览 7提问于2021-05-14得票数 0
在Python方面经历了几年之后，我才知道它在web开发中的应用。我在Python中制作了一个电子邮件爬虫程序(基本上是一个使用其他几个功能的函数)，它帮助我在generate实习的公司。我的老板问我是否可以让我的python电子邮件爬虫进入一个网络应用程序，这样其他员工就可以通过我来抓取电子邮件，这样我就可以在更重要的事情上工作。
是否有一些web应用程序框架可以用来将我的python电子邮件爬虫程序转换成一个简单的公司专用web应用程序？制作网络应用程序所需的时间范围是什么？
我非常开放和渴望学习web应用程序开发，因此，任何帮助或建议将不胜感激。谢谢。
浏览 5提问于2015-07-08得票数 0
回答已采纳
2回答
协程是简化并发编程的一个很好的范例。大多数情况下，并发任务很容易并行化。在语言中，使用goroutines执行并行任务是很容易的。有没有办法在Python中做同样的事情，例如使用协程来创建进程并同步它们？
浏览 5提问于2011-06-30得票数 5
回答已采纳
2回答
我想让一个抓取爬虫在芹菜任务工人内部不断运行，可能使用。或者，正如所建议的，这个想法是使用爬虫程序来查询返回XML响应的外部API。我希望将我想要查询的URL (或查询参数并让crawler构建URL)传递给crawler，crawler将进行URL调用，并将提取的项返回给我。一旦爬虫程序开始运行，我如何将我想要获取的这个新URL传递给爬虫程序。我不想在每次想要给爬虫一个新的URL时都重新启动爬虫，而是希望爬虫无所事事地等待URL爬行。
我发现的在另一个python进程中运行scrapy的两个方法使用一个新进程来运行爬虫程序。我不希望每次我想要抓取一个URL时，都必须派生和拆卸一个新的进程，因
浏览 0提问于2013-05-23得票数 2
在Python语言中，await使用协程和使用asyncio.run()的实际区别是什么？它们似乎都在运行协程，我能看到的唯一区别是await只能在协程中使用。
浏览 12提问于2020-11-23得票数 7
回答已采纳
我想用python写一个小的网络爬虫。我开始研究将其编写为多线程脚本，一个线程下载池和一个池处理结果。由于有了GIL，它真的可以同时下载吗？GIL对网络爬虫有什么影响？会不会每个线程从套接字中提取一些数据，然后转到下一个线程，让它从套接字中提取一些数据，等等？
基本上我想问的是，用python做一个多线程爬虫真的比单线程能给我带来更多的性能吗？
谢谢!
浏览 4提问于2010-05-14得票数 10
回答已采纳
在Python中-使用纯a = yield协程语法，而不是像asyncio这样的库-在收到响应之前发出一个HTTP请求并做一些其他事情，这是可能的吗？类似于： >>>requests.get('http://www.json-generator.com')
# do something else here while the above request is being made 就像使用AJAX一样，人们可以发出请求，而不必等待响应？或者我可能误解了协程背后的想法？
浏览 27提问于2019-01-07得票数 4
回答已采纳
7回答
在python中，yield关键字可以在push和pull上下文中使用，我知道如何在c#中执行pull上下文，但如何实现push呢？我发布了我试图从python中用c#复制的代码：
def coroutine(func):
def start(*args,**kwargs):
cr = func(*args,**kwargs)
cr.next()
return cr
return start
@coroutine
def grep(pattern):
print "Looking for %s" % pattern
try:
w
浏览 0提问于2010-03-22得票数 10
回答已采纳
1回答
我的服务已经使用Websockets与tcp服务器通信，它还连接到另一个tcp端点。
它做两件事
1/ tcp从the服务器读取数据=>将其写入=>端点
2/ tcp从=>端点读取数据，并将其写入=>服务器。
我有以下代码来实现此目的
import websocket
import asyncio
def open_remote(reader):
print("open remote")
do_remote_read(reader)
def on_message(ws, message):
print("message re
浏览 10提问于2019-10-21得票数 0
我目前正在vim中开发一些异步python，并将作为插件安装。但是我遇到了一个文件内联的问题，因为林特在第一个(也是有效的) async定义上挂起，不会内联文件的其余部分。
@user_bp.get('/api/v1/user')
async def get_users(request): # `invalid syntax` error on 'async', linting stops here
with scoped_session() as session:
statement = User.__table__.select()
浏览 3提问于2018-01-01得票数 1
我构建了一个爬虫，它获取用户输入的产品列表的产品信息。有时，爬虫会结冰，特别是如果产品列表很长，如果爬虫在无头模式下运行的话。
这个bug似乎是随机的，也是不可复制的，这让我认为它是由被爬行的网站的资源利用引起的。
因为这是一个不可复制的错误，我不认为我能修复它，但有没有办法检测爬虫已经冻结，然后再试一次？
下面是关于爬虫和bug的一些信息：
爬虫是使用Selenium和Python构建的。
这个错误发生在不同的网站和产品上。
该错误发生在“正常”模式，但更多发生在无头模式。
谢谢!
费利佩
浏览 2提问于2019-05-21得票数 1
1回答
我有一个python爬虫，它获取信息并将其放入SQL中。现在我也有了php页面，它从SQL读取这个信息，并表示它。问题是:为了让爬虫程序工作，我的电脑必须全天候工作。我有一台简单的家用电脑--所以这是个问题。是否有一种不同的方式运行网络爬虫？还是我必须在我的电脑上运行？
浏览 1提问于2015-12-08得票数 0
回答已采纳
以下是信号手册页
signal()的行为因UNIX版本而异，而且在不同版本的Linux中也有不同的历史变化。避免使用它:使用sigac- tion(2)代替。见下面的可携性。
这是否意味着我们应该始终使用sigaction调用而不是使用signal？
浏览 4提问于2020-12-13得票数 0
回答已采纳
1回答
我真的很欣赏Stackless Python的功能，我一直在寻找一种方法来模拟它的语法，同时仍然使用标准的Python3解释器。让它看起来像是greenlet库可以提供这种功能。我稍微修改了他的代码，但我能想到的最好的临时tasklet包装器是一个在变量中包含一个greenlet的类，如下所示：
class tasklet():
def __init__(self,function=None,*variables):
global _scheduled
self.greenlet = greenlet.green
浏览 4提问于2013-07-28得票数 0
我是Python & Scrapy的初学者。我刚刚创建了一个带有多个爬虫的Scrapy项目，在运行"scrapy crawl ..“它只运行第一个爬虫。
如何在同一进程中运行所有爬行器？
提前谢谢。
浏览 0提问于2014-04-11得票数 2
我试图将表属性分配给用爬虫创建的表。
这样做的目的是让所有使用爬虫创建的表具有相同的默认属性(加上它们通常拥有的属性)。
我检查了爬虫创建界面中的选项，但没有看到这样的选项。在创建表之后创建一个python boto3脚本来修改表属性值，这是我唯一想到的事情。
如果这在默认的爬虫功能中是不可能的，那么将表属性附加到使用某个爬虫创建的每个表上的可行方法是什么？
编辑:一个可能的解决方案是创建一个lambda函数，检查胶水表中是否存在自定义参数，如果没有创建它们。
浏览 2提问于2021-01-20得票数 0
回答已采纳
我是一个实时分布式搜索引擎elasticsearch的新手，但我想问一个技术问题。
我已经编写了一个python模块爬虫，它可以解析网页并使用本机信息创建JSON对象。我的模块爬虫的下一步是使用elasticsearch存储本机信息。
真正的问题如下所示。哪种技术更适合我的场合？elasticsearch python API还是用于弹性搜索的RESTful API (elasticsearch-py)？
浏览 4提问于2015-12-01得票数 1
3回答
我试着做三件事。
第一:抓取和存档，至少每天，一组预定义的站点。
第二:对此数据运行通宵批处理python脚本(文本分类)。
第三:向用户公开一个基于Django的前端，让他们搜索抓取的数据。
我一直在使用Apache Nutch/Lucene，但当我可以使用另一个爬虫引擎时，让它与Django很好地配合似乎太难了。
about 建议我可以只用Django本身编写爬虫，但我不确定该怎么做。
基本上--对于用Django或现有的python爬虫编写我可以适应的爬虫有什么建议吗？或者我是否应该在第二步中加入“变成Django友好的东西”，并编写一些胶水代码？或者，最后，我应该完全放弃Django吗
浏览 0提问于2009-06-09得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
