Python urllib检索速度很慢

文章/答案/技术大牛

发布

1回答

python、request、urllib

现在，即使是在git bash shell中，代码也变得很慢，唯一改变的是我正在查找的集合。我试着用'-u‘禁用输出节流，但是没有帮助。 “完成”永远不会打印出来，即使我知道它加载了所有的json。import jsonimport time data = json.loadfileName_crop = cardname + "_crop.jpg" print(

浏览 40提问于2019-02-28得票数 0

3回答

gevent urllib速度很慢

python、gevent

我使用的是OSX leopard，使用的是fink编译的python2.6和2.7。我尝试过稳定的gevent和gevent 1.0b1，它的作用是一样的。如果我删除urllib调用，那么问题就会消失。我把所有的代码都放在里$ python2.7 bootstrap.py要运行gevent示例： $ bin/py geventecho3

浏览 2提问于2012-04-04得票数 6

回答已采纳

1回答

对Google站点的Python urllib请求速度很慢

python、http、python-3.x、urllib

我正在尝试在Python3中向发出urllib请求(我在2.7中也使用urllib2重写了它，同样的问题)。下面是我的一些代码：from urllib.request import urlopenopener = urllib.request.build_opener(urllib.request.HTTPCook

浏览 2提问于2015-01-28得票数 2

3回答

将值从python传递给php

php、python

我需要做一个检测系统，它使用python与电子设备通信。我在创建一个检测系统。问题是，我想检测，然后发送到一个php文件，作为我的用户界面。Python：如果led关闭，发送到php，从python接收显示值

浏览 1提问于2015-02-28得票数 5

1回答

从python连接oracle的jdbc驱动程序

python、jdbc

您知道有哪个库使用jdbc url来使用python连接oracle吗？我试过使用pyodbc，但在检索百万条记录时速度很慢。注意: pyodbc使用odbc连接。谢谢你，斯莱尼

浏览 6提问于2017-12-07得票数 1

1回答

在python中读取音频流

python、audio、stream、inputstream

$ curl http://mp3.streampower.be/radio1-high.mp3 > test.mp3file('python.mp3', 'w').write(urllib2.urlopen("http://mp3.streampower.be/radio1-high.mp3").read在

浏览 1提问于2010-07-14得票数 6

回答已采纳

1回答

导入wget和jupyter notebook上的无效语法

python、jupyter-notebook

我是Python初学者。我成功地使用了在colab上运行的“图像增强(来自tensorflow lib)”，并且我想在jupyter笔记本上运行它，所以我移动了它。

浏览 85提问于2020-12-16得票数 0

回答已采纳

1回答

有没有办法提高Python上的url下载速度？我有一个用VB6编写的程序，它不需要尝试就可以使用Python。我已经对它进行了转换，现在我正在尝试它，在Python(linux)中，它看起来要慢得多，时间是它的两倍。即使是这个程序的初始版本，似乎也比我在Windows上习惯的花了更长的时间。我尝试过使用urllib(2.7)、urllib.request(3.3)和requests。目前我正在尝试urllib3，它的速度也不快。import

浏览 1提问于2014-01-18得票数 6

3回答

使用urllib.open时出现Python错误

python、urllib

当我运行以下命令时：我在交互式窗口(PythonWin

浏览 4提问于2009-03-01得票数 25

1回答

是否有方法在ec2实例中获取实例id？

python、amazon-web-services、amazon-ec2、backend

还有其他方法可以直接从实例shell或python中的一些API获取元数据吗？

浏览 2提问于2017-05-06得票数 10

1回答

如何从链接列表下载图片？

python、python-3.x、urllib、download

请帮我完成我的密码：import urllib.request while (count < endcount): urllib.request.urlretrieve(URLS[count], catname+'/images/'+catnamewith concurrent.futures.ThreadPoolEx

浏览 4提问于2013-09-04得票数 2

回答已采纳

1回答

为什么Urlopen在一些网站上速度很慢

python、urllib、urlopen

它正在工作，但速度是问题所在。>>from urllib.request import urlopen>>urlopen (url) 为什么urlopen

浏览 20提问于2019-08-08得票数 0

1回答

Python算法效率

python、ruby、algorithm

您将其放入Python字典或Ruby散列中，并使用一个9字节的键进行索引，该键本身就是每个记录中的一个字段。换句话说，您有一个包含32000个键值对的字典，其中每个键是9个字节，每个值是89个字节。在像2.4 the Pro这样的现代计算机上，检索一条记录的平均时间的粗略估计是多少，在theta表示法中最坏的情况是什么？Ruby的实现比Python慢吗？

浏览 2提问于2010-12-11得票数 1

回答已采纳

2回答

python请求速度很慢

python、download、urllib2、python-requests、urllib

使用python中的requests模块检查有效链接(最好是断开的链接)。我的问题是，我如何才能加快速度，比如使用urllib2或其他什么？注意:如果我将url替换为'‘的实际URL，这需要一秒钟的时间，因此这似乎是请求的问题。

浏览 0提问于2013-04-03得票数 5

回答已采纳

1回答

检索RavenDb Etags的速度很慢

ravendb、etag

作为该策略的一部分，我们从RavenDb中检索文档的Etag，并从本地Azure blob存储缓存中检索对象的值。我们的对象极少更改(每天10-100个对象更改)，但检索频率极高(每分钟约5000个对象检索，而且还在不断增加) 这是一个多线程环境，内部RavenDb缓存不足以在AggresiveCache模式下存储所有对象无论如何，我们看到了从Raven检索Etags的可怕时刻。1到10秒之间(！？)我们做错了什么？

浏览 0提问于2017-08-14得票数 0

1回答

urllib.request XML解析中的Unicode / Umlauts

python、unicode、urllib

我正在努力使用urllib.request和unicode。# -*- coding: utf-8 -*-from xml.etree import ElementTree as ET citylistmaxRows=1&lang=de&username=demo' root = ET.parse(urllib.request.ur

浏览 0提问于2017-06-02得票数 0

1回答

我的python脚本没有打开浏览器并自动登录

python、browser、autologin

我写了一个python脚本，每当我点击一个网站时，它就会自动登录。该脚本在命令提示符下运行良好，但无法打开浏览器。我可以看到html源代码在命令提示符下运行，但是它没有打开浏览器。import cookielibimport urllib2 urlLogin = 'http://www.gmail.commy.password' fieldId = 'email&#

浏览 0提问于2011-04-14得票数 0

1回答

如何检索可能为空的JDBC数值列值，而不产生转换成本？

java、performance、jdbc

我使用JDBC对Oracle数据库执行了一个简单的查询，检索速度很慢，尽管查询本身似乎不是问题所在。分析器显示在以下方面花费了大量时间：方法，其中一些方法检索具有Java long精度的Oracle NUMBER列或类似的列。我猜想当返回一个定义为数字的列值时，getString(String)速度会很慢--我曾考虑过使用getLong(String)，但当然这会返回一个不能为空的原语。有没有更好的方法？

浏览 0提问于2010-05-21得票数 4

回答已采纳

2回答

如何使urllib.request附加到现有文件？

python

我正在尝试用Python下载大量文本，并希望将其全部保存到一个文件中。urllib.request.urlretrieve(url, path + filename + ".pgn") 我尝试为每个url使用相同的文件名，但它只是覆盖了文件

浏览 1提问于2019-04-26得票数 0

回答已采纳

1回答

urllib.request.urlopen()是做什么的？

python、urllib

在python3中，来自urllib.request模块的urlopen函数是检索URL的目标，还是将连接作为文件句柄打开，还是我完全失去了它？我想了解它是如何工作的。这是我的代码：import urllibwith urllib.request.urlopen('http://mirror.hactar.bzneed this line if i dont care about the data

浏览 4提问于2016-08-07得票数 1

回答已采纳

点击加载更多