使用Python进行web抓取:让我的web抓取代码更快？
要提高使用Python进行web抓取的速度，可以考虑以下几个方面：
- 使用异步网络库：传统的Python网络库如urllib和requests是同步的，即在发送请求时会阻塞代码执行，直到响应返回后才会继续执行后面的代码。而使用异步网络库如aiohttp可以实现非阻塞式的请求发送和响应处理，提高并发性能和效率。
- 使用多线程或多进程：利用Python的多线程或多进程模块可以同时执行多个网络请求，从而提高抓取的并发度。可以使用标准库中的threading或multiprocessing模块，或者使用第三方库如concurrent.futures。
- 使用连接池：在进行web抓取时，频繁地创建和关闭网络连接会造成性能损失。可以使用连接池来管理网络连接，避免频繁地创建和关闭连接，提高连接重用率和效率。可以使用第三方库如requests_toolbelt的ConnectionPool。
- 优化HTML解析：当使用Python进行web抓取时，解析HTML是一个常见的操作。可以使用高效的解析库如lxml或BeautifulSoup，并结合XPath或CSS选择器来进行解析，提高解析速度。
- 使用缓存机制：对于一些静态的页面或数据，可以使用缓存机制来减少网络请求和数据解析的次数。可以使用内存缓存如Redis或Memcached，或者使用文件缓存如SQLite或pickle。
- 调整请求频率：在进行web抓取时，过于频繁地发送请求可能会给目标网站带来负担，并可能导致IP被封禁。可以通过设置请求间隔或使用代理IP来调整请求频率，保护自己的网络抓取。
- 使用反爬虫策略：有些网站为了防止被爬虫抓取，会采取一些反爬虫策略，如验证码、IP限制等。可以针对这些策略进行相应的处理，如使用验证码识别库、使用代理IP等，以提高抓取的成功率和速度。
对于Python进行web抓取的优化，腾讯云提供了相关产品和服务，比如：
- 异步网络库：可以使用腾讯云提供的Tornado框架，它是一个高性能的异步网络库，适合构建高并发、异步的web应用。
- 连接池：可以使用腾讯云提供的分布式数据库TencentDB，它支持连接池技术，提供高可用、高性能的数据库服务。
- 缓存机制：可以使用腾讯云提供的缓存产品Tencent Cloud Cache，它支持内存缓存和文件缓存，提供高速、低延迟的缓存服务。
可以通过腾讯云官方网站获取更详细的产品介绍和相关链接：
- Tornado框架：https://cloud.tencent.com/product/tornado
- TencentDB：https://cloud.tencent.com/product/cdb
- Tencent Cloud Cache：https://cloud.tencent.com/product/tcc
相关·内容
1回答
也许不是发帖的正确地方。但是，不管怎样，我还是要尝试一下！
我已经创建了几个测试python解析脚本。它们足够让我测试我正在做的工作。
然而，我最近遇到了python框架Scrapy，它用于web抓取。我的应用程序在分布式进程中运行，跨越多个服务器的试验台。我正在尝试理解scrapy，看看它是否提供了比我正在做的更多的好处。
所以，如果可能的话，我真的很想和一些使用scrapy的人谈谈。
浏览 1提问于2010-04-20得票数 4
2回答
我是Python的新手，所以很抱歉这是一个新手问题。
我正在尝试构建一个涉及web抓取的程序，我注意到Python3的web抓取模块似乎比Python2.x系列少得多。
美汤、机械化和scrapy -这三个模块向我推荐--似乎都是不兼容的。
我想知道这个论坛上有没有人有使用python3进行网络抓取的好选择。
任何建议都将不胜感激。
谢谢，威尔
浏览 1提问于2011-08-11得票数 5
我有一个完全用python编写的web抓取应用程序。我在web上抓取的信息位于登录之后，我正在使用Request.session来保存登录会话。我正在尝试将代码移植到Node.js，但在Node.js上找不到任何类似于request.session的东西。如果存在这样的东西，请让我知道。谢谢。
浏览 38提问于2020-09-29得票数 0
回答已采纳
我是python初学者，我需要一些帮助来创建一个web服务，该服务调用python抓取脚本(一门课程的任务)。
我可以用瓶子创建web服务。我想使用static_file来调用脚本，但我不确定，因为文档中说static_file是用于CSS的。
其想法是首先创建web服务，然后使用服务器上的web抓取脚本。
感谢哥伦比亚的帮助和问候！
我没有很好的英语，但我希望有人能理解我，帮助我。
浏览 3提问于2015-12-16得票数 0
回答已采纳
1回答
我需要学习高级python编程技能才能使用python进行web抓取吗？或者，我应该看一些关于网络抓取的教程，同时学习使用python。我对python没有任何经验，因为我是Laravel开发人员，这是我第一次在web抓取中做这样的工作。
浏览 0提问于2019-11-04得票数 -1
2回答
我想知道如何让python web抓取所有的结果到excel中。这并不是我不知道如何抓取网页，而是我不知道如何抓取excel。
浏览 2提问于2012-04-21得票数 2
2回答
我是数据抓取领域的新手，之前使用python进行web和桌面应用程序开发。我只是在想，如果有任何方法可以从页面中获取urls，然后查看它的具体信息，如电话号码，地址等。
目前我使用的是BeautifulSoup和built方法，其中我将urls作为方法的一个参数。
我正在抓取的网站很大，真的很难为每个页面传递特定的url。
有什么建议可以让它变得更快、更自驱动吗？
提前谢谢。
浏览 1提问于2011-04-22得票数 2
回答已采纳
1回答
我对python非常陌生，我只是在玩抓取框架，用来抓取网站和提取数据。
我的问题是，如何将参数传递给在线托管的python脚本。
例如，我提出以下请求: mysite.net/rest/index.py
现在我想传递一些类似于php的参数，比如*.php?id=.
浏览 2提问于2010-10-06得票数 0
回答已采纳
我正在开发一个使用python和Django的网页抓取代码。我已经提供了所需的url，并且已经获取了数据。但是在url上有一个标签，上面写着“显示更多结果”。如何让我Django项目点击url上的“显示更多结果”选项卡并立即获取新的结果。 我已经使用Beautiful Soup库来进行web抓取/
浏览 16提问于2021-04-15得票数 0
3回答
我读了很多关于网络抓取的答案，都是关于BeautifulSoup，Scrapy e.t.c。执行网络抓取。
有没有一种方法等同于从web浏览器中保存页面的源代码？
也就是说，在Python中，有没有一种方法可以将它指向一个网站，并让它将页面的源代码保存到一个只包含标准Python模块的文本文件中？
这就是我要说的：
import urllib
f = open('webpage.txt', 'w')
html = urllib.urlopen("http://www.somewebpage.com")
#somehow save the we
浏览 1提问于2012-11-11得票数 16
回答已采纳
1回答
从网络抓取开始
、、
首先，我想让您知道，我对html和css非常陌生，目前我还不知道如何使用Java脚本。我在看关于如何制作网络刮刀的视频，我有一些问题：
我看到了很多教程在python中进行web抓取，因为我非常了解python，所以我问自己，什么更适合web抓取？Python还是Java脚本，我应该使用哪一个？我可以将python程序与html连接起来吗？
我需要使用网站抓取一个网站，我正在尝试做一些事情，从其他网站获取特定的数据，然后显示在我的网站上，这样人们就可以看到他们。你对如何开始有什么建议吗？
请注意，我不是太好的英语，没有教程或视频的网页刮我的语言和借口在这篇文章的错误。
浏览 1提问于2019-12-31得票数 0
回答已采纳
2回答
我正在尝试从有经验的人那里获取更多的信息，一般来说，我正在使用Python库进行web抓取。与此同时，我注意到一些人正在使用simple Bash，并使用wget, curl, sed, grep, awk等命令进行web抓取。
与使用Python库进行web抓取相比，这些命令在脚本编写方面似乎要干净得多。
你对此有什么看法？您认为使用python库比使用Bash有什么优势吗？或者甚至使用Python和Bash来完成web抓取？
浏览 1提问于2017-03-03得票数 0
我是Python的新手，我正在尝试制作web抓取程序来补充我在最近解决的另一个问题中提到的问题(谢谢！)我想让程序抓取一个表中的值。在底部，我有一个剪贴画，上面标有我想要刮的值的圆圈。 ? 指向被抓取的站点的链接： https://www.barchart.com/stocks/quotes/$SPX/technical-analysis 这是我目前拥有的web抓取部分代码的一部分。我用的是精美的汤和点菜。它当前在空闲时返回"None“。我们非常感谢大家在这方面的帮助。非常感谢! import bs4
import requests
res = requests.get(
浏览 5提问于2020-10-04得票数 0
我正在尝试使用python来抓取一个用无限滚动实现的网站。实际上，网络就是pinterest。我知道如何使用selenium来抓取具有无限滚动的web。但是，WebDriver基本上模仿了访问web的过程，而且速度慢得多，比使用BeautifulSoup和urllib进行抓取要慢很多。你知道有什么时间有效的方法来刮一个无限滚动的网页吗？谢谢。
浏览 0提问于2014-12-29得票数 0
回答已采纳
1回答
我正在为某种形式的天气数据设计一个动态网站，我需要抓取这些数据，因为它总是在变化。我想知道是使用sqlite这样的数据库更快，还是保存对象，在需要时重新加载它们。这两个选项都将保存抓取的数据。
可能会使用Python或Ruby，还没有决定。
浏览 1提问于2010-07-16得票数 0
回答已采纳
1回答
我正在为一个特定的网页做网页抓取，我注意到我的代码只抓取了只显示第一个滚动的部分。当进一步向下滚动时，页面会自动显示更多信息。下面是似乎控制这种算法的代码。
<div class="view-pagination text-right">
<ul class="js-pager__items pager" data-drupal-views-infinite-scroll-pager="automatic">
::before
<li class="pager__item"
浏览 1提问于2019-10-31得票数 0
为了学习更高级的Python，我要求自己创建一个定位到网站的python脚本(在本例中是imdb.com)，输入一个单词(已经声明为变量)，然后将前5个标题输出到数组中，然后输出到控制台。
我的问题是:这样的事情可能吗？是否有使这成为可能的库/框架？
如果可能的话，我该从哪里开始？Web抓取对我来说并不是什么新鲜事，但Python中的web抓取却是新的。我真正需要的是指引正确的道路。25分钟的谷歌搜索得到了一些模糊的答案，只是让我更加困惑。
浏览 11提问于2014-04-16得票数 0
回答已采纳
1回答
我刚开始使用web抓取，到目前为止，我所做的只是一些基本的python抓取。我真正想要的是让我所有的在线朋友在facebook上刮擦，看看如何刮一些动态变化的东西。所以请告诉我是否可能，从哪里开始等等。谢谢！
浏览 1提问于2013-08-02得票数 0
回答已采纳
1回答
我有一个建立一个网络刮擦工具的要求。抓取部分将在python中编码，结果将在PHP中显示。结果应该在PHP中异步显示，而python正在抓取页面。
客户认为python是快速和更好的web抓取的选择。您认为混合python和php仍然会带来快速的结果吗?还是坚持使用php进行web抓取更快/更好？
在这两种语言之间异步交换数据的首选方法是什么？
谢谢!
浏览 3提问于2017-05-04得票数 1
回答已采纳
我实际上参与了一个宠物项目，涉及到从网站上抓取数据。我编写的应用程序完全是用java编写的。这个应用程序会运行几个小时，从网页上抓取数据。
正因为如此，我的IP多次在几个网站被屏蔽。这就是我尝试通过Tor网络访问网站的原因。
我使用了这个Stackoverlow 中的代码来运行Orchid中的Tor服务。
所以在运行了Tor服务之后，我使用phantomjs来抓取网站。因此，我以phantomjs --proxy-type=socks5 --proxy=127.0.0.1:9150 script.js身份运行phantomjs (因为它的服务运行在9150端口上。PhantomJS v2.1
浏览 0提问于2016-12-19得票数 0
1回答
所以我用javascript、html、css等创建了一个桌面电子应用程序，我有一个机器人，当用户点击一个按钮时，我想运行它，这个机器人是用python编写的。机器人所做的是使用selenium和chrome驱动程序进行web抓取，我只是想知道有没有一种方法可以将机器人及其源代码存储在客户端计算机之外，这样源代码就看不到了，同时仍然可以让客户端使用机器人进行web抓取。 抱歉，如果这是一个菜鸟问题，我来自c++ & swift移动开发，我是CS专业的大三学生，所以我只是在自学新东西。
浏览 16提问于2021-04-13得票数 0
回答已采纳
试图弄清楚，每当标签的文本在在线的mp3s幻想板 (ClickyDraft)上发生变化时，如何让python播放。
我知道如何从一个有python和漂亮汤的网站上抓取元素，以及如何玩mp3s。但是，您认为如何才能让它检测到某个元素何时发生变化，以便它能够播放适当的mp3
我想让程序在每个0.5seconds上刮点来检测变化，
但我读到那会引起麻烦吗？有办法这样做吗？
浏览 1提问于2019-07-31得票数 1
回答已采纳
4回答
我喜欢Python中的Beautiful Soup抓取库。它就是这样的。在Ruby中有类似的东西吗？
浏览 9提问于2009-03-12得票数 15
回答已采纳
2回答
我在代码中遇到了一个小问题。我有一个主函数，它在给定特定条件的情况下，必须启动一个或多个不同的函数来处理web抓取，特别是它们使用Selenium。问题是，我只是想启动这个web抓取“任务”，这只是一个简单的python函数，而不是等待它终止，而是让它独立于我的其余代码继续运行，这样我就可以独立运行同一函数的5个不同实例，而不是等待它们终止。一些伪代码： while True:
condition = SomeComputation()
if(condition):
IndependentFunction( some_parameter ) 一旦调用了Inde
浏览 57提问于2021-02-25得票数 0
回答已采纳
我的脚本扫描nike.com上的某些产品的价格，并将不断抓取产品的价格，直到它开始销售，在这一点上，它将创建多个实例，以登录到多个帐户购买产品。
我已经有了抓取网站和检出产品的功能，但我想知道我应该使用多进程还是多线程来执行登录和检出过程？
在处理web自动化过程的多个实例时，哪一个会更有效？如果有帮助的话，我在firefox中使用selenium headless。
浏览 2提问于2018-09-26得票数 0
我正在做一个使用python和API的web抓取项目，我想让python脚本每天运行5天12个小时，因为我不想让我的系统在CMD或Jupyter中运行，所以我正在寻找一种解决方案，其中任何云服务都可以帮助我实现过程的自动化
浏览 0提问于2019-06-26得票数 0
3回答
我正在用Django web框架用Python制作一个网络抓取应用程序。我需要用漂亮的汤库抓取多个查询。下面是我写的代码的快照：
for url in websites:
r = requests.get(url)
soup = BeautifulSoup(r.content)
links = soup.find_all("a", {"class":"dev-link"})
实际上，网页的抓取是按顺序进行的，我想以并行的方式运行它。我对Python中的线程化不是很了解。谁能告诉我，我怎样才能并行抓取？任何帮助都将不胜感激。
浏览 0提问于2017-05-29得票数 2
我正在编写一个Python web应用程序，其中我计划利用维基百科。当尝试一些网址抓取代码时，我能够同时抓取谷歌和脸书(通过谷歌应用引擎服务)，但当我试图抓取wikipedia.org时，我收到了一个异常。有人能证实维基百科不接受这些类型的页面请求吗？维基百科如何区分我和用户？
代码片段(这是Python!)：
import os
import urllib2
from google.appengine.ext.webapp import template
class MainHandler(webapp.RequestHandler):
def get(self):
浏览 3提问于2011-09-25得票数 4
回答已采纳
所以我想刮一个网站的数据。我在python脚本中使用selenium来抓取数据。但是我注意到，在Google的网络部分，Chrome可以记录XmlHttpRequest来查找网站的json/xml文件。因此，我想知道我能否在python脚本中直接使用这些数据，因为selenium很重，需要更多的带宽。selenium或其他web刮刀工具是否应该用作与浏览器通信的媒介？如果没有，请提供一些有关只使用chrome本身为我的python文件使用的刮取数据的信息。
浏览 0提问于2019-06-09得票数 0
1回答
我正在使用Python中的selenium来抓取网页的文本，包括那些依赖于javascript的文本，但它使用的是firefox或其他浏览器，它打开一个窗口，处理速度非常慢，比如每页30秒。我能以某种方式加速它吗？
代码示例如下：
gecko_path = r'X:\Programming\geckodriver\geckodriver.exe'
binary = r'C:\Program Files\Mozilla Firefox\firefox.exe'
options = Options()
options.binary = binary
xm
浏览 0提问于2019-06-04得票数 0
我使用C#和Python的Selenium Webdriver从网站获取数据元素，但web抓取的速度非常慢。抓取35000个数据表花了我大约1.5天的时间。使用Selenium Webdriver，我可以执行Javascript来获取Java元素。有没有一些库可以不需要像Webdriver这样的东西来在网页上执行Javascript来检索元素，并且能够点击元素？或者有没有比硒更快的替代品？
浏览 5提问于2015-04-16得票数 13
2回答
我目前正在使用PHP与CURL和简单的HTML DOM分析器进行HTML抓取。我需要刮大量的内容，它需要存储。我使用PHP作为我的主要语言，使用MySQL作为存储DB，但是我对任何语言的选项都感兴趣，并且可以将它集成到我的工作流中。
还有其他的HTML抓取包我应该调查吗？我听说过基于Python的名为“Scrapy”和“Beautiful”的web抓取库。
非常感谢你的建议。)
浏览 0提问于2014-03-05得票数 0
回答已采纳
2回答
我正在用Python开发一个web抓取工具，我需要深入了解某些站点上各种HTML标签的功能。不幸的是，Chrome、Firefox和Safari提供的“视图源”不能输出格式化良好的HTML源代码--它倾向于在同一行中放置大量的标签。浏览器是否提供了一些插件，可以让事情变得更清晰一些，或者我是否需要在Python中获得/开发某种工具，将肮脏的HTML作为输入并输出干净格式化的HTML？
浏览 1提问于2013-01-29得票数 3
我正在浏览Selenium WebDriver的文档，例如，它可以驱动Chrome。我在想，“驾驶”PhantomJS不是更有效率吗？
有没有一种方法可以在PhantomJS中使用Selenium？
我的预期用途是web抓取:我抓取的网站加载了AJAX和许多可爱的JavaScript，我认为这个设置可以很好地替代我目前正在使用的Scrapy Python框架。
浏览 4提问于2012-06-27得票数 35
回答已采纳
我正在做一个大项目，涉及很多基于网络和人工智能的工作。我对Python非常满意，尽管我唯一关心的是并发编程和扩展该项目以使其在集群上工作。因此，Clojure支持AI和Java函数调用，并带来并发编程。
使用Python完成所有基于web的api工作，并让Clojure处理大部分并发AI工作，这是一个好主意吗？
编辑:让我详细解释一下交互。Python将会做大部分的脏活(抓取、图像处理、改进数据库等等)。如果可能的话，Clojure要么处理数据库，要么从Python获取数据。我希望有一些CPython类的东西可以和Python和Clojure链接起来。
Edit2:问这个问题可能是个愚蠢的问题
浏览 2提问于2012-05-12得票数 8
回答已采纳
3回答
Python抓取线程性能
、、、、
我有一个需要测试功能和性能的web应用程序，我们计划使用的部分测试套件已经用Python编写了。当我第一次写这篇文章的时候，我用机械化作为网络抓取的手段，但是它看起来太笨重了，我无法做我想做的事情(要么是我错过了什么)。
我试图做的事情的基本布局如下所示。都是物体。
用户有Comm (以前是我的东西和机械之间的接口)
Comm有浏览器(持有我的CookieJar、urllib2和BeautifulSoup对象，过去是机械化的)
浏览器有表单(以前是机械处理的)
现在，就线程而言，我已经把它放下了。在处理GIL和运行Python的单独实例之间将根据需要进行调整，但建议将被采纳
浏览 4提问于2011-02-15得票数 2
回答已采纳
2回答
我正在寻找一种方法来做网页抓取后，在其搜索框中键入。让我用一个例子更好地解释:我正在寻找一个R函数，它直接在amazon主页上写入单词"notebook“，这样我就可以随后对生成的页面进行web抓取。有什么帮助吗？有什么建议吗？也许我可以用Python来做？感谢大家的帮助。
浏览 2提问于2021-01-25得票数 1
1回答
我正在用Python构建一个web爬虫，使用MongoDB来存储一个队列，其中包含所有要爬行的URL。我将有几个独立的工人，将抓取URL。每当工作人员完成URL抓取时，它将在MongoDB集合"queue“中发出请求，以获得要爬行的新URL。
我的问题是，既然会有多个爬虫，我如何确保两个爬虫器不会同时查询数据库并获得相同的URL来抓取？
非常感谢你的帮助
浏览 0提问于2014-03-29得票数 0
回答已采纳
我在寻找一些真正的帮助。我想要使用Python进行web抓取，我需要它，因为我想导入一些数据库，我们如何在Python中做到这一点。我们需要什么样的库？
浏览 2提问于2016-02-11得票数 0
我有一个python爬虫，每隔几分钟就抓取几个网页。我现在正在尝试实现一个可以通过web访问的用户界面，并显示爬虫获得的数据。我将使用php/html作为接口。无论如何，用户界面需要某种类型的按钮来触发爬虫程序立即抓取特定的网站(而不是等待下一次抓取迭代)。
现在，有没有一种方法可以将数据从php脚本发送到正在运行的python脚本？我在考虑标准输入/输出，但找不到一种方法可以做到这一点(从一个进程写入另一个进程stdin)。然后我在考虑使用一个共享文件，php在其中写入数据，python从中读取数据。但是，我需要一些方法来让python脚本知道，新数据已经写入文件，以及让php脚本知道爬虫何
浏览 1提问于2011-03-31得票数 1
1回答
我需要报废约40个随机网页在相同的time.These页面不同于每个请求。我使用python中的rpcs来获取urls，并使用BeautifulSoup抓取数据。删除所有数据并在屏幕上显示大约需要25秒。
为了提高速度，我将数据存储在appengine数据存储中，以便每个数据只被抓取一次，并且可以从那里快速访问。
但问题是->随着数据存储中数据大小的增加，从数据存储获取数据的时间太长(比抓取更多)。
我应该使用memcache还是shift to mysql？mysql比gae-datastore快吗？或者，有没有其他更好的方法来尽可能快地获取数据？
浏览 2提问于2013-04-19得票数 0
我正在使用Python的Visual Studio。我想安装用于web抓取的Beatifulsoup。作为解释器安装的Python 3.4。
我安装了BS，但不能工作。你能帮我在Visual Studio中使用Beatifulsoup吗？
我执行了下面的代码，得到了"no module named bs4“错误。谢谢
from urllib.request import urlopen
from bs4 import BeautifulSoup
html = urlopen("http://www.pythonscraping.com/pages/page1.html"
浏览 21提问于2017-01-10得票数 0
在我的Scrapy项目中，我使用PyMongo将抓取的数据存储在MongoDB中。在以逐页的方式抓取网页时有重复的记录，我只想删除那些在插入到数据库中时具有相同名称的重复记录。请给我推荐最好的解决方案。下面是我用"pipelines.py"编写的代码。请指导我如何去除"process_item"方法中的重复项。我发现在互联网上很少有从数据库中删除重复项的查询，但我想要一个Python解决方案。
from pymongo import MongoClient
from scrapy.conf import settings
class MongoDBPipelin
浏览 13提问于2018-08-21得票数 1
好日子，这应该是相当直截了当的，但我的谷歌和实验是行不通的。
我在python中有一个抓取脚本，它使用Selenium/geckodriver/Firefox，运行在Ubuntu 18服务器上。有时，它不能正确关闭，Selenium会崩溃，但它会让许多Web Content进程处于打开状态。如果不关闭，它们会耗尽所有内存，然后selenium就不能打开，脚本也会失败。
如果我从命令行：pkill 'Web Content'运行，它将杀死这些进程并释放内存。
在我的python脚本中，我使用subprocess模块尝试并在Selenium崩溃时自动化。我尝试了许多选择，包括：
浏览 5提问于2020-10-09得票数 2
回答已采纳
4回答
我想在我的Linux桌面上抓取一个已知坐标的像素的颜色。
到目前为止，我一直使用"import -window SomeWindow -crop 1x1+X+Y /tmp/grab.jpg"，然后使用Python和提取像素值。
这样做是可行的，但是由于import在裁剪之前会抓取整个窗口，所以速度非常慢:(
有没有什么聪明的方法来获取只有一个像素的颜色？我知道相对坐标(窗口)和绝对坐标。
Python或shell脚本会更好，但如果您知道一些聪明的C/函数，也请让我知道:)
浏览 2提问于2009-10-22得票数 8
回答已采纳
1回答
获取PayPal事务列表
、、、、
我需要一个程序来检索我的PayPal帐户上的交易列表。我尝试了一些Python脚本，例如使用requests模块简单地使用GET/POST登录到PayPal，并从下载HTML (显示最新的事务)，但不幸的是PayPal阻止了web抓取(验证码)，所以我没有找到解决方案。有一个"TransactionSearch“接口()，但是事务在那里至少延迟了3小时(最多48小时)……是否有可能使用PayPal应用程序接口获得我的PayPal交易的实时版本(如其网站上所示)？
浏览 0提问于2019-11-01得票数 1
我有一个很长的Python tuple t。我想尽可能高效地从t抓取索引i1，i2，...，iN的元素。最好的方法是什么？
一种方法是：
(1) result = [t[j] for j in (i1, i2, ..., iN)]
但这似乎会导致N个单独的元组查找。有没有更快的方法？当Python像这样做切片时：
(2) result = t[1:M:3]
我假设它不执行M/3单独的查找。(也许它使用位掩码并执行单个复制操作？)有没有办法让我利用Python在(2)中所做的任何事情，使我的任意索引片在一个副本中发生？
谢谢。
浏览 2提问于2011-08-31得票数 4
回答已采纳
1回答
这是一个有点牵强的话题，但我发现自己经常浏览齿轮网站(如，齿轮巡逻和开箱)的生日和礼物想法。我发现点击每一篇文章寻找在我的价格范围内或在我的价格范围内的项目&&我正在寻找的项目的类别，是很麻烦的。
我知道我可以去亚马逊，为我正在寻找的项目设置特定的过滤器，但我喜欢从已知的提供高质量产品推荐的网站收到建议。
从数据挖掘/ web抓取的角度来看，有没有人知道任何在线教程的资源，为类似的产品提供指导？
R或Python更适合web抓取应用程序吗？
如果你对我的想法有任何见解，我们将不胜感激:)
浏览 0提问于2016-05-17得票数 0
回答已采纳
描述：
我正在设计一个web抓取应用程序，它接收用户输入(主要是带有item_id的urls )，将其输送到我的web抓取脚本中，将从网页中抓取的数据保存到数据库中。我使用的是烧瓶、python和mysql。
问题：
现在，用户可以在csv中使用item_id上传一些url，然后想要更改一些url，原因是他们可能会发现项目和它的url之间不匹配，在这种情况下，我提供了一个item_id和url的web表单，作为最终用户上传他们的新url与其item_id的输入。
问题是，当用户一开始上传一个大的csv文件时，我会启动一个线程来在输入上运行web抓取脚本，并将刮过的数据保存在数据库中，这需要花费
浏览 0提问于2016-12-20得票数 0
回答已采纳
我正在用Python编写一个web抓取应用程序。我正在抓取的网站有www.someurl.com/getPage?id=x表单的urls，其中x是标识页面的编号。现在，我正在使用urlretrieve下载所有页面
下面是我的脚本的基本形式：
for i in range(1,1001):
urlretrieve('http://someurl.com/getPage?id='+str(i) , str(i)+".html)
现在，我的问题是-可以同时下载网页吗？因为，在这里，我阻塞了脚本，等待页面下载。我可以要求Python打开多个到服务器的连接吗？
浏览 14提问于2015-05-18得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
云直播活动推荐
腾讯云开发者
