pandas并行urllib循环请求
是指利用Python的pandas库和urllib库来实现并行化的循环请求操作。
- pandas库是一个强大的数据分析工具，提供了高效的数据结构和数据分析功能。它可以处理大规模数据集，并提供了丰富的数据操作和转换方法。
- urllib库是Python的标准库之一，用于发送HTTP请求和处理URL。它提供了一系列的模块和函数，可以方便地进行网络通信和数据获取。
在进行并行化的循环请求时，可以按照以下步骤进行操作：
- 导入所需的库和模块：import pandas as pd import urllib.request from concurrent.futures import ThreadPoolExecutor
- 创建一个包含请求URL的数据集：urls = pd.DataFrame({'url': ['url1', 'url2', 'url3', ...]})
- 定义一个函数，用于发送HTTP请求并处理响应：def request_url(url): response = urllib.request.urlopen(url) # 处理响应数据的逻辑 return response.read()
- 利用ThreadPoolExecutor类实现并行化的循环请求：with ThreadPoolExecutor() as executor: results = executor.map(request_url, urls['url'])
- 处理并行请求的结果：for result in results: # 处理每个请求的结果数据
在这个过程中，pandas库用于创建和管理请求URL的数据集，urllib库用于发送HTTP请求和处理响应，ThreadPoolExecutor类实现了并行化的循环请求操作。
这种并行化的循环请求适用于需要大量请求URL并处理响应数据的场景，可以提高请求的效率和响应的处理速度。
腾讯云相关产品推荐：
- 云服务器（Elastic Cloud Server，ECS）：提供安全、稳定、灵活的云服务器实例，可满足不同规模和需求的应用场景。产品介绍链接：https://cloud.tencent.com/product/cvm
- 云数据库MySQL版（TencentDB for MySQL）：提供高性能、可扩展的云数据库服务，适用于各种规模的应用和业务。产品介绍链接：https://cloud.tencent.com/product/cdb_mysql
- 人工智能平台（AI Lab）：提供丰富的人工智能开发工具和服务，包括图像识别、语音识别、自然语言处理等功能。产品介绍链接：https://cloud.tencent.com/product/ailab
- 云存储（对象存储COS）：提供安全、可靠的云存储服务，适用于存储和管理各种类型的数据。产品介绍链接：https://cloud.tencent.com/product/cos
相关·内容
我正在尝试使用Python3中的urllib将pandas列中的短urls转换为实际的urls。可能存在无法在浏览器中打开的无效urls。在这种情况下，我想跳过它们，继续其余部分。
我尝试使用lambda，但它抛出了bad gateway、no name found等错误。如果发生任何错误，try-except将不会返回任何内容。另外，我试过for loop，但花了一个多小时。
try:
df['url2'] = df['url'].apply(lambda x: urllib.request.urlopen(x).geturl())
except:
浏览 0提问于2019-03-29得票数 0
import csv
import numpy as np
import pandas as pd
import urllib.request
import time
x = urllib.request.urlopen("https://forex.1forge.com/1.0.3/quotes?pairs=EURUSD,EURJPY,GBPUSD,USDCAD,GBPJPY,USDJPY,AUDUSD,&api_key=KEY")
df = pd.read_csv(x,header=None, sep=',',
infer_datetime_
浏览 0提问于2018-11-01得票数 0
回答已采纳
我有一个包含位置数据的数据框，比如“洛杉矶，CA”。 目标是遍历该列的所有条目，并将long和lat保存在新列中。欢迎任何意见或建议！ 我试着使用一个单一的值，它起作用了。 from geopy.geocoders import Nominatim
geolocator = Nominatim(user_agent="xxx")
location=geolocator.geocode(df['Location'][1])
print(location.longitude)
print(location.latitude) -117.8704931 33.750
浏览 21提问于2019-03-16得票数 0
回答已采纳
我正在尝试将嵌套的JSON数据转换为pandas数据帧。我知道这里有很多关于这方面的资料，但我似乎仍然不能让它工作。如您所见，我创建了一个数据帧，目的是只获取某些数据(卧室、价格、大小、经度、纬度)。
任何帮助都是非常感谢的。
代码如下：
import json
import requests
import datetime
import pandas as pd
from pandas.io.json import json_normalize
from urllib.request import urlopen
import json
import urllib.request, json
浏览 0提问于2017-11-26得票数 2
我得到了一个HTTPError:在使用熊猫read_csv时没有发现错误。
在浏览器中键入链接，我可以访问CSV，使用read_csv时它会返回HTTP，因此我知道文件和url存在。
以前，这段代码是工作的，但是在更改python版本之后，它停止了。我觉得这与创建URL / URL请求有关，但无法确定。
熊猫1.2.5，Python 3.9.12
import pandas as pd
url= r'http://fc3eqrp01:8000/data/SimulationOutputFilesNewModel_ShortTerm/s2outs.csv'
df = pd.re
浏览 4提问于2022-06-07得票数 0
import urllib.request as urllib2 #To query website
from bs4 import BeautifulSoup #To parse website
import pandas as pd
#specify the url and open
url3 = 'http://www.thatscricket.com/ipl/2014/results/index.html'
req = urllib2.urlopen(url3)
soup = BeautifulSoup(req,"html5lib
浏览 0提问于2016-11-05得票数 0
2回答
我有一个包含3列的excel文件: id、url1和url2。url1和url2都包含图像的URL。
如何获得图像并粘贴到WORD和PDF中的表格格式？有3列: id、来自url1的图像和来自url2的图像。
import pandas as pd
import urllib
from docx import Document
from docx.shared import Inches
df = pd.read_excel('data.xlsx')
document = Document()
p = document.add_paragraph()
r = p.add_ru
浏览 0提问于2018-01-19得票数 0
我是Python的新手，我想知道Http请求是同步的还是异步的？我需要实现回调吗？
我使用的是urllib2模块，语法如下：
content = urllib2.urlopen(urlnew).read()
在我的服务器上有超过30,000条记录，每条记录都会有一个http调用，接收到的响应将被存储起来。
感谢您的帮助。
浏览 0提问于2015-04-10得票数 3
回答已采纳
因此，在使用urllib时，我得到了这个错误，下面是完整的回溯：
Traceback (most recent call last):
File "C:\Users\user\Desktop\Dads project\Word search tool.py", line
148, in <module>
print_absolute_counts(line.strip('\n'), 'english', smoothing=0,
start_year=1799, end_year=1801)
File "C:\Us
浏览 5提问于2018-06-20得票数 0
1回答
使用多线程来提高web抓取的速度
、、、、
我有点困难。
存在一个格式为：的url
如您所见，查询中有一个惟一的标识符(在本例中，UID = 123456789)。我编写的脚本将为x= 123456789的页面提取所有需要的信息。我还将脚本放入一个循环中，它会将UID的计数加1(见下文)。只有大约4%的UID有数据，但我无法识别哪些UID包含数据(我尝试生成xml站点地图，但没有太多运气-继续得到“站点不可索引”)。
现有的代码可以工作，问题是这种方法会花费太长的时间。我做了一些快速计算，(理论上)需要数年时间来检查0到5400万之间的每个did (我已经浏览了该站点，发现did高达5300万)。
在我看来有几个选择: 1.多线程/池化
浏览 0提问于2018-10-20得票数 1
我想通过爬行找到URL列表中是否存在特定的链接。我已经写了下面的程序，它工作得很好。然而，我被困在两个地方。
不是使用数组，而是如何从文本文件中调用链接。
爬虫需要近4分钟才能在100个网页上爬行。
有什么办法能让我更快。
from bs4 import BeautifulSoup, SoupStrainer
import urllib2
import re
import threading
start = time.time()
#Links I want to find
url = "example.com/one", "example.com/t
浏览 1提问于2015-09-06得票数 0
回答已采纳
我正在尝试读取可通过url访问的excel表，并将其加载到DataFrame中。 我是这样使用pd.read_excel的： url = "https://www.recope.go.cr/wp-content/uploads/2020/09/PRECIOS-HIST%C3%93RICOS-CONSUMIDOR-FINAL-1-2.xls"
df = pd.read_excel(url,header=[2,3,4],nrows=347) 我得到了： Traceback (most recent call last):
File "/usr/local/lib/py
浏览 177提问于2021-02-05得票数 0
1回答
我有一个大约50k图像的数据集，我必须从URL获取这些图像，将它们转换为一个数组，并在我的机器学习算法中使用它们。
下面是我获取图像的代码。
import requests
from io import BytesIO
from PIL import Image,ImageFile
import validators
import urllib, cStringIO,urllib2
def get_pixel(img_path):
ImageFile.LOAD_TRUNCATED_IMAGES = T
浏览 0提问于2018-02-25得票数 0
1回答
我使用python同时请求多个请求的web服务。为此，我创建线程并使用urllib (第一个版本，我使用python2.6)。当我启动线程时，一切都很顺利，直到一个线程到达ulllib.urlopen()。第二个线程必须等到第一个线程结束后才能传递ulllib.urlopen()函数。因为我在从远程web服务检索Json之后做了很多工作，所以我希望第二个线程在同一时间或者在第一个线程关闭套接字之后"urlopen“。
在收集完返回的JSON之后，我尝试关闭打开的套接字，但没有任何变化。第二个线程必须等待第一个线程结束。看看我用的是指纹。
我可以理解urllib不是线程安全的(googl
浏览 1提问于2011-07-16得票数 1
回答已采纳
我想从具有相似页面结构的多个页面中提取一些信息。页面的所有URL都保存在一个file.txt中(一行中的每个URL)。我已经创建了代码来从一个链接中抓取所有数据(它可以工作)。
但我不知道如何创建一个循环来遍历txt文件中的所有URL列表，并刮取所有数据。
from bs4 import BeautifulSoup
from urllib.request import urlopen
import requests
import pandas as pd
import numpy as np
import json
import matplotlib.pyplot as plt
from bs
浏览 8提问于2021-10-06得票数 1
回答已采纳
我正在尝试使用以下代码获取ArXiv接口： import urllib.request
import pandas as pd
import xml.etree.ElementTree as ET
OAI = "{http://www.openarchives.org/OAI/2.0/}"
ARXIV = "{http://arxiv.org/OAI/arXiv/}"
def harvest(arxiv):
df = pd.DataFrame(columns=("title", "abstract", "ca
浏览 23提问于2019-02-24得票数 0
回答已采纳
我试着打开
## all imports
from IPython.display import HTML
import numpy as np
import urllib.request, urllib.error
import bs4 #this is beautiful soup
import time
import operator
import socket
import pickle
import re # regular expressions
from pandas import Series
import pandas as pd
from pandas import Da
浏览 2提问于2016-10-18得票数 0
1回答
熊猫与多加工
、、
我使用FCC api将lat/long坐标转换为块组代码：
import pandas as pd
import numpy as np
import urllib
import time
import json
# getup, getup1, and getup2 make up the url to the api
getup = 'http://data.fcc.gov/api/block/find?format=json&latitude='
getup1 = '&longitude='
getup2 = '&sh
浏览 4提问于2017-10-04得票数 0
回答已采纳
1回答
我正在尝试访问上提供的“收益率曲线数据”。它有一个单选按钮，点击“提交”后，结果在一个压缩文件，我希望从中获得数据。我希望从“检索所有数据”选项中获得数据。我的代码如下所示，从语句print result.read()中，我意识到result实际上是一个HTML文档。我的困难在于理解如何从result中提取数据，因为我在其中看不到任何数据。我对从这里到哪里去感到困惑。
import urllib, urllib2
import csv
from StringIO import StringIO
import pandas as pd
import os
from zipfile import
浏览 0提问于2015-06-18得票数 1
2回答
我有一个带有2M+文件链接的列表，并想下载它们。我目前的方法是使用urllib.urlretrieve，但它是按顺序进行的，而且非常慢。我怎么能加快速度？是否有可能以异步方式(以及如何)这样做？
浏览 1提问于2015-08-25得票数 0
回答已采纳
我试图通过网站使用pandas.read_html()函数从各种html表中抓取英文足球数据。
示例：
import pandas as pd
url = r'http://www.transfermarkt.co.uk/en/premier-league/gegentorminuten/wettbewerb_GB1.html'
df = pd.read_html(url)
但是，这段代码会生成一个"ValueError:无效URL"错误。
然后，我尝试使用urllib2.urlopen()函数解析同一个网站。这一次，我得到了一个"HTTPError:
浏览 0提问于2013-09-22得票数 4
回答已采纳
1回答
--我试图查询从bigquery到python的数据，但我遇到了一些问题。这是主要代码:
from google.oauth2 import service_account
import pandas_gbq
credentials = service_account.Credentials.from_service_account_info(
{
[I can't write the details here but they are correct]
{
*******
})
project_id =******
df = pandas_gbq.read_gbq('SELE
浏览 1提问于2019-12-22得票数 1
我是Python和多线程的新手，所以请耐心听我说。
我正在写一个脚本，通过Web of Trust来处理列表中的域名，这是一项服务，根据“可信度”对网站进行从1到100的排名，并将它们写入CSV。不幸的是，Web of Trust的服务器可能需要相当长的时间才能响应，并且处理10万个域可能需要几个小时。
到目前为止，我对多线程的尝试是令人失望的--尝试从修改脚本时出现了线程错误，我相信是因为一些线程花了太长的时间来解决。
这是我未经修改的脚本。有没有人能帮我多线程，或者给我介绍一个好的多线程资源？提前谢谢。
import urllib
import re
text = open("t
浏览 0提问于2010-06-26得票数 1
回答已采纳
3回答
我在Windows机器上使用python2.7。我有一个带有数据和头的urls数组，所以需要POST方法。在简单的执行中，它工作得很好：
rescodeinvalid =[]
success = []
for i in range(0,len(HostArray)):
data = urllib.urlencode(post_data)
req = urllib2.Request(HostArray[i], data)
response = urllib2.urlopen(req)
rescode=response
浏览 4提问于2014-02-09得票数 0
回答已采纳
所以我正在尝试编写一个使用url下载图片的脚本，这个脚本的问题是它给出了这个错误：
Traceback (most recent call last):
File "C:\Users\My PC\AppData\Roaming\JetBrains\PyCharmCE2020.3\scratches\scratch_1.py", line 17, in <module>
url_to_jpg(i,url[0],FILE_PATH)
File "C:\Users\My PC\AppData\Roaming\JetBrains\PyCharmCE2
浏览 1提问于2020-12-23得票数 0
2回答
我想要做的是使用Beautifulsoup从Google专利档案下载每个压缩文件。下面是我到目前为止编写的代码。但似乎我在将文件下载到桌面上的目录时遇到了困难。任何帮助都将不胜感激。
from bs4 import BeautifulSoup
import urllib2
import re
import pandas as pd
url = 'http://www.google.com/googlebooks/uspto-patents-grants.html'
site = urllib2.urlopen(url)
html = site.read()
soup =
浏览 10提问于2015-04-23得票数 1
回答已采纳
我试图进行批量搜索，查看字符串列表并打印google搜索返回的第一个地址：
#!/usr/bin/python
import json
import urllib
import time
import pandas as pd
df = pd.read_csv("test.csv")
saved_column = df.Name #you can also use df['column_name']
for name in saved_column:
query = urllib.urlencode({'q': name})
url
浏览 2提问于2014-02-19得票数 0
回答已采纳
1回答
Python & Coding在这里(学习了3天)，所以请对我轻松一点！
我有一个脚本来抓取网站，并希望将提取的数据放在.csv工作表中的两个单独的列中。
刮擦脚本运行良好，并给出了日期列表；我现在希望将该列表放在.csv工作表中的两个单独列中，但是，我所做的脚本只是将两个列表放到一个列中
我不只是想复制这个列，因为以后(当我计算出我想要实现的目标时)它将是一个单独的列表，所以它将是两个单独的列，具有唯一的数据
提前谢谢你！
import urllib
import urllib.request
from bs4 import BeautifulSoup
import pandas
浏览 2提问于2017-07-26得票数 1
回答已采纳
1回答
我是一名实习记者，是python的新手。我一直在尝试找出如何使用for循环从我的大学每日犯罪记录的所有当前页面中抓取每个人的犯罪记录。然而，它只是抓取了第一页。我一直在看别人的代码和问题，并不能真正弄清楚我遗漏了什么。感谢您的帮助。
import urllib.request
import requests
import csv
import bs4
import numpy as np
import pandas as pd
from pandas import DataFrame
for num in range(27): #Number of pagers plus
浏览 5提问于2017-03-17得票数 0
我有这个Python脚本，它运行得很好，但似乎Pandas或Openpyxl或requests有不同的版本，使得代码不再工作。我提取的Excel文件看起来和以前一样，我已经验证了我使用浏览器获得了一个有效的文件。我正在做的是获得一个cookie，并使用带有cookie的请求库打开link_a (这是一个到Excel文件的URL )，然后通过传递获取的文件的内容来创建一个数据文件。也许有更好的方法可以做到这一点。
requests.packages.urllib3.disable_warnings()
excel_a = requests.get(link_a, verify=False, co
浏览 3提问于2021-09-03得票数 0
回答已采纳
我正在尝试导入Json API的URL，但收到错误消息： ---------------------------------------------------------------------------
NameError Traceback (most recent call last)
<ipython-input-18-5f40dac6d9a4> in <module>
1 # get data from the API
2 url = 'https://adm
浏览 40提问于2021-01-05得票数 2
回答已采纳
1回答
如何将http响应划分为块？
、、、、
我正在尝试使用python创建一个多线程下载程序。假设我有一个链接到一个大小为100 it的视频，我想使用5个线程下载它，每个线程同时下载20 it。为此，我必须将初始响应分成5部分，它们代表文件的不同部分(比如0-20 60、20-40 60、40-60 60、60-80 60、80-100 60)，我搜索并发现http范围标头可能有帮助。这是示例代码
from urllib.request import urlopen,Request
url= some video url
header = {'Range':'bytes=%d-%d' % (5000,10
浏览 4提问于2016-09-22得票数 4
我想用不同的?get变量(x1，.，xn)迭代一个url请求列表。
from urllib2 import urlopen, Request
import pandas as pd
var=[x[0],...,x[n]]
url_list=['http://BLAH/get?var[0]&fmt=csv','http://BLAH/get?var[1]&fmt=csv',... ...,'http://BLAH/get?var[n]&fmt=csv']
j=0
while j < len(url_lis
浏览 0提问于2015-07-29得票数 0
回答已采纳
1回答
我正在对我的python代码做一些分析。我正在使用异步api进行rpc调用
async def rpc_call():
return client.call(params) // makes rpc calls over tcp
async def test():
await rpc_call()
start = time.time()
loop = asyncio.get_event_loop()
tasks = []
for i in range(10000):
tasks.append(asyncio.ensure_future(test()))
pri
浏览 0提问于2018-04-22得票数 1
1回答
我正在尝试将维基百科表保存到平面文件中。页面上有五个表，但只有最后一个是由我的代码选择的。在尝试将数据写入文件时，我得到以下错误：
IndexError:元组索引超出范围
from bs4 import BeautifulSoup
import pandas as pd
from pandas import DataFrame
import urllib.request as urr
import os
import codecs
import csv
wiki = "https://en.wikipedia.org/wiki/Sixteenth_Legislative_As
浏览 2提问于2017-02-06得票数 0
我正在使用漂亮的汤，我得到标签('a')的url。
现在我的问题是，我不知道如何得到一条特定的线路。
我让用户输入某一行position，以及循环运行countrepeat的次数。这将在代码中实现。
所以我想不出两件事：
如何只获得position行(例如，第3行)。
如何在循环中再次实现该URL，以便它遵循该链接
我的代码im使用：
import urllib.request, urllib.parse, urllib.error
from bs4 import BeautifulSoup
import ssl
# Ignore SSL certificat
浏览 3提问于2017-12-11得票数 0
回答已采纳
3回答
我有一个csv文件，这是我用Google Sheets创建的。它有两列:A列表示文件链接，B列表示名称。我在网站上找到了下面的代码来使用：
import csv
import urllib.request
with open('c:\\links.csv') as csvfile:
reader = csv.reader(csvfile, delimiter=',', quotechar='|')
for row in reader:
fileurl = row[0]
filename = row
浏览 5提问于2017-09-17得票数 0
1回答
获取数据表
、、、
import urllib.request
with urllib.request.urlopen('https://pakstockexchange.com/stock2/index_new.php?section=research&page=show_price_table_new&symbol=ABOT') as response:
html=respnse.read()
import pandas as pd
df=pd.read_html('https://pakstockexchange.com/stock2/index_n
浏览 0提问于2017-02-03得票数 1
回答已采纳
1回答
系统:AnacondaPython3.6.4 x64 on Win 7 x64
我试图在代理后面使用pandas_datareader.data，而不能修改我的Windows。
据我所知，pandas_datareader使用urllib.requests连接到相应的服务提供者。默认情况下，urllib使用一个opener来尝试检测PATH-proxysettings：。
我可以替换opener来强制它使用我指定的代理设置，据我所知，这会在全局级别上修改urllib的行为，而不仅仅是对给定的实例。
我的假设是使用install_opener({.})应该修改pandas_datareader的
浏览 0提问于2018-12-27得票数 1
2回答
我还只是个初学者。这将从URL生成“正确”的数据，但当我尝试生成CSV文件时，生成的Excel文件为空。这是代码..。
import csv
import urllib.request
from bs4 import BeautifulSoup
f = open('dataoutput.csv', 'w', newline = "")
writer = csv.writer(f)
soup = BeautifulSoup(urllib.request.urlopen("https://www.rjobrien.co.uk/tools/
浏览 0提问于2018-03-19得票数 0
当我使用python3.6请求https://etherchain.org/api/difficulty时，我得到了HTTPError:禁忌。有人知道解决办法吗？
import json
from urllib.request import urlopen
from pandas.io.json import json_normalize
r_difficulty_eth =
urlopen('https://etherchain.org/api/difficulty').read().decode('UTF-8')
difficulty_eth_data
浏览 0提问于2017-08-08得票数 0
回答已采纳
我在本地计算机上的Jupyter Notebook中执行分析，并从S3读取数据。当我关闭一个笔记本并打开另一个笔记本以读取另一个文件时，我得到以下错误：
ProtocolError: ("Connection broken: ConnectionResetError(10054, 'An existing connection was forcibly closed by the remote host', None, 10054, None)", ConnectionResetError(10054, 'An existing connection w
浏览 36提问于2019-07-12得票数 1
我使用下面的python程序，当我执行它时，我得到一个HTTP403:禁止的错误。
下面是代码：
import os
import re
from bs4 import BeautifulSoup
#import urllib.request
#from urllib.request import request, urlopen
from urllib import request
import pandas as pd
import numpy as np
import datetime
import time
import openpyxl
for a in range(0,len
浏览 8提问于2021-04-03得票数 0
我有这样的代码。
for p in range(1,1000):
result = False
while result is False:
ret = urllib2.Request('http://server/?'+str(p))
try:
result = process(urllib2.urlopen(ret).read())
except (urllib2.HTTPError, urllib2.URLError):
pass
results.app
浏览 0提问于2010-11-08得票数 13
2回答
我正在尝试从WebMD中提取一些数据，一旦我运行我的代码，我总是得到一个"None“作为返回。知道我做错了什么吗。我有与链接数量相同的返回数量，但我没有得到链接。
import bs4 as bs
import urllib.request
import pandas as pd
source = urllib.request.urlopen('https://messageboards.webmd.com/').read()
soup = bs.BeautifulSoup(source,'lxml')
for url in soup.find_
浏览 19提问于2017-01-18得票数 1
在将一些代码从Pandas迁移到Dask时，我发现通过使用多列调用DataFrame.assign()来修改Dask数据帧与使用多个DataFrame.__setitem__() (也称为dataframe[x]=y)调用来修改它之间存在巨大的性能差异。
使用导入
import pandas, dask, cProfile
对于定义如下的Dask数据帧：
dd = dask.dataframe.from_pandas(pandas.DataFrame({'a':[1]}), npartitions=1)
cProfile.run('for i in range(100)
浏览 3提问于2020-04-16得票数 0
1回答
我想从一个https网站上抓取网页，在那里我必须登录才能获得信息。
下面是我的(第一部分)代码：
import requests
from lxml import html
import urllib2
from bs4 import BeautifulSoup
import unicodecsv as csv
import os
import sys
import io
import time
import datetime
import pandas as pd
import MySQLdb
url = 'https://www.opten.hu/'
values =
浏览 0提问于2017-06-20得票数 2
我正在尝试用这种方式发出一个web请求： import urllib.request, urllib.parse, urllib.error
import ssl
ctx = ssl.create_default_context()
ctx.check_hostname = False
ctx.verify_mode = ssl.CERT_NONE
long = 'https://www.elespectador.com/deportes/futbol-colombiano'
if len(long) < 60:
data_2 = urllib.re
浏览 132提问于2019-01-30得票数 1
回答已采纳
1回答
我试图从以下网站收集公共房地产数据：。我已经解决了第一部分，它使用一个POST请求来搜索给定的街道(本例中主要的St )。
from bs4 import BeautifulSoup
import requests
import urllib, urllib2
streetName = 'main'
suffix = 'st'
url = "http://icare.fairfaxcounty.gov/search/CommonSearch.aspx?mode=ADDRESS"
values = { '__VIEWSTATE
浏览 2提问于2014-01-25得票数 1
1回答
如何跳过死链接并转到下一个链接？
、、、、
我正在尝试让一个程序来工作，我可以输入一个图像URL列表，并自动将它们下载到一个文件夹中。当批处理中的某个地方有死链接时，问题就出现了。显然，我不想进入并手动删除1000+无效链接，所以我只想“跳过”它们。
这是我到目前为止所知道的：
import pandas as pd
import urllib.request
import time
def url_to_jpg(i, url, file_path):
filename = 'image-{}.jpg'.format(i)
full_path = '{}{}'.format(file_p
浏览 18提问于2020-02-08得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
