首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

如果不返回,urllib.request.urlretrieve会做什么?

如果不返回,urllib.request.urlretrieve函数会继续尝试下载指定的URL资源,直到下载完成或发生错误。该函数会将下载的文件保存到本地,并返回一个包含文件路径和HTTP响应信息的元组。如果不返回,可能是由于网络连接问题、URL无效或服务器无法响应等原因导致下载失败。在这种情况下,可以通过捕获异常来处理错误,并根据具体情况进行相应的处理,例如重新尝试下载或记录错误日志。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

Python 爬虫进阶篇-4行代码实现爬取指定网站中的全部图片,深入剖析

我们了解到了urllib获取图片的原理,urllib.request.urlretrieve()就是用来获取图片的。 这一篇,我们用正则表达式匹配出指定网站的所有图片,然后都下载下来。...,html) # 第三行 在html中匹配出符合条件的字符串 x=0 for imgurl in imglist: # 遍历图片地址列表 urllib.request.urlretrieve(...imgurl,'pic%s.jpg' %x) # 第四行 获取图片并保存 x=x+1 注:可以分别用print打印出page、html、imglist、imgurl,这样可以让你更清楚每一步在做什么...,产生了什么。...注:如果网站地址中包含中文会报错,这个会在后期讲解中做处理。 注:如果某些网站没有效果可能是做了反爬虫处理,或者它展示图片的原理不是常规的img加src网址。 如下是我们要实战的网站: ?

88710
  • python爬虫--看看虎牙女主播中谁颜值最高

    这其中有两种文件的下载方式,一种是通过 with open打开文件的方式 ,另外一种就是通过 urllib.request.urlretrieve(data,path) 的方法,网上说第二种方式的下载速度会相对快一点...software/python/python爬虫/虎牙颜值主播排名/", 'wb') as f: f.write(data[0]) #第二种下载方式 urllib.request.urlretrieve...之后我们就是调用接口解析图片,因为我们需要返回颜值分数这一个参数,所以还需要带参数进行请求,否则无法将分数信息返回给我们。如下图: ? ?...data=base64.b64encode(file.read()) image=data.decode() imageType = "BASE64" """ 如果有可选参数...如果什么疑问或者想要源码的话,可以私聊博主哦。

    80330

    让Python自动下载网站所有文件

    思路:由于目录的深度固定,也不可能穷举,且每一个目录的处理方式和子目录父目录的处理流程都是一样的,因此我们可以使用递归来下载所有文件。...总体思路: 1、给定一个 url,判断是否是文件,如果是文件,下载即可,然后函数结束。 2、如果给定 url 不是文件,那么访问该 url,并获取它下面的所有链接。...然后使用 urllib.request.urlretrieve 来下载文件。...if os.path.exists(dirname): pass else: os.makedirs(dirname, exist_ok=True) urllib.request.urlretrieve...= '../'] return urls 这里有个小坑,就是网站有个链接是返回上级页面的,url 的后辍是 '../' 这样的链接要去掉,否则递归函数就限入了死循环。

    4.2K41

    python爬虫--不限平台歌曲下载(收费也可)

    如果直接通过QQ音乐等音乐网站爬的话,难度极大,毕竟腾讯他们也不是傻子,肯定是做好了一系列的反扒机制的。既然这样,那我们就要选择放弃了吗?经过百度,博主终于搜到了一个网站。...虽然我们不能直接刚QQ音乐,但是我们刚这种网站还是没什么问题的 2.分析网页结构 首先按照惯例先分析网页结构 ? 其实这里我们的工作就已经完成了,如果只想下载这一首七里香的话。...请求到网页之后我们看我们获得信息到底是什么样的 ? 3.代码实现 3.1请求网页 既然这样大致的过程我们已经懂了,接下来我们就来实现。 首先我们先将整个网页的请求信息拿下来。...response=requests.get(url,headers=headers) print(response.content.decode('utf-8')) 但是我们发现这样请求之后却返回了这样的一个信息...都看到这里了,如果觉得对你有帮助的话,可以关注博主的公众号,新人up需要你的支持。 如果什么疑问或者想要源码的话,可以私聊博主哦。

    6.7K30

    python爬虫爬图片教程_爬虫爬取图片的代码

    str(len(youngerSister_url)) + "份图集") os.system('cls') 具体原理大概就这样 接下来只用把每一页的图集都遍历一遍,并且用 urllib.request.urlretrieve...循环图片次数遍 jpg_name = num_url + "_"+ str(link + 1) + ".jpg" #图片名 if not(jpg_name in file_names): #文件如果存在就跳过...link + 1) + ".jpg" html_head = requests.head(p_url) # 用head方法去请求资源头 re_code = html_head.status_code #返回请求值...print(p_url) print("进度" + str(link + 1) + "/" + str(p_num)) if re_code == 200: urllib.request.urlretrieve...本站仅提供信息存储空间服务,拥有所有权,承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

    89840

    不骗你,步步案例,教你一文搞定python爬虫

    11)雪球等财经类网站:抓取雪球KOL或者高回报用户的行为,找出推荐股票 12)58同城二手车、易车等汽车类网站:什么品牌或者型号的二手车残值高?更保值?反之,什么类型的贬值较快?...等下载时保存的数据 urllib.request.urlcleanup() #3)爬取页面数据 file= urllib.request.urlopen("http://www.hellobi.com") #4)返回当环境的信息...由于网络速度或者对方服务器的问题,我们爬取一个网页的时候,都需要设置时间,我们访问一个网页,如果该网页长时间未响应,那么我们的系统就会判断该网页超时了,即无法打开该网页。...如果要替代,必须要判断是否有状态码属性。...我们可以试试爬取csdn博客,我们发现会返回403,因为对方服务器会对爬虫进行屏蔽。此时我们需要伪装成浏览器才能爬取。 浏览器伪装我们一般通过报头进行,接下来我们通过实战分析一下。 #!

    55220

    爬虫入门到放弃05:从程序模块设计到代理池

    在第三篇中讲过为什么需要代理IP,因为很多网站是通过请求频率来识别爬虫,即记录一个IP在一段时间内的请求次数,所以可以通过更换代理IP来提高爬取效率。 概念 什么是代理IP池?...ip表中有数据,则进行判断,没有则返回空 if ip: judge = self.judge_ip(ip[0]) # 如果ip可用直接将其放回...如果数据库没有可用IP,则表示不使用代理,返回空;如果有IP,则进入下一步 对IP进行有效性验证。...如果IP无效,删除IP并重复第一步;如果IP有效,则返回IP 使用 代理池最终的目的还是「提供有效代理IP」。...如果想爬取整个网站,首先必须确定一个「网站入口」,即爬虫程序第一个访问的url。然后接着对返回的网页进行解析,获取数据或者获取下一层url继续请求。

    33810

    Python函数开发的四条原则

    return [表达式] 结束函数,选择性地返回一个值给调用方,不带表达式的 return 相当于返回 None。...image.png 不定长参数 函数更多地使用场景是根据动态的输入返回动态的结果,这样入参必须是变量。...如果在函数调用时没有指定参数,它就是一个空元组。...案例嘛,就翻翻github,捞一下我几年前刚学python那会写的代码,看看会不会有什么意外收获。 image.png image.png 这个函数实现了自动根据播单id,下载MP3音频的功能。...例如本案例,后面要求将下载的音频按类目保存到不同的文件夹下面,那么这样就必须根据MP3的地址动态选择要存放的文件夹,所以函数入参就必须增加一个目录的参数,试想,如果在本代码上改动,影响范围有多大呢?

    38030

    Python爬虫抓取指定网页图片代码实例

    想要爬取指定网页中的图片主要需要以下三个步骤: (1)指定网站链接,抓取该网站的源代码(如果使用google浏览器就是按下鼠标右键 – Inspect- Elements 中的 html 内容) (...html 内容字符串 # 第一个简单的爬取图片的程序 import urllib.request # python自带的爬操作url的库 import re # 正则表达式 # 该方法传入url,返回.../image/%d.png' % x # 下载图片并且保存到指定文件夹中 urllib.request.urlretrieve(imageUrl[0], image_save_path...BeautifulSoup是python处理HTML/XML的函数库,是Python内置的网页分析工具 import urllib # python自带的爬操作url的库 # 该方法传入url,返回.../image/%d.png' % x # 下载图片并且保存到指定文件夹中 urllib.request.urlretrieve(image_url, image_save_path)

    5.4K20

    爬虫 爬ooxx图 嘿嘿

    max_error_times: print('失败次数达%d次......放弃操作' % max_error_times) return None error_time += 1 if is_retrieve: return urllib.request.urlretrieve...html.index(']',find_start+1) return int(html[find_start:find_end]) test = None def get_pic(page): #生成器,返回一个图片链接...create_localhost() download() Jetbrains全家桶1年46,售后保障稳定 在这里还是要推荐下我自己建的 Python学习群:721195303,群里都是学Python的,如果你想学或者正在学习...**以下内容无用,为本篇博客被搜索引擎抓取使用 (* ̄︶ ̄)(* ̄︶ ̄)(* ̄︶ ̄)(* ̄︶ ̄)(* ̄︶ ̄)(* ̄︶ ̄)(* ̄︶ ̄)(* ̄︶ ̄) python 是干什么的 零基础学 python 要多久...本站仅提供信息存储空间服务,拥有所有权,承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

    28420

    一款Google抓图神器,它与Python批量抓取图片的原理一模一样

    为此,我们作为这个时代科技创新和技术研发中的一员,要时刻遵守互联网法律法规,做好自己的本职工作,多多为社会做出力所能及的贡献。...下面简单介绍一下该插件的使用方法,安装插件之后记得选择你存放文件的地方,并在Google设置下的下载询问访问关闭 (不然每次都要按保存,非常麻烦,如果有100张图片你肯定会按100次) ?...requests提取图片组件 抓取思路与库文件requests的使用 可以发现图片src存在于img标签下,于是用 Python 的 requests提取该组件,从而获取img的src,然后使用库 urllib.request.urlretrieve...类似开始抓取第一步中的“注”我们找到位置: F12——>>Network——>>XHR——>>(点击XHR下的文件)——>>Preview (注:如果没有发现Preview里的内容可滚动左边地址栏或点击图片链接...urllib.request.urlretrieve(img_url,path+str(m)+'.jpg') m = m + 1 print('Download complete

    5.1K20

    你还在付费爱奇艺VIP?神级程序员教你用Python任意下!

    我相信如果看电影的都知道,不管是爱奇艺还是腾讯视频还是优酷很多的电影电视都是需要VIP的,但是为了看这么一个电视或者电影开个vip又不是很划算,小编今天教大家如何利用Python来下载VIP的视频,这个方法还是挺实用的...我们先看第一个请求返回的信息。 ? 可以看到第一个请求是GET请求,没有什么有用的信息,继续看下一条。 ?...我们看到,第二条GET请求地址变了,并且在返回的信息中,我们看到,这个网页执行了一个POST请求。POST请求是啥呢?...记住这个有用的信息,我们在抓包结果中,找一下这个请求,看看这个POST请求做了什么。 ? ? 这里面存放的是什么东西?不会视频解析后的地址吧?我们有浏览器打开这个地址看一下: ?...根据视频地址,使用 urllib.request.urlretrieve() 即可将视频下载下来。编写代码如下: ? ? ?

    2K40
    领券