什么是Urllib库
Urllib是Python内置的HTTP请求库
包含四个模块:
urllib.request 请求模块
urllib.error 异常处理模块
urllib.parse url解析模块
urllib.robotparser robots.txt解析模块
下面我们来一一介绍这些模块相对应的函数:
urlopen()函数
参数:
urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)
常用参数说明:
url: 需要打开的网址
打开浏览器, F12进入开发者模式, 我们就会看到蓝框内的代码和我们请求出的网页代码是相同的。
--------------------------------------------------------------
在使用data参数之前, 我们首先需要知道浏览器发送请求的方法主要有POST和GET两种。
GET请求: 请求的参数都包含在网址内
POSE请求:需要我们登陆账号,或传递其他数据
例如: 当我们打开新浪微博的网址时,用到的就是GET请求
当我们登陆新浪微博账号时, 用到的就是POSE请求
POSE 相比GET, 多了From Data 这个部分, 请求信息包含在此部分,比如个人账号和密码
data:指定要发送给服务器的附加数据的对象,如果不需要此类数据,则为无。
我们用urlopen函数, 将{‘word’:’hello’}这个字典以post的形式传递出去。
一般发送data我们需要用Request()来包装请求,再通过urlopen()获取页面,下节会讲到。
timeout:用来设置网站的访问超时时间。如果在规定的时间内我们没有得到想到的信息,就显示异常。
运行代码就会显示错误,因为代码并没有在0.1s内返回数据。
以上就是urlopen函数的常见用法。
领取专属 10元无门槛券
私享最新 技术干货