首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

python:urllib2如何使用urlopen请求发送cookie

在Python中,使用urllib2库发送带有cookie的请求,可以通过以下步骤实现:

  1. 导入所需的库:import urllib2 import cookielib
  2. 创建一个CookieJar对象,用于存储cookie:cookie = cookielib.CookieJar()
  3. 创建一个HTTPCookieProcessor对象,用于处理cookie:cookie_handler = urllib2.HTTPCookieProcessor(cookie)
  4. 创建一个opener,用于打开网页并处理请求:opener = urllib2.build_opener(cookie_handler)
  5. 定义要发送的cookie:cookie_data = "name=value; Domain=example.com; Path=/" cookie_data2 = "name2=value2; Domain=example.com; Path=/"
  6. 使用urlopen方法发送请求,并将cookie添加到请求头中:request = urllib2.Request("http://example.com") request.add_header("Cookie", cookie_data) request.add_header("Cookie", cookie_data2) response = opener.open(request)
  7. 读取响应内容并打印:print response.read()

完整代码如下:

代码语言:python
代码运行次数:0
复制
import urllib2
import cookielib

cookie = cookielib.CookieJar()
cookie_handler = urllib2.HTTPCookieProcessor(cookie)
opener = urllib2.build_opener(cookie_handler)

cookie_data = "name=value; Domain=example.com; Path=/"
cookie_data2 = "name2=value2; Domain=example.com; Path=/"

request = urllib2.Request("http://example.com")
request.add_header("Cookie", cookie_data)
request.add_header("Cookie", cookie_data2)
response = opener.open(request)

print response.read()

注意:urllib2库已经在Python 3.x中被移除,推荐使用requests库来实现发送带有cookie的请求。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

python接口测试之urllib2的应用(十五)

见客户端发送请求后,服务端响应回复的内容截图: ? 在如上的截图中,我们知道了请求的URL,方法以及请求的参数,下来我们使用urllib2的库来实现一个完整的请求过程和响应内容,见实现的代码: # !.../usr/bin/env python # -*-coding:utf-8-*- import urllib2 import urllib def selCity(): '''使用urllib2...,需要添加header这样服务端,否则服务端会拒绝客户端的请求,那么在urllib2库中,如何添加header了,见如下的案例代码: # !...(request) print r.getcode() print r.read() login() 发送一个request的请求,然后请求资源,在该实例中,如果没有headers,发送请求...的库对cookie的处理,对cookie的处理分为二种方式,一种是自动处理cookie,会使用到cookielib,另外一种是自己设置添加cookie,我们先看自动处理cookie的一种方式,我们模拟请求百度

83730

Python网络爬虫(三)- 爬虫进阶1.爬虫进阶cookielib2.具体代码操作

Python网络爬虫(二)- urllib爬虫案例中,我们都是使用的默认的opener,也就是urlopen。...Cookie,指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据(通常经过加密) cookielib模块的主要作用是提供可存储cookie的对象,以便于与urllib2模块配合使用来访问...Cookielib模块非常强大,我们可以利用本模块的CookieJar类的对象来捕获cookie并在后续连接请求时重新发送,比如可以实现模拟登录功能。...这种方式发送请求得到的结果,和使用urllib2.urlopen()发送HTTP/HTTPS请求得到的结果是一样的。...——代理请求 # -*- coding:utf-8 -*- import urllib import urllib2 #创建一个HTTP处理器对象 #使用免费的代理进行处理器的创建 proxy_handler

69240

爬虫0020:urllib2操作urllib2使用

urllib2使用 目录清单 入门程序了解爬虫采集数据步骤 底层操作Request对象 请求头设置之UserAgent用户代理 请求头设置 用户代理——UserAgent 自定义请求头消息 请求方式之...,封装请求对象 response = urlopen(request) # 发送请求,得到服务器响应数据,存储在变量response中 print(response.read()) # 打印展示响应的数据内容...) # 发送请求获取响应数据 response = urlopen(request) # 打印 展示 响应数据 print response.read() POST请求的处理方式,我们通过有道在线翻译词典的操作来完成...自定义Opener开锁人 在前面的所有操作案例中,都是直接使用urllib2模块的操作函数进行的处理,处理的方式一般都集中在HTTP或者HTTPS请求,那么urllib2.urlopen()底层具体做了什么样的操作呢...# 将忽略验证的环境包含在请求发送 response = urllib2.urlopen(url, context=context) ..

70330

Python爬虫入门知识!

如何他返还你一份 HTML文档,然后浏览器进行文档的渲染,这样,你就看到一份美丽的网页啦 所以,我们只需要模拟浏览器,发送一份请求,获得这份文档,再抽取出我们需要的内容就好 简单爬虫 ---- 我们使用...只不过后面转去了C++,这也说么python对爬虫是得天独厚的 那么,我们来写一个最简单的爬虫: import urllib2 response=urllib.urlopen("http://xxx.com...(request) 我们先伪造了我们请求请求,然后再发送我们的请求,这样做的就好像真的是浏览器发送的一样 但是啊,有时候,我们会遇到一个东西,叫做cookie,如果你熟悉互联网发展时,就会知道,这个是网景公司推出的一种想法...("http://xxx.com") 这样我们就构造了一个cookie发送过去,不过我最近遇到需要cookie的情况比较少,而且真正需要cookie的时候,其实交互还是很多的,单一的构造cookie请求我感觉是不够的...现在我们可以发送cookie了,那么又迎来了另一个问题,我们一直在使用没有参数的访问方法,想象一下,以往我们访问网页,有时是需要输入几个登陆框,或者评论框的,这样我们才能有数据交互 其实这个也很简单,

50530

自学Python四 爬虫基础知识储备

首先,推荐两个关于python爬虫不错的博客:Python爬虫入门教程专栏   和 Python爬虫学习系列教程 。写的都非常不错,我学习到了很多东西!在此,我就我看到的学到的进行总结一下!   ...下面让我们从最简单的爬虫开始: 爬取一个页面源代码 在python中,抓取网页的库是urllib2。...我们来看一下urlopen的用法: 1 >>> help(urllib2.urlopen) 2 Help on function urlopen in module urllib2: 3 4 urlopen...关于cookies我们用到了cookielib,cookielib模块提供可存储cookie的对象,以便于与urllib2配合使用进行网站访问,利用其中的CookieJar类捕获和发送cookie,实现模拟登录...13 print 'Value = '+item.value 14 #利用cookie请求访问另一个网址 15 gradeUrl = 'http://www.baidu.com/xxx/xx'

44210

Python入门网络爬虫之精华版

向IP对应的服务器发送请求。 服务器响应请求,发回网页内容。 浏览器解析网页内容。 网络爬虫要做的,简单来说,就是实现浏览器的功能。...最基本的抓取 抓取大多数情况属于get请求,即直接从对方服务器上获取数据。 首先,Python中自带urllib及urllib2这两个模块,基本上能满足一般的页面抓取。...对于登陆情况的处理 2.1 使用表单登陆 这种情况属于post请求,即先向服务器发送表单数据,服务器再将返回的cookie存入本地。...=url, data=data) response = urllib2.urlopen(req) 2.2 使用cookie登陆 使用cookie登陆,服务器会认为你是一个已登陆的用户,所以就会返回给你一个已登陆的内容...多进程抓取 这里针对华尔街见闻进行并行抓取的实验对比:Python多进程抓取 与 Java单线程和多线程抓取 6. 对于Ajax请求的处理 对于“加载更多”情况,使用Ajax来传输很多数据。

1.1K20

Python爬虫这么久了,它们三兄弟终于搞清楚了(干货)

在可供使用的网络库中,urllib和urllib2可能是投入产出比最高的两个,是Python中操作url的官方标准库。它们让你能够通过网络访问文件,就像这些文件位于你的计算机中一样。...方法来设置为全局的,之后使用urlopen方法发起请求时,都会带上这个cookie: # 将这个opener设置为全局的opener request.install_opener(opener) resp...二、urllib2 Python2.x的一个例子: import urllib2 # 设置浏览器请求头 ua_headers={ "User-Agent":"Mozilla/5.0 (Windows...httplib比较底层,一般使用的话用urllib和urllib2即可。 ? 三、urllib3 urllib3功能强大且易于使用,用于HTTP客户端的Python库。...等方法,则会将fields作为请求请求正文发送

77910

django queryset 去重 .distinct()说明

补充知识:Python——深入理解urllib、urllib2及requests(requests不建议使用?)...Python语法简洁而清晰,具有丰富和强大的类库。 urllib and urllib2 区别 urllib和urllib2模块都做与请求URL相关的操作,但他们提供不同的功能。...II.2.1.2 data——是一个字符串,指定额外的数据发送到服务器,如果没有data需要发送可以为“None”。目前使用data的HTTP请求是唯一的。...每一个handler知道如何以一种特定的协议(http,ftp等等)打开url,或 者如何处理打开url发生的HTTP重定向,或者包含的HTTP cookie。...例如,urllib2发现response的URL与你请求的URL不同时也就是发生了重定向时,会 自动处理。对于不能处理的请求, urlopen将抛出 – – – HTTPError异常.

1.7K20

8 个常用的 Python 爬虫技巧,分分钟提高效率!!

(request) print(response.read()) 2、使用代理IP 开发爬虫过程中经常会遇到IP被封掉的情况,这时就需要用到代理IP; 在urllib2包中有ProxyHandler类...cookielib模块用于处理cookies,cookielib模块的主要作用是提供可存储cookie的对象,以便于与urllib2模块配合使用来访问Internet资源....://XXXX ).read() 关键在于CookieJar(),它用于管理HTTP cookie值、存储HTTP请求生成的cookie、向传出的HTTP请求添加cookie的对象。...=" request.add_header("Cookie", cookie) 4、伪装成浏览器 某些网站反感爬虫的到访,于是对爬虫一律拒绝请求。...但是一般服务器不会为你发送压缩数据,除非你告诉服务器你可以处理压缩数据。

52120

Python爬虫:一些常用的爬虫技巧总结

(request) print response.read() 2、使用代理IP 在开发爬虫过程中经常会遇到IP被封掉的情况,这时就需要用到代理IP; 在urllib2包中有ProxyHandler类,...cookielib模块用于处理cookies,cookielib模块的主要作用是提供可存储cookie的对象,以便于与urllib2模块配合使用来访问Internet资源。...://XXXX').read() 关键在于CookieJar(),它用于管理HTTP cookie值、存储HTTP请求生成的cookie、向传出的HTTP请求添加cookie的对象。...=" request.add_header("Cookie", cookie) 4、伪装成浏览器 某些网站反感爬虫的到访,于是对爬虫一律拒绝请求。...但是一般服务器不会为你发送压缩数据,除非你告诉服务器你可以处理压缩数据。

45320

Python爬虫:一些常用的爬虫技巧总结

(request) print response.read() 2、使用代理IP 在开发爬虫过程中经常会遇到IP被封掉的情况,这时就需要用到代理IP; 在urllib2包中有ProxyHandler类,...cookielib模块用于处理cookies,cookielib模块的主要作用是提供可存储cookie的对象,以便于与urllib2模块配合使用来访问Internet资源....://XXXX').read() 关键在于CookieJar(),它用于管理HTTP cookie值、存储HTTP请求生成的cookie、向传出的HTTP请求添加cookie的对象。...=" request.add_header("Cookie", cookie) 4、伪装成浏览器 某些网站反感爬虫的到访,于是对爬虫一律拒绝请求。...但是一般服务器不会为你发送压缩数据,除非你告诉服务器你可以处理压缩数据。

66870

8 个常用的 Python 爬虫技巧,分分钟提高效率!!

(request) print(response.read()) 2、使用代理IP 开发爬虫过程中经常会遇到IP被封掉的情况,这时就需要用到代理IP; 在urllib2包中有ProxyHandler类...cookielib模块用于处理cookies,cookielib模块的主要作用是提供可存储cookie的对象,以便于与urllib2模块配合使用来访问Internet资源....://XXXX ).read() 关键在于CookieJar(),它用于管理HTTP cookie值、存储HTTP请求生成的cookie、向传出的HTTP请求添加cookie的对象。...=" request.add_header("Cookie", cookie) 4、伪装成浏览器 某些网站反感爬虫的到访,于是对爬虫一律拒绝请求。...但是一般服务器不会为你发送压缩数据,除非你告诉服务器你可以处理压缩数据。

39620

Python爬虫:一些常用的爬虫技巧总结

(request) print response.read() 2、使用代理IP 在开发爬虫过程中经常会遇到IP被封掉的情况,这时就需要用到代理IP; 在urllib2包中有ProxyHandler类,...cookielib模块用于处理cookies,cookielib模块的主要作用是提供可存储cookie的对象,以便于与urllib2模块配合使用来访问Internet资源....://XXXX').read() 关键在于CookieJar(),它用于管理HTTP cookie值、存储HTTP请求生成的cookie、向传出的HTTP请求添加cookie的对象。...=" request.add_header("Cookie", cookie) 4、伪装成浏览器 某些网站反感爬虫的到访,于是对爬虫一律拒绝请求。...但是一般服务器不会为你发送压缩数据,除非你告诉服务器你可以处理压缩数据。

50850

python爬虫(六)_urllib2:handle处理器和自定义opener

本文将介绍handler处理器和自定义opener,更多内容请参考:python学习指南 opener和handleer 我们之前一直使用的是urllib2.urlopen(url)这种形式来打开网页...,和使用urllib2.urlopen()发送HTTP/HTTPS请求得到的结果是一样的。...urllib2中通过ProxyHandler来设置使用代理服务器,下面代码说明如何使用自定义opener来使用代理: #-*- coding:utf-8 -*- #urllib2_proxyhandler.py...,之后所有的,不管是opener.open()还是urlopen()发送请求,都将使用自定义代理 # urllib2.install_opener(opener) # response = urllib2...cookielib库 和 HTTPCookieProcessor处理器 在Python处理Cookie,一般是通过cookielib模块和urllib2模块的HTTPCookieProcessor处理器一起使用

1K80
领券