我试图在Python 3上模拟urllib.request.urlopen的读取方法:
函数代码:
try:
with request.urlopen(_webhook_url, json.dumps(_message).encode('utf-8')) as _response:
_response_body = _response.read()
return _response_body
测试代码:
with mock.patch('urllib.request.urlopen') as mock_urlopen:
我试图将sssl.SSlContext添加到urlopen方法中,但始终得到错误:
TypeError: urlopen() got an unexpected keyword argument 'context'
我使用python 3和urllib。它定义了一个上下文参数- 。所以我不明白它为什么要抛出错误。但无论哪种方式,这都是代码:
try:
# For Python 3.0 and later
from urllib.request import urlopen, Request
except ImportError:
# Fall back
嗨,我正在读"Web Scraping with Python (2015)“。我看到了以下两种打开url的方法,分别使用和不使用.read()。请参阅bs1和bs2
from urllib.request import urlopen
from bs4 import BeautifulSoup
html = urlopen('http://web.stanford.edu/~zlotnick/TextAsData/Web_Scraping_with_Beautiful_Soup.html')
bs1 = BeautifulSoup(html.read(), '
我正在使用Python 2.6.5和Mock 0.7.2,并有一个单元测试,其中我为一个类使用了补丁装饰器。
@patch('urllib2.Request')
def test_do_my_call(self, MockClass):
"""will test that _do_my_call is getting called with correct values"""
instance = MockClass.return_value
mock_urlopen = Mock()
mock
我正在尝试导入beautifulSoup,但是得到一个error.Could,请告诉我为什么会这样,或者引导我解决相同的问题?
Microsoft Windows [Version 6.1.7600]
Copyright (c) 2009 Microsoft Corporation. All rights reserved.
C:\Users\Arup Rakshit>python
'python' is not recognized as an internal or external command,
operable program or batch file.
我熟悉应该将HTTP_RPOXY环境变量设置为代理地址的事实。
一般来说,urllib2运行得很好,问题是如何处理urllib。
>>> urllib2.urlopen("http://www.google.com").read()
返回
urllib2.URLError: <urlopen error [Errno 10061] No connection could be made because the target machine actively refused it>
或
urllib2.URLError: <urlopen er
此代码按预期工作:
from urllib.request import urlopen
with urlopen('https://mr.wikipedia.org/s/4jp4') as f:
f.read().decode('utf-8')
但是类似的代码会返回一个错误。两个URL都指向同一篇wiki文章。
from urllib.request import urlopen
with urlopen('https://mr.wikipedia.org/wiki/किशोरावस्था') as f:
f.read().
我有一个URL列表,我想从中抓取一个属性。Python的新手,所以请原谅。Windows 7,64位。Python 3.2。
下面的代码可以工作。pblist是由包含关键字'short_url‘的字典组成的列表。
for j in pblist[0:10]:
base_url = j['short_url']
if hasattr(BeautifulSoup(urllib.request.urlopen(base_url)), 'head') and \
hasattr(BeautifulSoup(urllib.reque