但是添加到list里面是中文的情况(比如‘丽江’),url的地址编码却是'%E4%B8%BD%E6%B1%9F',因此需 要做一个转换。这里我们就用到了模块urllib。...BD%E6%B1%9F') '\xe4\xb8\xbd\xe6\xb1\x9f' >>> print urllib.unquote('%E4%B8%BD%E6%B1%9F') 丽江 细心的同学会发现贴吧url...中出现的是%C0%F6%BD%AD,而非'%E4%B8%BD%E6%B1%9F',其实是编码问题。
今天修改一个天气预报的东西,但输入城市不能得到天气预报,感觉是编码不对,因为你输入一个城市(比如‘杭州’),url的地址编码却是'%E4%B8%BD%E6%B1%9F',因此需 要做一个转换。...AD%E5%B7%9E') '\xe6\x9d\xad\xe5\xb7\x9e' >>> print urllib.unquote('%E6%9D%AD%E5%B7%9E') 杭州 细心的同学会发现贴吧url...中出现的是%C0%F6%BD%AD,而非'%E4%B8%BD%E6%B1%9F',其实是编码问题。
主要应用的场景 爬虫生成带搜索词语的网址 1.字符串转为url编码 import urllib poet_name = "李白" url_code_name = urllib.quote(poet_name...) print url_code_name #输出 #%E6%9D%8E%E7%99%BD 2.url编码转为字符串 import urllib url_code_name = "%E6%9D%8E%E7%...99%BD" name = urllib.unquote(url_code_name) print name #输出 #李白
介绍 URL 编码URL 编码也被称为百分号编码。...URL 编码的规则:简单来说,如果需要对一个字符进行 URL 编码,首先需要判断该字符是否是 ASCII 字符:如果一个字符是 ASCII 字符,那么对该字符进行 URL 编码,首先需要把该字符的 ASCII...如果参数值中包含了 & 字符,那么会对 URL 解析造成影响,因此需要对造成歧义的 & 符号进行编码)URL 编码的规则URL 编码需要遵循 RFC 3986 标准。...URL 编码: “未保留字符” 不需要进行 URL 编码。...---对 “百分号 %” 进行 URL 编码:由于 “百分号 %” 用于 URL 编码,因此用于 URL 内部的 “百分号 %” 应该被编码。 “百分号 %” 的 URL 编码结果为 "%25"。
──高尔基 // URL编码 String encode = URLEncoder.encode("你好,世界", Encoder.UTF_8); System.out.println(encode...); // URL解码 String decode = URLDecoder.decode(encode, Encoder.UTF_8); System.out.println(decode); 运行结果
html url编码、url解码 url编码:encodeURI(),encodeURIComponent() url解码:decodeURI(),decodeURIComponent() encodeURI...()编码的解码函数为 decodeURI() encodeURIComponent()编码的解码函数为 decodeURIComponent(), 使用方法:直接在浏览器界面,按F12,点击console...,如图:便可以直接编码,解码。
*'(),"[不包括双引号]、以及某些保留字,才可以不经过编码直接用于URL。" 这意味着,如果URL中有汉字,就必须编码后使用。...但是麻烦的是,RFC 1738没有规定具体的编码方法,而是交给应用程序(浏览器)自己决定。这导致"URL编码"成为了一个混乱的领域。 下面就让我们看看,"URL编码"到底有多混乱。...-8编码;如果是GB2312,URL就以GB2312编码。...实际上,escape()不能直接用于URL编码,它的真正作用是返回一个字符的Unicode编码值。...与encodeURI()的区别是,它用于对URL的组成部分进行个别编码,而不用于对整个URL进行编码。 因此,"; / ?
假如不经过编码,这个GET请求中的URL就是”http://del.icio.us/flimsy?url=http://www.qingbo.org/?...注意不是对整个URL(指del.icio.us的GET请求中的长URL)做,如果flimsy后面的问号被编码,服务器便不知道它后面是query部分了。...URL编码要求先将URL转换为一个UTF-8的字节序列,然后再做percent encoding, 这在RFC 3986和W3C的网站上都有介绍。...Win32 API中是有一个InternetCanonicalizeUrl函数,但它只针对一个字节序列,不会考虑中文的编码转换。...有时间的时候我会再写一篇关于怎么在Windows中把中文转换为UTF-8字节序列的文章,对进行中文URL编码的朋友也许会有帮助。见“GBK(GB2312)向UTF-8的编码转换”一文。
public static class Extension { #region [编码/解码统一转换] /// ///...return Microsoft.JScript.GlobalObject.unescape(str); } /// /// js...JSCodingEntity(o, isEscape); } } /// /// js...} } } } /// /// js...JSCodingEntity(t, isEscape); } } /// /// js
function getBase64(url, callback) { var Img = new Image(), dataURL = ''; Img.src = url + '?
ASCII编码就比较蛋疼,通过搜索网上资源,反复测试对比,最终形成下面比较靠谱的方法(有一些 EditPlus显示编码为utf-8但node.js库返回的却是其它编码>_<) 判断修改是否无误,只需要在修改完之后...console.log('Not Found Path : ', dirPath); } } readDirectory(path); 注意上面的判断,第一个明确是 GB2312或者ascii时,直接将相应的编码转为...整个思路其实是比较简单,难点在于如果判断文件编码格式。这个真的很难>_<,获取原编码格式后,调用 encoding.convert(buff, 目标编码格式, 原始编码格式); 便可得到所需要的编码。...如果有空而且有兴趣,可以下载Notepad++的源码,看它是如何判断文件的编码格式 注:上面的方法所修改的文件,跟 Mac 上需要提交的文件列表是一致的,至少能解决我目前遇到的问题。...encoding jschardet https://github.com/aadsm/jschardet node-chardet https://github.com/runk/node-chardet 编码相关的基础知识
%3F % %25 # %23 & %26 2.1 JS的三种编码函数 上面说了编码方式的混乱,那么如何统一呢?...**使用Javascript先对URL编码,或者将可以在后台编码的参数编码后再发送给前端使用。...然后再向服务器提交,不要给浏览器插手的机会,这样就能保证客户端只用一种编码方法向服务器发出请求 ** escape js中编码出生最早的一个,不提倡使用,真正作用是: 返回一个字符的Unicode...函数(推荐使用) 这个函数才是javascript中真正用来对URL编码的函数 它着眼于对整个URL进行编码,因此除了常见的符号以外,对其他一些在网址中有特殊含义的符号"; / ?...encodeURIComponent函数(推荐使用) 与encodeURI()的区别是,它用于对URL的组成部分进行个别编码,而不用于对整个URL进行编码。 因此,"; / ?
原创仅供学习,转载请注明出处 需求背景 有时候通过浏览器传递过来的数据,经过url编码之后,就无法直接处理了。 需要进行反编码之后才能获取正确的结果。 下面使用ipython演示一下。...url编码以及反编码演示 In [50]: import urllib.parse ## 首先模仿浏览器生产的编码格式,不管是中文或者空格都会转码 In [51]: urllib.parse.quote...('终极肥仔白') Out[51]: '%E7%BB%88%E6%9E%81%E8%82%A5%E4%BB%94%E7%99%BD' ## 使用 unquote 进行反编码,这个步骤基本都是服务端接受浏览器传递的数据时候处理
*'(),”[不包括双引号]、以及某些保留字,才可以不经过编码直接用于 URL。” 这意味着,如果URL中有汉字,就必须编码后使用。...但是麻烦的是,RFC 1738没有规定具体的编码方法,而是交给应用程序(浏览器)自己决定。这导致“URL编码”成为了一个混乱的领域。 下面就让我们看看,“URL编码”到底有多混乱。...-8编码;如果是GB2312,URL就以GB2312编码。...实际上,escape()不能直接用于URL编码,它的真正作用是返回一个字符 的Unicode编码值。...与encodeURI()的区别是,它用于对URL的组成部分进行个别编码,而不用于对整个URL进行编码。 因此,“; / ?
id=255&m=hello#top' 利用上述方法,即可解析得到 URL 的任意部分。 URL 编码 为什么要进行URL编码?通常如果一样东西需要编码,说明这样东西并不适合直接进行传输。...escape只是对字符串进行编码(而其余两种是对URL进行编码),与URL编码无关。编码之后的效果是以 %XX 或者 %uXXXX 这种形式呈现的。...它着眼于对整个URL进行编码。...它的作用是对 URL 中的参数进行编码,记住是对参数,而不是对整个 URL 进行编码。 因为它仅仅不对 ASCII字母、数字 ~ ! * ( ) ' 进行编码。...() 便能够很好的处理 URL 的编码问题。
6.URL 编码 6.1 为什么需要对 URL 编码 URL 是一个字符序列,由数字、字母和特殊字符组成。...对 URL 进行编码主要原因有如下几点: ASCII 无法表示的字符 URL 只使用 ASCII 编码字符集中的可打印字符来编写,因此不可打印字符以及 ASCII 之外的字符如果出现在 URL 中,...wd=春节 因为上面的 URL 参数部分存在 ASCII 无法表示的汉字"春节",因此需要对上面 URL 参数部分进行编码,编码后的 URL 是: https://www.baidu.com/s?...URL 的参数进行了编码,如果 URL 中的路径部分存在特殊字符,比如 / 或者 ?...---- 参考文献 [1] rfc1738 [2] rfc3986 [3] URL 编码解码在线工具 [4] 查看字符编码(UTF-8) [5] 关于url编码标准的说明
URL编码 URL编码是浏览器发送数据给服务器时使用的编码,它是编码算法,而不是加密算法,URL编码的目的是把任意文本数据编码为以%前缀表示的文本,编码后的文本仅包含A~Z,a~z,0~9以及-_....为了帮助大家理解,举一个更加具体的例子,一条完整的URL是"http://www.mukedada.com/login?username=admin&password=123456?...remark=管理员",它的URL编码是http%3A%2F%2Fwww.mukedada.com%2Flogin%3Fusername%3Dadmin%26password%3D123456%3Fremark...我们知道电子邮件协议是文本协议,如果我们要在电子邮件中添加二进制文件,此时就可以通过Base64编码将二进制文件转换成文本,否则就会出现乱码现象。...由于Base64只能展示64种文本字符,因此对于二进制数据,它就需要一套映射机制来实现将二进制数据转换成文本数据,即选取3个字节为一组,进行重新分组:每6个bit为一个新的字节,形成4组,如果要编码的二进制数据不是
Python常用的编码格式有3种:unicode,utf-8,gbk 有些时候因为某些需要,就例如我们用的是utf-8的编码格式编写的脚本,需要在Windows终端中运行,而Windows终端默认的编码格式是...GBK,这时候我们就要把编码转换一下格式 我们先来看一下这3种编码格式的关系 ?...由图中得知,unicode转换成GBK或者utf-8需要编码,而utf-8和GBK转换成unicode就要解码,那么,utf-8和GBK就可以通过这个方式来转换了 #!... temp.decode("utf-8") # 编码,需要制定编成什么编码(括号里面的) temp_gbk = temp_unicode.encode("gbk") print(temp_gbk) 以上是...Python 2.几 的版本编码转换方法 在Python3里面,已经没有unicode类型,因为在Python3里面,unicode类型的编码它自动给你转换成utf-8或者gbk,所以utf-8可以直接编码成
的一些处理必不可少,如拼接、中文编码和空格编码等问题,从网上找了下比较琐碎,所以自己简单封装了一个,主要处理了下url拼接和中文编码的问题。...运行环境:python3 、pycharm编辑器 代码如下: 1 # -*- coding: utf-8 -*- 2 # au: cpy 3 # 20181016 4 # url拼接和编码问题...): # domain:域名 19 if type(url) is not str and hasattr(url, "decode"): 20 url = url.decode...() 21 if not url.startswith("http"): 22 url = urljoin(domain, url) 23 url = check_zh(...ps: 代码在pycharm编辑器中正常运行,其它方式运行可能会提示存在编码问题
总结:在HTML4.0.1中,基于RFC-1738标准,‘ ’在URL编码以后为 ‘+’,只有JS中由于基于RFC-2396标准,‘ ’在URL编码以后为‘%20’。...由于之前做过比较久web前端,映像中URL编码规则应该是将空格转为%20。上网看了下,又貌似都是对的,决定试一试。...最后用JS试一下: ? 好吧,原来是JS坑了我,罪魁祸首是JS,这到底是为什么呢?...而JS使用的将‘ ’ 转义为%20的编码标准为RFC-2396标准。...总结: ###在HTML4.0.1中,基于RFC-1738标准,‘ ’在URL编码以后为 ‘+’,只有JS中由于基于RFC-2396标准,‘ ’在URL编码以后为‘%20’。
领取专属 10元无门槛券
手把手带您无忧上云