当你在前端需要通过二进制数据与服务端进行通信时，你可能会遇到二进制数据的编码问题。大部分服务端的字符串编码类型都为UTF-8，而JavaScript中字符串编码类型是UTF-16，因此，你需要一个能够将字符串在两种编码方式间进行转换的方法。
参考链接： Python-Json 2 : 使用json.load/loads读取JSON文件/字符串
JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式，它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景，比如网站前台与后台之间的数据交互。
本篇将介绍使用，更多内容请参考：Python学习指南 数据提取之JSON与JsonPATH JSON(JavaScript Object Notation)是一种轻量级的数据交换格式，它是的人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景，比如网站前台与后台之间的数据交互。 JSON和XML的比较可谓不相上下。 Python2.7中自带了JSON模块，直接import json就可以使用了。 官方博客：http://docs.python.org/library/
本文通过介绍Unicode编码以及对应的两种编码方式UTF-8和UTF-16，让读者能够了解关于字符串编码的相关知识，同时能够弄清楚Unicode和UTF-8和UTF-16之间的关系。
说来也巧合，就在前几天路飞学城的樵夫老师在xxx云音乐JS逆向的公开课上讲JS逆向破解的时候，也涉及到了这两个东东，当时讲的很快，很多小伙伴们估计也有些蒙圈。
字符串在Python内部的表示是unicode编码，因此，在做编码转换时，通常需要以unicode作为中间编码，即先将其他编码的字符串解码(decode)成unicode，再从unicode编码(encode)成另一种编码。
看过一个漫画, 两位程序员在办公司交流, 可是说的语言却是010101类似的字符串.周围人很是惊异.计算机的世界,确实是由01组成的.今天突然想实现这个编码转换.
字符串在Python内部的表示是unicode编码，因此，在做编码转换时，通常需要以unicode作为中间编码，即先将其他编码的字符串解码（decode）成unicode，再从unicode编码（encode）成另一种编码。
JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。它基于JavaScript（Standard ECMA-262 3rd Edition - December 1999）的一个子集。 JSON采用完全独立于语言的文本格式，但是也使用了类似于C语言家族的习惯（包括C, C++, C#, Java, JavaScript, Perl, Python等）。这些特性使JSON成为理想的数据交换语言。易于人阅读和编写，同时也易于机器解析和生成。
如上面代码，str\str1\str2均为字符串类型（str）,给字符串操作带来较大的复杂性。
来源：http://www.cnblogs.com/kismetv/p/8654978.html
在第6节和第7节，我们讨论了文本的二进制编码、乱码、以及恢复，第6节受到了很多读者的一致好评，但第7节有读者反馈解说的不太透彻，希望再详细一点，本文就是对第7节内容的扩展。 乱码 第6节说到乱码出现的主要原因，即在进行编码转换的时候，如果将原来的编码识别错了，并进行了转换，就会发生乱码，而且这时候无论怎么切换查看编码的方式，都是不行的。 我们来看一个这种错误转换后的乱码，还是用上节的例子，二进制是(16进制表示)：C3 80 C3 8F C3 82 C3 AD，无论按哪种编码解析看上去都是乱码： UTF-8
我们知道，计算机是以二进制为单位的，也就是说计算机只识别0和1,也就是我们平时在电脑上看到的文字，只有先变成0和1，计算机才会识别它的意思。这种数据和二进制的转换规则就是编码。计算机的发展中，有ASCII码，GBK，Unicode，utf-8编码。我们先从编码的发展史了解一下编码的进化过程。
Redis对象系统包含字符串对象、列表对象、哈希对象、集合对象和有序集合对象这五种类型的对象。每一种对象底层都由前面介绍的SDS，双向链表，哈希表，跳表，整数集合或者压缩列表等一种数据结构实现，下面会详细进行介绍。 Redis 使用对象来表示数据库中的键和值， 每次当我们在 Redis 的数据库中新创建一个键值对时， 我们至少会创建两个对象， 一个对象用作键值对的键（键对象）， 另一个对象用作键值对的值（值对象） 键对象均有字符串对象表示，值对象可以时五种对象中的任意一种，因此当说一个键是列表键时，指的是值的类型是列表对象。对一个键执行type命令时，返回的类型也是键对应的值得类型，如下所示：
*首先要搞清楚，字符串在Python内部的表示是unicode编码，因此，在做编码转换时，通常需要以unicode作为中间编码，
在计算机科学中，字符编码是一种将字符集合映射到数字的方案。每个字符在计算机中都是以数字的形式存储的。因此，理解字符编码的原理，我们就可以通过编码转换的方式将字符串转换为对应的数字序列。本文将探讨如何在Go语言中利用字符编码转换字符串为数字，并讨论其应用场景和潜在问题。
python内部的字符串一般都是 Unicode编码。代码中字符串的默认编码与代码文件本身的编码是一致的。所以要做一些编码转换通常是要以Unicode作为中间编码进行转换的，即先将其他编码的字符串解码（decode）成 Unicode，再从 Unicode编码（encode）成另一种编码。
int lr_convert_string_encoding(const char *sourceString, const char *fromEncoding, const char *toEncoding, const char *paramName);
在以前的学习当中，比方说有一次的写采集过程中转换字符的编码的时候老是失败，转换的结果总没有完全输出，后来经过网络查询得知是iconv有一个“-”漏洞，所以我们有必要掌握PHP的另一个字符编码函数mb_convert_encoding。 mb_convert_encoding函数为php内部多字节字符串编码转换函数，可以在有需要的使用场合（如：解决在GB2312编码环境下使用Ajax产生的中文字乱码的问题）方便进行编码转换，以解决网页乱码的问题，使用非常方便，效率非常高，几乎支持所有编码。PHP 4 >= 4
在以前的学习当中，比方说有一次的写采集过程中转换字符的编码的时候老是失败，转换的结果总没有完全输出，后来经过网络查询得知是iconv有一个“-”漏洞，所以我们有必要掌握PHP的另一个字符编码函数mb_convert_encoding。
注意：使用 btoa 和 atob 进行加解密时，只能处理 ASCII 码字符，对于 Unicode 字符可能会出现不可预料的结果。
encode（）：编码，将对象的编码转换为指定编码格式，按照字面理解，一直以为是其他编码格式转换成unicode格式编码
这篇文章主要介绍了python自然语言编码转换模块codecs介绍,codecs专门用作编码转换,通过它的接口是可以扩展到其他关于代码方面的转换,需要的朋友可以参考下。
只要掌握了中文乱码问题产生的原因，然后对症下药，就可以顺利地解决这些问题。下面我们对容易产生乱码问题的场景进行分析，并提出解决方案。
Redis 中的 list 是我们经常使用到的一种数据类型，根据使用方式的不同，可以应用到很多场景中。
HTTP压缩是指web服务器和浏览器之间压缩传输请求响应结果的方法，通过采用通用的压缩算法，将数据包压缩后进行传输，从而提升页面加载速度，给用户一个更好的体验。
字符串编码在Python里边是经常会遇到的问题，特别是写文件以及网络传输的过程中，当调用某些函数的时候经常会遇到一些字符串编码提示错误，所以有必要弄清楚这些编码到底在搞什么鬼。
在python中，我们通常使用的是unicode编码，但是日常文本使用各类编码为 utf-8 ，编码的类型不一样，就容易造成乱码。为了避免读写操错误，我们需要进行转码则需要decode(解码)和encode(编码)方法。
相同点：python解释器是解释执行文件内容的，因而python解释器具备读py文件的功能，这一点与文本编辑器一样
ziplist 编码的哈希对象使用压缩列表作为底层实现。每当有新的键值对要加入到哈希对象时，程序会先将保存了键的压缩列表节点推入到表尾，然后再将保存了值的压缩列表节点推入到表尾。因此：
alert(String.fromCharCode(24685,21916,33,113,115,110,99,116,102,123,50,97,51,56,54,54,54,54,45,53,51,57,49,45,52,54,102,99,45,98,54,57,100,45,99,97,101,50,57,49,97,99,57,53,98,102,125))
json.dumps(var,ensure_ascii=False)并不能解决中文乱码的问题
utf-8： 可变长编码，常用的英文字母被编码成1个字节，汉字通常是3个字节，只有很生僻的字符才会被编码成4-6个字节。如果你要传输的文本包含大量英文字符，用UTF-8编码就能节省空间：
Redis 中的 hash 是我们经常使用到的一种数据类型，根据使用方式的不同，可以应用到很多场景中。
mysqli_real_escape_string() — 使用反斜线引用字符串 sql注入
字符集是对特定语言中所有可读或可显示字符的称呼。例如英语、汉语、日语等都是不同的字符集。字符集决定了可以展示和表示的字符范围。在字符集中，需要使用编码字符集来实现字符的编码和转码。编码字符集使用编码值来表示字符在字库表中的位置。字库表是一个包含了所有可读或可显示字符的数据库，它决定了字符集能够展示的所有字符的范围。字符编码定义了编码字符集和实际存储数值之间的转换关系。常见的字符编码方式包括ASCII、ISO 8859-1、GB2312、GBK等。常情况下，一个字符集对应一个编码方式，比如ASCII、ISO 8859-1、GB2312、GBK等都是针对特定字符集的编码方式。
python对多国语言的处理是支持的很好的，它可以处理现在任意编码的字符，这里深入的研究一下python对多种不同语言的处理。
视频汇总首页：http://edu.51cto.com/lecturer/index/user_id-4626073.html
JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式，它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景，比如网站前台与后台之间的数据交互。 Python中自带了json模块，直接import json即可使用
为什么会报错“UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)”？本文就来研究一下这个问题。
python3的内置字符串类型默认是支持utf-8的，并且python的字符串提供有一套强大的处理工具集，为程序设计带来了巨大的便利。 相较于C语言，python没有单个字符这种类型，单字符也是字符串。python的字符串是不可变类型，因此不能修改一个字符串对象。 在Python里单引号(’’)，双引号("")，三引号(’’’’’'和"""""")都可以用来把字符串包括起来。它们都是字符串，没有本质上的区别。 注意 由于python3的str类型是Unicode的，因此我们应该摒弃C语言中一个ASCII字符对应于一个字节的想法。对于非ASCII字符而言，一个字符对应的字节数是不定的，因为这取决于Unicode码点序列。
说到多字节字符串与宽字符串，不得不说一下多字节字符与宽字符。多字节字符实际上是由多个字节来表示一个字符，在各个国家和地区采用不同的编码方案，不同编码方案字符码值是不同的，比如常见的中国大陆的GBK和GB18030、台湾同胞的Big5h，以及国际通过的UTF8编码等。宽字符指的是由统一码联盟制定的Unicode编码方案收录的字符，使用4个字节来表示一个字符。关于字符编码可参见博文精述字符编码。
概念： 序列化（Serialization）： 将对象的状态信息转换为可以存储或可以通过网络传输的过程，传输的格式可以是JSON，XML等。反序列化就是从存储区域（JSON，XML）读取反序列化对象的状态，重新创建该对象。 JSON（Java Script Object Notation）：一种轻量级数据交互格式，相对于XML而言更简单，也易于阅读和编写，机器也方便解析和生成，Json是JavaScript中的一个子集。 python2.6版本开始加入了JSON模块，python的json模块序列化与反序列
Python的hashlib提供了常见的摘要算法，如MD5，SHA1等等 这里以hashlib举例：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
