如果你需要在Linux中操作windows下的文件，那么你可能会经常遇到文件编码转换的问题。Windows中默认的文件格式是GBK(gb2312)，而Linux一般都是UTF-8。下面介绍一下，在Linux中如何查看文件的编码及如何进行对文件进行编码转换。
说到多字节字符串与宽字符串，不得不说一下多字节字符与宽字符。多字节字符实际上是由多个字节来表示一个字符，在各个国家和地区采用不同的编码方案，不同编码方案字符码值是不同的，比如常见的中国大陆的GBK和GB18030、台湾同胞的Big5h，以及国际通过的UTF8编码等。宽字符指的是由统一码联盟制定的Unicode编码方案收录的字符，使用4个字节来表示一个字符。关于字符编码可参见博文精述字符编码。
代码编译运行环境：Windows 64bits+VS2017+Debug+Win32
目前多数情况下, 我们遇到的非英文字符文件都是使用UTF-8编码的, 这时一般我们查看这些文件的内容都不会有问题. 不过有时, 我们有可能会遇到非UTF-8编码的文件, 比如中文的GBK编码, 或者俄语的CP1251编码. 而文本文件一般不带有自身编码格式的信息, 这就给我们处理带来很多麻烦. 本文介绍几个Linux命令来检测和转换文本文件的编码格式.
重新登录之后生效。 现在查看一下当前设置： [plain] view plain copy
以下内容转自博客：http://blog.chinaunix.net/uid-22670933-id-1771613.html。
计算机里面，编码方法有很多种，英文的一般用ascii,而中文有unicode，utf-8,gbk,utf-16等等。
为什么会报错“UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)”？本文就来研究一下这个问题。
对应 C 代码为：unicodeobject.c 中的 _Py_normalize_encoding 函数。
转载请注明出处：帘卷西风的专栏(http://blog.csdn.net/ljxfblog)
在Python2.X及Python3有时经常碰到各种中文乱码的情况，这里整理了相关各种情况汇总。
以下配置项是Linux系统的本地化（localization）设置，用于控制系统在不同方面如何呈现和处理数据。下面是每个配置项的解释：
最近在使用GDAL读写Shp格式中的属性字段的时候也遇到了中文乱码的问题，总结下自己遇到的情况。
*首先要搞清楚，字符串在Python内部的表示是unicode编码，因此，在做编码转换时，通常需要以unicode作为中间编码，
Windows 早期采用多字节编码，的确容易出现乱码问题。随着 Windows 全面转向 Unicode 编码，多语言的支持得到完美解决，出现中文乱码的问题就很少出现。出现乱码问题一般是 GBK 编码的文件当做 utf8 编码打开，或者 utf8编码的文件当做 GBK 编码打开。这种情况也多出现在 Linux 和 Windows 之间交换文件。
云端传下来的中文是Unicode编码，通过cjson把它转成了utf-8格式。这个格式在STM32上显示是乱码，需要转换成GBK才行。
Chrome扩展程序之编码&时间戳小工具 作为一个前端小白，对于chrome扩展程序久闻大名，实际动手头一次；前天晚上到前端哪里串门看到小伙伴在搞这个，要了份手册，也来尝个鲜 项目源码看这里: https://git.oschina.net/liuyueyi/encoder 需求 作为一个web后端，经常需要干的事情，url参数编码，时间戳和日期的互转，unicode编码转码，每次要用的时候都low b的到百度上找个工具来用，虽然说也可以满足需求，单终究不是那么爽快；作为一个码农，完全可以考虑捋起袖子
来源：xybaby自荐投稿 www.cnblogs.com/xybaby/p/7814299.html 程序员都自视清高，觉得自己是创造者，经常鄙视不太懂技术的产品或者QA。可悲的是，程序员之间也相互鄙视，程序员的鄙视链流传甚广，作为一个Python程序员，自然最关心的是下面这幅图啦 我们项目组一值使用Python2.7，虽然我们也知道Python3的诸多好处，也曾经蠢蠢欲动过，但由于各种历史原因，以及业务的压力，我们只可能继续使用Python2.7。更悲哀的是，我们组不是那么international
在很久很久以前，美国人发明了计算机，计算机只能处理数字也就是把文字转换为8个bit也就是一个字节，8个bit最大能表示的数字为255，而[A-Z]、[a-z]、[0-9]再加上键盘上的一些符号正好255个，所以ASCII编码就成为了美国人的标准编码(用一个字节代表一个字母或者符号)，正好也满足了美国人的需求。
字符串在Python内部的表示是unicode编码，因此，在做编码转换时，通常需要以unicode作为中间编码，即先将其他编码的字符串解码（decode）成unicode，再从unicode编码（encode）成另一种编码。
对编码问题一直一知半解，之前也是得过且过，正好有个同事要我帮忙写个脚本，涉及这方面的问题，借这个契机研究了一下.
**字符串转base64的转码规则：第一步，将每三个字节作为一组，一共是24个二进制位。第二步，将这24个二进制位分为四组，每个组有6个二进制位。第三步，在每组前面加两个00，扩展成32个二进制位，即四个字节。第四步，根据上表，得到扩展后的每个字节的对应符号，这就是Base64的编码值。
编码转换 一些老的项目，文件编码用的还是gbk，很不利于扩展及维护。经常需要在程序中进行判断及转码，容易出现乱码现象。最好的方式就是将整个项目转成utf-8。那么如何批量将一个目录下的文件转编码？ 思路 找出目录下的所有文件类型 遍历要转码的文件类型，如.php 利用vim的set fileencoding=utf8进行转码 具体实现 设置~/.vimrc set fileencodings=utf-8,ucs-bom,gb18030,gbk,gb2312,cp936 set termencoding=ut
1 String emojiStr = MimeUtility.decodeWord(mysqlColumn); 相对于这种使用Base64转换的方式，我们只需要在服务端做编码和解码即可。
应用场景如下：从api下载数据，json解析，存入字典，定期保存。重启程序需要加载保存的文本。 问题1：json中都是unicode串，存到文本里都是些\u*** 解决：关闭ensure_ascii开关 json.dump(pub.listData,fp,ensure_ascii=False) 问题2：字典关键字用的数字，从文本load后变为unicode串 解决： 走了一点弯路，网上的解决方法，都是转换，把串转回utf-8，方法是 def byteify(input): if isinsta
之前部署了openstack虚拟化环境，有一天在使用nova list查看虚拟机的时候，突然报错！如下： [root@linux-node1 src]# nova list ERROR (UnicodeEncodeError): 'ascii' codec can't encode character u'\uff08' in position 9: ordinal not in range(128) python在安装时，默认的编码是ascii，当程序中出现非ascii编码时，python的处理常常会报这
对于JavaScript，无论是宽字节字符串还是单字节字符串，都被认为是一个字符串。
一.0,1、文本信息和字符编码 所有的信息在计算机中都是以0、1及其组合形式存在。文本信息也不例外。文本信息是以人类容易理解的方式来呈现信息。 计算机是在美国诞生的，英文26个字母加上其他符号只有128个，只用7个bit便可以完全表示所有符号。用8个bit，及一个byte来表示一个符号的方式就叫做ascii编码。对应的有ascii码表。 比如说要在计算机中表示"i love you"这个信息，采用ascii编码方式，那么在计算机中，那就是69 20 6c 6f 76 65 20 79 6f
相同点：python解释器是解释执行文件内容的，因而python解释器具备读py文件的功能，这一点与文本编辑器一样
在使用MySQL时要注意6个需要编码的地方：系统的编码、客户端、服务端、库、表、列。字符集编码不仅影响数据存储,还影响client程序和数据库之间的交互.在mysql中输入命令show session variables like '%char%'能够看到例如以下一些字符集（下面是以win10为例，生产中多数时linux，在linux里面除了latin1之外都是utf8的字符集）:
window系统一般文件名编码为gbk，文件内容编码这个需要通过编辑器查看或者设置，找个editplus文本编辑器就可以处理文本内容编码。
开发中推荐使用Paste JSON as Code • quicktype软件，可以根据JSON快速生成Model文件
我们知道，计算机是以二进制为单位的，也就是说计算机只识别0和1,也就是我们平时在电脑上看到的文字，只有先变成0和1，计算机才会识别它的意思。这种数据和二进制的转换规则就是编码。计算机的发展中，有ASCII码，GBK，Unicode，utf-8编码。我们先从编码的发展史了解一下编码的进化过程。
视频汇总首页：http://edu.51cto.com/lecturer/index/user_id-4626073.html
字符串在Python内部的表示是unicode编码，因此，在做编码转换时，通常需要以unicode作为中间编码，即先将其他编码的字符串解码(decode)成unicode，再从unicode编码(encode)成另一种编码。
查看数据库编码： show create database db_name; 查看表编码： show create table tbl_name; 查看字段编码： show full columns from tbl_name; show full fields from tbl_name;
#!/bin/bash # gb2312 转 utf8 编码 # 开发 ： 小绿叶技术博客 eisc.cn # date : 2023.2.27 dir="./" ; echo "当前目录： $dir" sudo chmod 777 -R $dir/* # FileList=(`du -ah $dir | awk -F" " '{print $2}'`) # find ./ -type f | xargs dos2unix # 列出所有文件和目录 # xargs 作用是将管道前面的结果内容(
转载自：http://blog.csdn.net/dbzhang800/article/details/7540905
在看了很多的博客文章之后，总结整理得到了以下文章，非常感谢这些无私奉献的博主！ 文章末尾有本文引用的文章的链接，如果有漏掉的文章引用，可以发邮件联系我，随后再次附上链接！ 侵删！！！ 这一部分是下篇，主要讲的是编码部分，以及在python中会遇到的一些编码问题，偏向于实际应用一点。 上篇介绍了字符、字符集的一些概念，以及他们在python中的一些简单的代码示例，偏向于概念。 上篇地址：http://www.cnblogs.com/echo-coding/p/7435118.html 这绝对是个源
服务器端的代码做了跨平台（POSIX和WINDOWS），基于POSIX平台（Linux、Mac OS X、PlayStation等）使用sys/socket.h库，windows平台使用winsock2.h库。 客户端代码因为基本都在windows运行，所以没做跨平台，需要的话你可以参考服务器端代码自己做一下。 文中写的函数原型均为windows平台，部分函数的返回类型或参数类型在POSIX会有不同。
如上面代码，str\str1\str2均为字符串类型（str）,给字符串操作带来较大的复杂性。
由于MySQL编码原因会导致数据库出现乱码。 解决办法：修改MySQL数据库字符编码为UTF-8，UTF-8包含全世界所有国家需要用到的字符,是国际编码。
在php中iconv函数库能够完成各种字符集间的转换，是php编程中不可缺少的基础函数库；但有时候iconv对于部分数据转码会无缘无故的少一些。比如在转换字符”—”到gb2312时会出错。
第三章 函数与变量 第一课 集合及其运算 集合： 是一个无序的不重复的数据组合 作用： 1.去重： 代码块： lit=[2,3,3,3,3,] lit=set(lit) print(lit,type(lit)) 运行输出： {2, 3} <class 'set'> 2.关系测试： 代码块： lt1=set([1,2,3,4,5]) lt2=set([4,5,6,7,8]) print
Python3自诩解决了编码问题，但还是有一系列的坑。本文就记录下前几天遇到的python3编码问题。mysql编码问题附带介绍。 python3 json串的编码 针对于包含中文的字典，如果想要正常显示中文，在dumps时，需配置参数ensure_ascii=False。举例： a={"name":"中国"} json.dumps(a) '{"name": "\\u4e2d\\u56fd"}' json.dumps(a,ensure_ascii=False) '{"name": "中国"}' 针对于包含特
高级语言：Python，Java, C#， C++, PHP， Go等等 ==》生成字节码；
Base64是一种基于64个可打印字符来表示二进制数据的表示方法。由于2^6=64，所以每6个比特为一个单元，对应某个可打印字符。
iconv命令是用来转换文件的编码方式，比如它可以将UTF8编码的转换成GB18030的编码。Linux下的iconv开发库包括iconv_open,iconv_close,iconv等C函数（非标准库函数），可以用来在C/C++程序中很方便的转换字符编码。
原文：http://demi-panda.com/2012/12/26/vim-encoding/
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
