在实际项目开发中，特别是涉及到中文输入输出的时候，大家肯定都被各种乱码问题坑过。如果遇到复杂的系统，为了乱码问题折腾几天也不是不可能。
在 Mysql 修改Hive元数据表注释和字段注释的编码为 utf-8 在Hive的元数据库（MySQL）中运行: 修改表字段注解和表注解
今天在设计开源项目的反馈信息表时遇到了emoji表情插入失败的问题，网上找了很多解决方案，答案五花八门，没找到好使的。
关于编码问题前面一共整理4篇博客，这是终篇。我使用MySQL时经常会遇到乱码问题，尤其是涉及到中文和emoji表情符号时，然而当我查询资料时发现大多数资料几乎雷同，寥寥几句仅贴了几个参数的定义，并没有案例来详细说明，因此我利用几个周末时间整理出这个编码系列博客，希望能对和我同样深受编码困扰的人提供些帮助，当然能力有限，里面很多观点是我根据各种资料的推测，并没有在相关文档中找到确切的描述佐证，可能有理解偏颇之处。
先讲一下写该文章的原因，首先，工作中又遇到一条很熟悉的MySQL报错信息 Cause: java.sql.SQLException: Incorrect string value:Cause: java.sql.SQLException: Incorrect string value… （emoji表情存储导致），原因是MySQL的字符集导致的；其次，因为一直听说数据库变更可能锁表，但是一直不知道到底哪些操作会导致锁表。所以今天对相关知识做一个系统的整理。
Incorrect string value: '\xE6\x88\x91' for column 'name' at row 1
常用的编码格式为：ASCII Unicode-8 Unicode-16 Unicode-32 GB2312 等 ,
可以通过 https://tomcat.apache.org/whichversion.html 查看
在javaweb开发中，会出现一种很奇怪的事就是中文内容写入数据库就乱码了- -，可以根据以下几点进行排查解决：
在使用MySQL时要注意6个需要编码的地方：系统的编码、客户端、服务端、库、表、列。字符集编码不仅影响数据存储,还影响client程序和数据库之间的交互.在mysql中输入命令show session variables like '%char%'能够看到例如以下一些字符集（下面是以win10为例，生产中多数时linux，在linux里面除了latin1之外都是utf8的字符集）:
utf-8 回忆上次内容 上次再次输出了大红心♥ 找到了红心对应的编码 黑红梅方都对应有编码 原来的编码叫做 ascii️ \
JSP中文乱码的产生原因及解决方案在JSP的开发过程中，经常出现中文乱码的问题，可能一直困扰着大家，现在把JSP开发中遇到的中文乱码的问题及解决办法写出来供大家参考。首先需要了解一下Java中文问题的由来： Java的内核和class文件是基于unicode的，这使Java程序具有良好的跨平台性，但也带来了一些中文乱码问题的麻烦。原因主要有两方面，Java和JSP文件本身编译时产生的乱码问题和Java程序于其他媒介交互产生的乱码问题。首先Java（包括JSP）源文件中很可能包含有中文，而Java和JSP源文
在程序开发中，有时会被字符乱码的问题所困扰。对此，必须理解 MySQL 的字符集编码设置的原理：在MySQL中，默认使用的是lartin1，也就是ISO8859-1字符集编码。这是一种8位的编码，适用于所有西欧字符。而对于汉字等是不合适的。最好、最通用的编码格式是utf-8，UTF-8（8 位元 Universal Character Set／Unicode Transformation Format）是一种针对Unicode 的可变长度字节编码的Unicode字符集。它对英文使用8位（即一个字节），中文使用24位（三个字节）来编码。所以对于8位的西欧字符集来说，更能比较节省空间，而又能够有效地表示汉字等字符。MySQL服务器对字符集和校对规则有4个级别的默认设置：服务器级、数据库级、表级和连接级。
虽然我们平时可以在编辑器上输入各种中文英文字母，但这些都是给人读的，不是给计算机读的，其实计算机真正保存和传输数据都是以二进制0101的格式进行的。
背景：目前正在进行业务重构，需要对使用MySQL的业务库表进行重新设计，在迁移时，遇到了中文字符乱码问题（源库表的默认编码是LATIN1，新库表的默认编码为UTF8），故重新学习了下MySQL编码和解码相关知识，并整理了在遭遇乱码时的一些常用技巧。（本文发布于云+社区：https://cloud.tencent.com/developer/article/1370123）
编码问题一直困扰着开发人员，尤其在 Java 中更加明显，因为 Java 是跨平台语言，不同平台之间编码之间的切换较多。本文将向你详细介绍 Java 中编码问题出现的根本原因，你将了解到：Java 中经常遇到的几种编码格式的区别；Java 中经常需要编码的场景；出现中文问题的原因分析；在开发 Java web 程序时可能会存在编码的几个地方，一个 HTTP 请求怎么控制编码格式？如何避免出现中文问题？
不知道大家有没有想过一个问题，那就是为什么要编码？我们能不能不编码？要回答这个问题必须要回到计算机是如何表示我们人类能够理解的符号的，这些符号也就是我们人类使用的语言。由于人类的语言有太多，因而表示这些语言的符号太多，无法用计算机中一个基本的存储单元—— byte 来表示，因而必须要经过拆分或一些翻译工作，才能让计算机能理解。我们可以把计算机能够理解的语言假定为英语，其它语言要能够在计算机中使用必须经过一次翻译，把它翻译成英语。这个翻译的过程就是编码。所以可以想象只要不是说英语的国家要能够使用计算机就必须要经过编码。这看起来有些霸道，但是这就是现状，这也和我们国家现在在大力推广汉语一样，希望其它国家都会说汉语，以后其它的语言都翻译成汉语，我们可以把计算机中存储信息的最小单位改成汉字，这样我们就不存在编码问题了。
会有乱码现象，其实就是因为字符集编码不一致的问题，就好像中国人和外国人谈话一样，互相不懂对方在说啥。字符集编码也是如此，本来就是一段GBK编码的文字，却要用utf-8的编码格式去解码，就当然是鸡同鸭讲会出现乱码啦，这个时候就得使用GBK编码的格式去解码才不会出问题。如果互相都是使用的GBK编码后，那就像中国人和中国人都说普通话一样，就能听懂对方在说什么，这样才不会出现乱码。
在Windows平台下，进入DOS窗口，输入：chcp ，可以得到操作系统的代码页信息，你可以从控制面板的语言选项中查看代码页对应的详细的字符集信息。
5.python代码的单行注释用“#”，多行注释用三个单引号 '''（被注释的内容）''' 或者用三个双引号 """（被注释的内容）"""。
如果是windows的话。一般是编码问题引起的，VSCode默认编码就是UTF-8,如果还有中文乱码，改成GB2312就可以了。
最近业务中需要用 Python 写一些脚本。尽管脚本的交互只是命令行 + 日志输出，但是为了让界面友好些，我还是决定用中文输出日志信息。 很快，我就遇到了异常： UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-3: ordinal not in range(128) 为了解决问题，我花时间去研究了一下 Python 的字符编码处理。网上也有不少文章讲 Python 的字符编码，但是我看过一遍，觉得自己可以讲得
https://downloads.mysql.com/archives/community/
字符指类字形单位或符号，包括字母、数字、运算符号、标点符号和其他符号，以及一些功能性符号。一般来说我们称某个字符集里面的字符，叫xx字符，如ASCII字符集里面的ASCII字符，GB2312字符集里面的GB2312字符。
LAMP架构是目前成熟的企业网站应用模式之一，指的是协同工作的一整台系统和相关软件，能够提供动态web站点服务及其应用开发环境
首先大家看到这张图，肯定会注意到小程序进行通信交互的不止是小程序前端和我们自己的服务端，微信第三方服务端也参与其中，那么微信服务端在其中扮演着怎样的角色呢？我们一起来串一遍登录鉴权的流程就明白了。
为了方便小程序应用使用微信登录态进行授权登录，微信小程序提供了登录授权的开放接口。乍一看文档，感觉文档上讲的非常有道理，但是实现起来又真的是摸不着头脑，不知道如何管理和维护登录态。本文就来手把手的教会大家在业务里如何接入和维护微信登录态。
描述: 为了正确显示 HTML 页面，Web 浏览器必须知道要使用哪个字符集, 此处作为开发者必回接触到的常见字符集编码有如下：ASCII、ANSI、ISO-8859-1以及Unicode（UTF-8/16）等。
导语 为了方便小程序应用使用微信登录态进行授权登录，微信小程序提供了登录授权的开放接口。乍一看文档，感觉文档上讲的非常有道理，但是实现起来又真的是摸不着头脑，不知道如何管理和维护登录态。本文就来手把手的教会大家在业务里如何接入和维护微信登录态。 接入流程 这里官方文档上的流程图已经足够清晰，我们直接就该图展开详述和补充。 首先大家看到这张图，肯定会注意到小程序进行通信交互的不止是小程序前端和我们自己的服务端，微信第三方服务端也参与其中，那么微信服务端在其中扮演着怎样的角色呢？我们一起来串一遍登录鉴权的流程
1、JVM中单个字符占用的字节长度跟编码方式有关，而默认编码方式又跟平台是一一对应的或说平台决定了默认字符编码方式；
Post@https://ryan-miao.github.io 测试代码https://github.com/Ryan-Miao/someTest/commit/50241e50d4b6ecdb8820e58f4cb9628bfb7d77ec 背景 还是多语言, 在项目中遇到本地环境和服务端环境不一致乱码的情形。因此需要搞清楚乱码产生的过程，来分析原因。 获取多语言代码如下： private Map<String, String> getLocalizationContent(Locale locale
目录 1、一个建表语句引出的问题 2、查看当前电脑使用的字符集 3、你发现这个问题了吗？ 4、你不熟悉的几个命令 1）连接器connection的作用与工作流程(文字叙述) ① 连接器的作用 ② 连接器的工作流程 2）图示法讲解connection的作用与工作流程 ① 第一种方式 ② 第二种方式 5、上述两种图示法的实际操作演示 1）先了解如下几个代码 2）代码演示过程如下 6、产生乱码的两个原因 1）编码和解码不一致导致的乱码 2）传输过程中，丢失字节导致的乱码 7、对实际情况的分析(什么都不设置，系统默认是如何呢？) 1）MySQL系统参数如下 2）set names gbk的含义
1 批量续费 1.1 使用控制台批量续费 Step1.选中一个或多个需要续费的实例，点击"批量续费"操作 [1497841899001_2514_1497841898897.png] Step
(3) 编辑系统变量path，点击新建–>输入：“%JAVA_HOME%\bin” 且移动到最上边
在字符集这一篇文章中，我们基本了解了字符集的一些概念，也知道了什么是编码，什么是编码什么是解码。那么接下来我们就聊聊乱码。
[ ] 中的关键字可以选择不加，IF NOT EXISTS 的意思是如果不存在才创建 数据库
你曾经对神秘的Content-Type标签感到好奇吗？就是那个在HTML中经常用到但是很少有人了解为什么要去使用它的标签。
PHP程序设计中中文编码问题曾经困扰很多人，导致这个问题的原因其实很简单，每个国家(或区域)都规定了计算机信息交换用的字符编码集，如美国的扩展 ASCII 码, 中国的 GB2312-80，日本的 JIS 等。作为该国家/区域内信息处理的基础，字符编码集起着统一编码的重要作用。字符编码集按长度分为 SBCS(单字节字符集)，DBCS(双字节字符集)两大类。早期的软件(尤其是操作系统)，为了解决本地字符信息的计算机处理，出现了各种本地化版本(L10N)，为了区分，引进了 LANG, Codepage 等概念。但是由于各个本地字符集代码范围重叠，相互间信息交换困难;软件各个本地化版本独立维护成本较高。因此有必要将本地化工作中的共性抽取出来，作一致处理，将特别的本地化处理内容降低到最少。这也就是所谓的国际化(118N)。各种语言信息被进一步规范为 Locale 信息。处理的底层字符集变成了几乎包含了所有字形的 Unicode。
想必 iconv 这个扩展的相关函数大家多少都接触过，做为 PHP 的默认扩展它已经存在了很久，也是我们在操作字符编码时经常会使用的函数。不过除了 iconv() 这个函数外，你还知道它的其它函数吗？今天，我们就来学习一下 iconv 扩展中的各种好玩的函数。
HttpServletResponse是专门用于HTTP协议的ServletResponse接口，它用于封装HTTP响应消息，允许操控HTTP协议相关数据，包括响应头和状态码，支持Cookies和session跟踪，HttpServletResponse也定义了一系列用于描述各种HTTP状态码的常量。
我们在进行数据库的增删改查的操作时，当我们插入英文或者数字等字符串的时候能够正常显示，但的当我们插入中文字体的时候我们就会在我们的表中发现显示的是一连串的问号，没有显示出我们本该插入的中文字体，时我们该怎么解决呢？
在Python编程中，处理字符编码和解码是一个常见但也容易出错的任务。随着计算机软硬件的发展，字符集和Unicode编码成为了解决字符处理问题的主要方法。本文将介绍Python中字符编码与解码的基本概念，并提供一些实用的代码示例。
在编码的江湖中，"乱码"算得上我们遇到的最难缠的"敌人"之一,一旦遇上、轻则心情烦躁、重则心态崩溃。文章开头，让我们再次重温与"乱码"初见面的名场面。
之前出现过一些因为mysql编码使用不正确，导致出现页面乱码的bug，比如utf8不支持Emoji表情等等。这里对乱码问题做下分析，沉淀下来避免再次出现
如果range里面的参数是数字，那么他直接按照数字大小的顺序排序，如果里面的参数是一个字符，那么他将按照ascii编码的顺序排序。
上一篇讲到字符、字符集、字符编码，粗略的一笔带过MySQL的编码，本篇想要讲讲字符编码在MySQL数据库中的应用。不仅仅是本篇文章，其他博主的文章也是，多多阅读他人的好文，才可以提升自己的水平。再次借用六一居士写的《卖油翁》来激励大家，多多阅读。
对于MySQL自带的客户端来说，这个编码过程使用的字符集和我们使用的操作系统的默认字符集是一样的，类Unix系统的默认字符集就是utf8，Windows系统的默认字符集就是gbk。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
