Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >为什么汉字需要 2 个字节存储而英文字母只需 1 个字节存储

为什么汉字需要 2 个字节存储而英文字母只需 1 个字节存储

原创
作者头像
编程小妖女
发布于 2025-05-11 02:39:05
发布于 2025-05-11 02:39:05
6900
代码可运行
举报
文章被收录于专栏:后端开发后端开发
运行总次数:0
代码可运行

当计算机技术萌芽之初,人们设计存储和传输信息的方式就面临一个十分重要的问题,那便是如何用有限的存储空间来表达丰富多彩的自然语言。随着计算机在全球范围内得到普及,各种语言都迫切需要在电子系统中找到合适的表达方法。计算机世界中有一种最早出现的编码方案——ASCII 编码,它以 1 个字节(即 8 位)的存储单位记录英文字母、数字以及一些常用符号。这种编码方式能够涵盖 128 或者扩展到 256 个字符,足以满足英语以及其它西方语言的基本需求。然而,当面对拥有数千甚至上万个字符的汉语时,仅用 1 个字节来存储就远远不够,必须采用 2 个字节或者更多字节的编码方式才能涵盖所有汉字。

探讨这一现象,需要从两个角度来理解,一方面是存储空间的数值容量,另一方面则涉及到历史背景与技术演进。回顾历史,早期的计算机内存和处理能力十分有限,因此设计者选择了一个经济高效的方法来满足大部分用户的需求。ASCII 编码采用 7 位或者 8 位表示字符,其最大值为 2 的 7 次方或 2 的 8 次方,这在那时已经能够涵盖英语的字母、数字和标点符号。英文字母数量有限,整个英语字符集包括大小写字母、数字以及基本符号,总数远远小于 256 个,因此 1 个字节恰到好处。

汉字则面临着截然不同的情形。汉语中常用的汉字就有数千个,再加上古籍、方言、专有名词等,数量可以达到几万甚至更多。1 个字节所能表达的 256 个数值完全无法满足这一需求,因此历史上就衍生出多字节编码方案,例如 GB2312GBK 等固定双字节编码方案,每个汉字使用 2 个字节来进行存储。2 个字节能够表示 2 的 16 次方,即 65,536 个可能的组合,足以覆盖绝大部分汉字,并为一些符号和其他语言字符保留了余地。

深入理解这一差异,从逻辑上可以分析为:计算机存储的最小单元是字节,每个字节提供 8 位的二进制空间,能够组合出 256 种不同的值。如果将 1 个字节作为基本编码单元,那么无论是字母、数字或者符号,都必须从这 256 个组合中选取。对于英语来说,字母表大小仅为 26 个,再加上标点符号和控制字符,完全可以被包含在这个有限的数值范围内。相比之下,汉字的总量远远超过 256 个,因此设计者不得不考虑用更多的字节来扩展这个数值范围,从而能够为每一个汉字分配一个唯一的代码值。利用 2 个字节,其理论上可以提供 65,536 个不同的编码值,这样不仅能满足现代汉语的需求,还能涵盖大量的历史文献与少数民族文字。

技术上,这种多字节编码方案对计算机的处理方式带来了一定的复杂性。许多早期的程序和协议都是以 1 个字节为基本处理单位设计的,因此在处理汉字时需要进行特殊的分割与解析。为了避免混淆,编码方案往往会将 1 个字节内的数值划分为单字节字符和双字节字符两部分。一般而言,当检测到一个字节的数值位于特定的范围内时,就说明接下来的字节是和当前字节组合成一个完整的汉字。这样既保证了向后兼容 ASCII 字符集,同时又能够扩展出足够的空间存储汉字。历史上的许多编码方案都采用了这种方式,使得系统在不破坏原有英语应用的基础上,也能支持中文信息的存储与传输。

当计算机技术逐步发展到支持多语言的时代,人们引入了 Unicode 标准来统一各国文字的编码。Unicode 的设计思想在于为世界上所有的文字提供一个独一无二的代码点。在 Unicode 编码体系中,英文字符依然可以用 1 个字节(在 UTF-8 编码下)表示,而汉字通常需要 3 个字节甚至更多,这主要取决于编码方案的选择。虽然现代 UTF-8 编码并非固定 2 个字节存储汉字,但在很多专门针对中文优化的编码方案中,固定 2 个字节成为一种高效而实际的解决方案。这个历史遗留问题也解释了为什么有时我们会看到汉字在内存中占用更多的存储空间,而英文字母仅仅需要 1 个字节。

在考虑存储效率的时候,不能忽视的一个因素是语言本身的复杂性。英语作为拼音文字,其构成基于有限的字母组合;而汉语则采用象形文字,每个汉字背后都蕴含着独立的意义和文化内涵。这样的设计要求必须为每个汉字分配一个独立的存储单元,从而避免因不同汉字共享存储而导致的混淆。更广泛的思考让我们认识到,这种存储设计不仅仅是一种技术选择,更是一种文化和语言的体现,代表了人类对多样性信息表达的追求与尊重。

与此同时,计算机内部的硬件架构和数据传输标准也对编码方式产生了深远影响。由于 1 个字节是计算机存储数据的基本单位,因此设计双字节编码方案既遵循了硬件设计原则,也能在一定程度上保证数据的传输效率。实际开发中,程序员需要在处理字符串、设计数据库以及构建网络通信协议时,特别注意多字节与单字节字符的区别,以防止出现乱码或者数据解析错误的情况。现代编程语言大都内置对多字节字符串的支持,通过专门的库函数或内置方法帮助开发者正确处理中文字符,这也是几十年来技术不断进步的结果。

为了使这一理论更加直观,可以参考下面的 Python 完整源代码示例,该示例展示了同一字符在不同编码方式下占用的字节数。代码中采用单引号来书写字符串,避免了使用英文双引号,从而满足了文本格式要求,同时确保代码能正常运行:

代码语言:python
代码运行次数:0
运行
AI代码解释
复制
# -*- coding: utf-8 -*-
def main():
    # 英文字符
    eng = 'A'
    # 汉字
    chi = '汉'
    # 在 UTF-8 编码下,英文字符通常占用 1 个字节,而汉字可能占用 3 个字节
    print('英文字符:', eng, '在 UTF-8 编码下占用', len(eng.encode('utf-8')), '个字节')
    print('汉字:', chi, '在 UTF-8 编码下占用', len(chi.encode('utf-8')), '个字节')
    
    # 在 GBK 编码下,英文字符依然占用 1 个字节,而汉字占用 2 个字节
    print('英文字符:', eng, '在 GBK 编码下占用', len(eng.encode('gbk')), '个字节')
    print('汉字:', chi, '在 GBK 编码下占用', len(chi.encode('gbk')), '个字节')

if __name__ == '__main__':
    main()

通过运行以上代码,大家可以看到在不同编码方式下,内存中存储数据的差异。实际上,编码方式的选择与存储方式的设计紧密相关。针对特定场景,开发者常常会根据需求来选用不同的编码方案:如果目标是处理大量英文文本,采用单字节编码既节省内存又能提高处理效率;而当系统需要支持多种语言、尤其是汉字时,则必须考虑到多字节编码带来的额外存储需求,从而在程序设计中引入更为复杂的字符串处理逻辑。

反思这一技术现象,其背后体现出计算机系统如何在有限资源下平衡存储效率与语言多样性的深刻考量。虽然现在内存资源和存储容量已不再是绝对瓶颈,但在早期计算机系统设计时,每一个字节都是极其宝贵的。工程师们必须精心规划,确保系统既能满足功能需求,又能在硬件资源极为有限的条件下高效运行。正因为如此,针对不同语言字符的存储需求,设计出单字节和双字节两种截然不同的处理方式,成为了计算机发展史上的一大里程碑。

深入探讨这一问题时,我们可以看到技术进步不仅仅是硬件参数的提升,更在于软件与硬件协同设计时所做出的种种取舍。开发者在面对复杂应用场景时,总能巧妙地利用编码方案的灵活性,将多种语言的处理需求融入到统一的系统架构中。这样的设计理念不仅影响了操作系统、数据库、网络通信等众多领域,同时也成为了软件工程领域中不可或缺的智慧结晶。

经过长时间的积累与沉淀,现今的编码标准已经远超当年的简单设计,不仅能支持多语言,还能够兼容历史遗留系统。尽管如此,汉字与英文字母在存储上依然呈现出截然不同的字节数分布,这不仅反映了语言本身的复杂度,也揭示了计算机科学家和工程师们在实际工作中不断平衡效率与多样性的智慧。无论是当年的 GB2312 还是如今风靡全球的 Unicode,都充分展示了技术演进与人类智慧的完美结合。

综观整个发展历程,技术人员在设计编码方案时面临的种种难题,都源于如何在有限的资源中最大化信息的表达能力。英文字符所对应的单字节编码,其背后的理论基础简单明了;而汉字所需的双字节存储,则是对丰富语言符号体系的深刻回应。这种差异不仅体现在存储方案上,更在编程语言、数据传输、系统设计等各个方面留下了深远的印记。可以说,从硬件原理到软件实现,从历史背景到现代标准,这一问题无不彰显着计算机科学与工程领域中跨越时空的技术智慧。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
刨根究底字符编码之五——简体汉字编码方案(GB2312、GBK、GB18030、GB13000)以及全角、半角、CJK
英文字母再加一些其他标点字符之类的也不会超过256个,用一个字节来表示一个字符就足够了(2^8 = 256)。但其他一些文字不止这么多字符,比如中文中的汉字就多达10多万个,一个字节只能表示256个字符,肯定是不够的,因此只能使用多个字节来表示一个字符。
笨笨阿林
2022/05/09
4.4K0
刨根究底字符编码之五——简体汉字编码方案(GB2312、GBK、GB18030、GB13000)以及全角、半角、CJK
关于字符集(彻底搞清楚一个中文占几个字节?)
Java微观世界
2025/01/21
3040
关于字符集(彻底搞清楚一个中文占几个字节?)
一文说清文本编码那些事
试想你请求一个数据,却得到一堆乱码,丈二和尚摸不着头脑。有同事质疑你的数据是乱码,虽然你很确定传了 UTF-8 ,却也无法自证清白,更别说帮同事 debug 了。
全栈程序员站长
2021/04/07
8370
字符集及其存储方式(解决乱码问题)
阅读大概需要4分钟 在我们进行文本挖掘或处理文档时,都要面临一个最最基本的问题->就是解决乱码问题。在此,介绍最本质的字符编码。 我们熟悉的有三种:ASCII字符集,中文字符集(GBK),Unicode字符集 ASCII字符集 故事: 美国信息交换标准代码,这是计算机上最早使用的通用的编码方案。那个时候计算机还只是拉丁文字的专利,根本没有想到现在计算机的发展势头,如果想到了,可能一开始就会使用unicode了。当时绝大部分专家都认为,要用计算机,必须熟练掌握英文。这种编码占用7个Bit,在计算机中占
zenRRan
2018/04/13
1.4K0
字符集及其存储方式(解决乱码问题)
刨根究底字符编码之十——Unicode字符集的编码方式以及码点、码元
由于Unicode字符集非常大,有些字符的编号(码点值)需要两个或两个以上字节来表示,而要对这样的编号进行编码,也必须使用两个或两个以上字节。
笨笨阿林
2021/12/24
2K0
刨根究底字符编码之十——Unicode字符集的编码方式以及码点、码元
你所不了解的字符编码
前言 在我的工作中,常常会遇到形形色色的字符编码,对于各种编码技术本人了解的也不是很多。 本篇是我了解编码系列的开篇,主要内容讲述字符编码的基本概念,然后介绍一下常见的字符编码,最后说明一下 Java
BUG弄潮儿
2021/06/25
1.1K0
你所不了解的字符编码
字符编码详解及由来
真空管时代的计算机尽管已经步入了现代计算机的范畴,但其体积之大、能耗之高、故障之多、价格之贵大大制约了它的普及应用。直到1947年,由Bell实验室的William B. Shockley、 John Bardeen和Walter H. Brattain.发明了晶体管,开辟了电子时代新纪元,电子计算机也找到了腾飞的起点,一发而不可收……
黄规速
2022/04/14
9540
字符编码详解及由来
汉字到底占几个字节丨C「建议收藏」
ANSI:最早的时候计算机ASCII码只能表示256个符号(含控制符号),这个字符集表示英文字母足够,其中,我们键盘上可见的符号的编码范围是从32到126(大小写英文字母、数字、英文符号等)。但表示汉字、日语、韩语就不太够用了,汉字常用字有3000多个。
全栈程序员站长
2022/09/13
1.1K0
字节码:ASCII编码:单字节编码,ANSI编码:多字节编码,UNICODE编码:宽字节编码
字符是人们常用的一些记号,比如”1”, “汉”, “お”,”℃”等等,包括各种语系的语言和一些符号都可以被称为字符。 字节是计算机存储数据的存储单元,是一个8位的二进制数,所以最多只能表示256个数字(0-255)。 编码是大家对计算机如何使用字节来表示一个字符的约定,可分为ASCII编码,ANSI编码(本地化编码),UNICODE编码(国际化编码)三种。
学到老
2019/02/14
4.6K0
字节码:ASCII编码:单字节编码,ANSI编码:多字节编码,UNICODE编码:宽字节编码
字符是人们常用的一些记号,比如”1”, “汉”, “お”,”℃”等等,包括各种语系的语言和一些符号都可以被称为字符。 字节是计算机存储数据的存储单元,是一个8位的二进制数,所以最多只能表示256个数字(0-255)。 编码是大家对计算机如何使用字节来表示一个字符的约定,可分为ASCII编码,ANSI编码(本地化编码),UNICODE编码(国际化编码)三种。 1.ASCII编码:单字节编码。 最初的编码,由一个字节组成,因此只能表示256个字符,但只表示0-9,a-z,A-Z,和一些加减乘除百分号,够老美用了
学到老
2018/03/19
3.6K0
字节码:ASCII编码:单字节编码,ANSI编码:多字节编码,UNICODE编码:宽字节编码
字符集
本文主要讲解字符集和字符编码的一些概念,通常我们所说的字符集其实指的包含了字符编码集+字符编码。但字符集有时候有时候又只是字符编码集的简称,具体语义根据上下文判断理解就行,也不是必须分的很清楚。
@阿诚
2020/09/01
1.9K0
字符集
Eclipse保存文件时出现字符编码错误
eclipse 由于开源所以支持了比较杂的编码方式,而这些一个工程导入时添加了不少的外来程序,由于不是同一工程一次编码带来了其中含有 GBK 或 UTF8 或 UTF16 或 ASCII 等文件编译时就会出现错误警告。
黑泽君
2018/10/11
4.1K0
一文打通计算机字符编码
字符编码:字符集只是规定了有哪些字符,而最终决定采用哪些字符,每一个字符用多少字节 表示等问题,则是由编码来决定的。计算机要准确的处理各种字符集文字,需要进行字符编码, 以便计算机能 够识别和存储各种文字
一个风轻云淡
2023/09/24
2910
字符编码笔记:ASCII,Unicode和UTF-8
很久很久以前,有一群人,他们决定用8个可以开合的晶体管来组合成不同的状态,以表示世界上的万物。他们看到8个开关状态是好的,于是他们把这称为"字节"。 再后来,他们又做了一些可以处理这些字节的机器,机器开动了,可以用字节来组合出很多状态,状态开始变来变去。他们看到这样是好的,于是它们就这机器称为"计算机"。 开始计算机只在美国用。八位的字节一共可以组合出256(2的8次方)种不同的状态。 他们把其中的编号从0开始的32种状态分别规定了特殊的用途,一但终端、打印机遇上约定好的这些字节被传过来时,就要做一些约定的动作。遇上00x10,终端就换行,遇上0x07,终端就向人们嘟嘟叫,例如遇上0x1b,打印机就打印反白的字,或者终端就用彩色显示字母。他们看到这样很好,于是就把这些0x20以下的字节状态称为"控制码"。 他们又把所有的空格、标点符号、数字、大小写字母分别用连续的字节状态表示,一直编到了第127号,这样计算机就可以用不同字节来存储英语的文字了。大家看到这样,都感觉很好,于是大家都把这个方案叫做 ANSI 的"ASCII"编码(American Standard Code for Information Interchange,美国信息互换标准代码)。当时世界上所有的计算机都用同样的ASCII方案来保存英文文字。 后来,就像建造巴比伦塔一样,世界各地的都开始使用计算机,但是很多国家用的不是英文,他们的字母里有许多是ASCII里没有的,为了可以在计算机保存他们的文字,他们决定采用127号之后的空位来表示这些新的字母、符号,还加入了很多画表格时需要用下到的横线、竖线、交叉等形状,一直把序号编到了最后一个状态255。从128到255这一页的字符集被称"扩展字符集"。从此之后,贪婪的人类再没有新的状态可以用了,美帝国主义可能没有想到还有第三世界国家的人们也希望可以用到计算机吧! 等中国人们得到计算机时,已经没有可以利用的字节状态来表示汉字,况且有6000多个常用汉字需要保存呢。但是这难不倒智慧的中国人民,我们不客气地把那些127号之后的奇异符号们直接取消掉,规定:一个小于127的字符的意义与原来相同,但两个大于127的字符连在一起时,就表示一个汉字,前面的一个字节(他称之为高字节)从0xA1用到0xF7,后面一个字节(低字节)从0xA1到0xFE,这样我们就可以组合出大约7000多个简体汉字了。在这些编码里,我们还把数学符号、罗马希腊的字母、日文的假名们都编进去了,连在 ASCII 里本来就有的数字、标点、字母都统统重新编了两个字节长的编码,这就是常说的"全角"字符,而原来在127号以下的那些就叫"半角"字符了。 中国人民看到这样很不错,于是就把这种汉字方案叫做 "GB2312"。GB2312 是对 ASCII 的中文扩展。 但是中国的汉字太多了,我们很快就就发现有许多人的人名没有办法在这里打出来,特别是某些很会麻烦别人的国家领导人。于是我们不得不继续把 GB2312 没有用到的码位找出来老实不客气地用上。 后来还是不够用,于是干脆不再要求低字节一定是127号之后的内码,只要第一个字节是大于127就固定表示这是一个汉字的开始,不管后面跟的是不是扩展字符集里的内容。结果扩展之后的编码方案被称为 GBK 标准,GBK 包括了 GB2312 的所有内容,同时又增加了近20000个新的汉字(包括繁体字)和符号。 后来少数民族也要用电脑了,于是我们再扩展,又加了几千个新的少数民族的字,GBK 扩成了 GB18030。从此之后,中华民族的文化就可以在计算机时代中传承了。 中国的程序员们看到这一系列汉字编码的标准是好的,于是通称他们叫做 "DBCS"(Double Byte Charecter Set 双字节字符集)。在DBCS系列标准里,最大的特点是两字节长的汉字字符和一字节长的英文字符并存于同一套编码方案里,因此他们写的程序为了支持中文处理,必须要注意字串里的每一个字节的值,如果这个值是大于127的,那么就认为一个双字节字符集里的字符出现了。那时候凡是受过加持,会编程的计算机僧侣们都要每天念下面这个咒语数百遍: "一个汉字算两个英文字符!一个汉字算两个英文字符......" 因为当时各个国家都像中国这样搞出一套自己的编码标准,结果互相之间谁也不懂谁的编码,谁也不支持别人的编码,连大陆和台湾这样只相隔了150海里,使用着同一种语言的兄弟地区,也分别采用了不同的 DBCS 编码方案——当时的中国人想让电脑显示汉字,就必须装上一个"汉字系统",专门用来处理汉字的显示、输入的问题,但是那个台湾的愚昧封建人士写的算命程序就必须加装另一套支持 BIG5 编码的什么"倚天汉字系统"才可以用,装错了字符系统,显示就会乱了套!这怎么办?而且世界民族之林中还有那些一时用不上电脑的穷苦人民,他们的文字又怎么办? 真是计算机的巴比伦塔命
intsmaze-刘洋
2018/08/29
2.1K0
字符编码笔记:ASCII,Unicode和UTF-8
ANSI和ASCII、GBK和GB2312、Unicode和UTF-8的区别
NSI码(American National Standards Institute)
全栈程序员站长
2022/07/01
2.1K0
Unicode 和 UTF-8 有何区别?
=============很久以前保存的,别人写的但是很明了=============
谙忆
2021/01/21
5400
我都服了,为啥上游接口返回的汉字总是乱码?
想必大家编写代码时肯定和我一样,也遇到过汉字乱码的问题。特别是,有时候和上下游对接接口,不能统一编码格式的话,一堆乱码问题,让人头皮发麻。
烟雨星空
2021/09/14
1.8K0
我都服了,为啥上游接口返回的汉字总是乱码?
各种编码格式,你懂得!!!
GBK,ISO-8859-1,GB2312的本质区别 编码有几种 ,计算机最初是在美国等国家发明的 所以表示字符只有简单的几个字母只要对字母进行编码就好 我们标准码 iso-8859-1 这就是一个标准 但是后来计算机普及了 于是就中国要使用计算机了 但是机器不认得中文,于是就有了国际码。 gbk gb2312都是这类。两个其实一个,一个是标准(发布的代号),一个是简称。后来多了个阿拉伯语、日语、韩语......所以就出来统一编码UniCode ISO-8859-1编码是单字节编码,向下兼容ASCII,其编码范围是0x00-0xFF,0x00-0x7F之间完全和ASCII一致,0x80-0x9F之间是控制字符,0xA0-0xFF之间是文字符号。此字符集主要支持欧洲使用的语言。
李才哥
2019/07/10
11.2K0
各种编码格式,你懂得!!!
字符集详解
MySQL 字符编码集中有两套 UTF-8 编码实现:utf8 和 utf8mb4。
人不走空
2024/02/20
2300
关于字符编码的那些事
一、编码是什么 编码为了某种目的把信息从一种形式集合转换为另一种形式集合的过程,古时的鸣金收兵,从某种意义上讲也是一种编码,将帅发出了退兵的命令,为了让更多的人能够知道这个命令,传令兵把这个信息转换为了锣声,传递了出去 与编码相对的还有解码,解码是根据某种规则将信息恢复到原状的过程,士兵之前都接收过训练,在听到锣声之后,明白到锣声代表退兵,便开始执行这一命令。 旗语,电报中的莫斯电码等等,这些东西里面也包含了编码 二、关于字符集和字符编码 因为计算机中的信息都是用二进制数表示的,所以我们必须将汉字、英文按照
magicsoar
2018/02/06
1K0
关于字符编码的那些事
推荐阅读
相关推荐
刨根究底字符编码之五——简体汉字编码方案(GB2312、GBK、GB18030、GB13000)以及全角、半角、CJK
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验