简介：本文系统梳理字符编码的核心概念与发展脉络，从位、字节等基础单位出发，剖析ASCII、EASCII、ISO 8859、GB2312、GBK、GB18030及Unicode等主流编码方案的原理与设计逻辑，并详细解读现代字符编码模型的分层架构。读者将理解编码与解码的本质、字符集与编码方式的区别、区位码与机内码的转换关系，并掌握UTF-8、UTF-16及字节序标记（BOM）的实际应用机制。无论你是初学者还是进阶开发者，本文都将帮助你构建完整的字符编码知识体系，避免在实际开发中踩坑。
在探讨字符编码之前，必须先厘清计算机信息存储的基本单位。位（bit） 是计算机中最小的信息单位，只能表示0或1两种状态。字节（byte） 由8个位组成，是大多数计算机系统进行数据存储和处理的基本寻址单位。一个字节可以表示2^8=256种不同的状态，这也是单字节字符编码能够容纳的字符数量上限。
字（word） 与字长（word length） 则与CPU的架构密切相关。字长决定了CPU一次能并行处理的二进制位数，常见的字长有16位、32位、64位等。字长越大，CPU的寻址空间和处理能力就越强。理解这些基础单位，是理解字符编码为何存在以及如何演进的前提。
编码（Encoding） 是将人类可读的字符（如字母、数字、标点）按照一定的规则转换为计算机可识别的二进制序列的过程。解码（Decoding） 是编码的逆过程，即将二进制序列还原为人类可读的字符。
编码与解码必须遵循同一套规则，否则就会出现乱码。例如，文本“Hello”用ASCII编码为十六进制48 65 6C 6C 6F，如果使用错误的方式解码，比如按GBK解码，就会得到完全不同的字符。因此，明确字符编码方案是数据交换、存储和传输中至关重要的环节。
字符集（Character Set） 是一个抽象的字符集合，规定了哪些字符被收录，并为每个字符分配一个唯一的编号（码点）。例如，ASCII字符集收录了128个字符，包括英文字母、数字、标点及控制字符。
字符编码（Character Encoding） 则是指如何将字符集中的码点映射为具体的二进制字节序列。同一个字符集可以有多种编码方式。例如，Unicode字符集就有UTF-8、UTF-16、UTF-32等多种编码方式，它们对同一个码点的字节表示各不相同。
理解两者的区别至关重要：字符集解决“有哪些字符”的问题，字符编码解决“如何存储和传输这些字符”的问题。
国际标准化组织（ISO）提出了现代字符编码的通用模型，将字符编码过程拆解为五个层次，有助于清晰理解从字符到字节的完整映射流程。
抽象字符表定义了需要编码的字符集合，即“哪些字符需要被支持”。例如，英文字母、阿拉伯数字、中文汉字、日文假名等。这一层只关心字符的语义，不涉及任何二进制表示。
编号字符集为抽象字符表中的每个字符分配一个唯一的非负整数，即码点（Code Point）。例如，在Unicode字符集中，汉字“中”的码点是U+4E2D，拉丁字母“A”的码点是U+0041。
字符编码方式决定了如何将码点转换为码元（Code Unit） 序列。码元是编码后的基本单位，可以是8位、16位或32位。例如，UTF-8使用8位码元，UTF-16使用16位码元。CEF规定了码点与码元之间的数学转换规则。
字符编码模式定义了码元如何映射为实际的字节序列，包括字节序（大端/小端）的处理。例如，UTF-16 BE（大端）和UTF-16 LE（小端）就是两种不同的字符编码模式，它们在字节排列顺序上有所差异。
传输编码语法进一步处理字节序列，使其适合在特定网络环境或协议中传输。例如，Base64编码、Quoted-Printable编码等都属于传输编码语法。它们通常用于将二进制数据转换为纯文本形式，以兼容某些只支持文本传输的协议（如电子邮件）。
ASCII（American Standard Code for Information Interchange）是最早也是最基础的字符编码方案。它使用7位二进制数（最高位为0）表示128个字符，包括：
ASCII的设计简洁高效，极大推动了计算机在英文世界的普及。但它的局限性也很明显：仅支持128个字符，无法表示其他语言的文字。
为了扩展ASCII的功能，EASCII（Extended ASCII）利用字节的最高位，将编码空间扩展到256个字符。在此基础上，ISO/ IEC 8859系列标准定义了针对不同语言和地区的单字节编码方案。
例如：
这些方案虽然解决了部分欧洲语言的编码问题，但仍然是单字节编码，最多只能表示256个字符，无法覆盖全球所有文字。
GB2312是中国国家标准总局发布的中文编码方案，共收录6763个汉字和682个其他图形符号。它采用双字节编码，每个字节的高位均为1，以区别于ASCII码。
GB2312的设计基于区位码结构：将编码空间划分为94个区（行）和94个位（列）。区号与位号各用一个字节表示，分别从0xA1到0xFE。例如，“中”字的区位码是5448，国标码为0xD6D0。
GBK（汉字内码扩展规范）是对GB2312的扩展，增加了对繁体中文、日文假名、朝鲜文等字符的支持，共收录21886个字符。GBK依然采用双字节编码，与GB2312完全兼容，即GB2312的编码在GBK中保持不变。
GB18030是中国最新的强制性国家标准，不仅支持全部中日韩统一表意文字（CJK），还覆盖了Unicode中的所有码点。GB18030采用变长编码，有单字节、双字节和四字节三种形式。其中四字节编码可以表示Unicode中的辅助平面字符（如Emoji），这使得GB18030在处理多语言文本时具有更大的灵活性。
在汉字编码体系中，存在几个容易混淆的概念，理解它们的差异至关重要：
0x20（32），得到两个字节的十六进制值。加0x20的目的是避开ASCII中的控制字符，确保与ASCII码兼容。例如，“中”字的区位码5448，区号54转换为十六进制0x36，加上0x20得到0x56；位号48转换为0x30，加上0x20得到0x50，因此国标码为0x5650；0x80），以便与单字节的ASCII码明确区分。例如，“中”字的国标码0x5650，各加0x80后得到机内码0xD6D0，这正是GB2312编码在内存中的实际存储形式。此外，外码（输入码） 是指用户通过键盘输入汉字时所使用的编码，如拼音码、五笔字型码等；字形码（输出码） 则是指汉字在显示器或打印机上呈现时所使用的点阵或矢量数据。从输入到输出的完整流程为：外码 → 机内码 → 字形码。
ANSI编码并非单一编码标准，而是指在特定操作系统（如Windows）中，基于系统区域设置所采用的本地化编码方案。例如，在简体中文版的Windows系统中，ANSI编码即代表GBK；在繁体中文系统中，ANSI代表Big5；在日语系统中，ANSI代表Shift_JIS。
代码页（Code Page） 是操作系统为每种编码方案分配的编号。常见的代码页包括：
代码页机制允许同一系统通过切换代码页来支持不同语言的编码，但也容易因编码混用导致乱码问题。
随着全球化进程的加快，多语言文本同屏处理成为刚需。此前各字符集互不兼容的混乱局面，促使Unicode应运而生。
Unicode为世界上几乎所有书面字符分配了唯一的码点，范围从U+0000到U+10FFFF，共约110万个码点。整个编码空间被划分为17个平面（Plane），每个平面可容纳65536个码点：
U+0000至U+FFFF，覆盖了几乎所有常用字符，包括ASCII、拉丁字母、汉字、韩文音节、常用标点等；U+10000至U+10FFFF，主要存放历史文字、罕见汉字、数学符号及Emoji等。Unicode字符集支持多种编码方式，目前最主流的是UTF-8。UTF-8是一种变长编码，根据码点的大小使用1至4个字节表示一个字符：
0xxxxxxx（兼容ASCII）；110xxxxx 10xxxxxx；1110xxxx 10xxxxxx 10xxxxxx；11110xxx 10xxxxxx 10xxxxxx 10xxxxxx。UTF-8的优势在于其向后兼容ASCII，且对于英文文本有较高的存储效率，同时能够表示Unicode中的所有码点。UTF-16则使用2或4字节表示一个字符，在Windows系统和Java等环境中被广泛采用，但需要注意字节序（大端/小端）的问题。
字节序标记（Byte-Order Mark, BOM） 是位于文本流开头的特殊字符U+FEFF，用于标识文本的编码方式及字节序。在UTF-8中，BOM的字节序列为EF BB BF；在UTF-16中，BOM的字节序列为FE FF（大端）或FF FE（小端）。文件编辑器通常会根据BOM自动识别编码方式，但如果在不需要BOM的环境下（如Unix脚本）误用了BOM，可能会导致解析异常。
字符编码看似简单，却在软件开发中极易引发问题。以下几点建议值得每位开发者牢记：
从位与字节到Unicode的演进历程，不仅反映了计算机科学的进步，也折射出人类对信息表达统一性的不懈追求。掌握字符编码的底层逻辑，能够帮助我们在面对乱码、国际化、多语言支持等问题时，从容地找出解决方案。