# 字节编码

  • 二进制编码(Binary Encoding):指将一个字符转换成二进制编码值,即从 str 类型转换成 bytes 类型。
    • 其编码值通常以字节为单位,比如长度为 1 字节、2 字节,因此又称为字节编码。
    • 常用于将文本写入到文件中存储。

# 相关概念

  • 字节:在计算机中,指 8 个 bit 的二进制数据。
  • 字符:在现实世界中,指一个自然语言的文字。在计算机中,指数据类型 char ,存储时可能占用 n 个字节的空间。
  • 字符串:在计算机中,指数据类型 string ,由多个数据类型 char 组成。
  • 文本:在现实世界中,指由一些自然语言文字组成的信息。这些信息传入计算机中时,通常采用数据类型 string 存储。
  • 程序从文件中读写文本的一般过程:
    1. 程序将一个字符串 "Hello World!" 按 ASCII 格式编码,转换成二进制数据,写入文件。
    2. 程序从文件读取二进制数据,按 ASCII 格式解码,得到一个字符串 "Hello World!" 。
      • 如果解码的格式与编码格式不一致,得到的字符串就可能与原字符串不一致,比如出现乱码。
  • 如果一个字符的编码值超过一个字节,则称为宽字符。
  • 如果一个数据类型的长度超过 1 个字节,则需要考虑字节序的问题:
    • 大端序(Big-Endian):高位字节先存储。例如 0x11223344 存储为 0x11 0x22 0x33 0x44 ,最高位的字节 0x11 存储在地址的最低位。
    • 小端序(Little-Endian) :低位字节先存储。例如 0x11223344 存储为 0x44 0x33 0x22 0x11 ,最高位的字节 0x11 存储在地址的最高位。

# 单字节编码

# ASCII

  • :美国信息交换标准代码(American Standard Code for Information Interchange),一种简单、基础的单字节编码格式。
  • 编码范围为 0x00 ~ 0x7F ,总共定义了 128 个字符。
  • 收录了拉丁字母、一些控制字符。

# ISO-8859-1

  • :又称为 Latin-1 ,是一种单字节编码格式,编码范围为 0x00 ~ 0xFF 。
  • 是 ASCII 码的超集。
  • 收录了拉丁字母、希腊语、阿拉伯语等字符。
  • 用到了单字节的所有编码,因此可用于存储其它编码格式的字符,并不会有遗漏。

# Windows 1252

  • :又称为 cp1252 、ANSI 字符集,是 ISO-8859-1 的超集。

# 多字节编码

# Unicode

  • :一种字符集,又称为万国码、国际码、统一码,收录了世界上很多种语言的字符,给每个字符分配了唯一编码。
  • 编码范围为 U+000000 ~ U+10FFFF ,总共大约有 1.1 百万个码位(Code Point),可用于映射字符。
    • 开头两个字节从 U+00 到 U+10 划分为 17 个平面(plane),每个平面包含 2^16=65536 个码位。
    • 第一个平面称为第零平面、基本多语言平面(Basic Multilingual Plane, BMP),其它平面称为辅助平面。
    • 第零平面包含了最常用的字符,其中 D800 ~ DFFF 范围内的码位保留,不映射 Unicode 字符,因此通常被 UTF 编码使用。
  • 每个字符编码为 6 个十六进制数,加上 U+\u 作为前缀。
    • 只考虑第零平面时,可以只使用 4 个十六进制数,比如字母 A 表示成 U+0041 。

# UTF

  • :Unicode 转换格式(Unicode Transformation Format)
  • Unicode 字符的编码较长,大部分码位都用不到,浪费存储空间。因此实际使用时,通常通过 UTF 转换成更短的编码格式。

# UTF-8

  • :一种编码格式,兼容 ASCII 码。
  • 字符的编码长度可变,为 1 ~ 4 个字节。比如存储 ASCII 码字符时只用 1 个字节,存储中文字符时使用 3 个字节。
  • 编码之后的文本,不存在字节序的问题。

# UTF-16

  • :一种编码格式,不兼容 ASCII 码。
  • 大部分字符的编码长度是 2 字节,少部分不常用的字符则是 4 字节。
  • 编码之后的文本,可以在开头加上两个字节的标记,用于声明字节序,称为 BOM(Byte-Order Mark)。
    • 如果编码格式为 UTF-16 ,且没有 BOM 标记,则由软件自行选择按大端序还是小端序处理。
    • 如果在编码格式名称中声明了字节序,比如 utf-16be 或 utf-16le ,则不必加上 BOM 标记。
  • 根据字节序分类:
    • UTF-16be :大端序,BOM 标记为 0xFE 0xFF
    • UTF-16le :小端序,BOM 标记为 0xFF 0xFE
  • 例:
    >>> '12'.encode('utf-16')   # 编码格式名称中没有声明字节序,Python 默认会按小端序处理
    b'\xff\xfe1\x002\x00'       # 编码之后,会在开头加上 BOM 标记,末尾加上空字符 \x00 表示结束
    >>> 'A'.encode('utf-16')
    b'\xff\xfeA\x00'
    >>> ''.encode('utf-16be')   # 如果编码格式名称中声明了字节序,则不必再加上 BOM 标记
    b''
    >>> 'A'.encode('utf-16le')
    b'A\x00'
    

# UTF-32

  • :一种编码格式,不兼容 ASCII 码。
  • 每个字符的编码长度都是 4 字节。
  • 根据字节序分类:
    • UTF-32be :大端序,BOM 标记为 0x0000FEFF
    • UTF-32le :小端序,BOM 标记为 0xFFFE0000

# UCS

  • UCS

    • :通用编码字符集(Universal Coded Character Set),由 ISO 10646 标准定义,相当于 Unicode 字符集的子集。
  • UCS-2

    • :一种编码格式,是 UTF-16 的子集。
    • 只对 Unicode 第零平面的字符进行编码。
    • 每个字符的编码长度都是 2 字节。
    • 根据字节序分类:
      • UCS-2be
      • UCS-2le
  • UCS-4

    • :一种编码格式,是 UTF-32 的超集。
    • 每个字符的编码长度都是 4 字节。

# 中文编码

# GB2312

  • :一种简体中文的编码格式,于 1980 年发布,已经过时。
  • 在 Windows 中别名为 CP936 。
  • 收录了 6k 多个汉字、拉丁字母等。

# BIG5

  • :一种繁体中文的编码格式,又称为大五码,于 1983 年发布。
  • 收录了 1w 多汉字、拉丁字母等。

# GBK

  • :一种中文编码格式,于 1995 年发布。
  • 向下兼容 GB2312 ,向上支持 ISO 10646 标准,也收录了 BIG5 中的繁体汉字。总共收录了 2w 多个汉字。
  • 英文字符的编码长度为 1 字节,中文字符的编码长度为 2 字节。

# GB18030

  • :一种中文编码格式,于 2000 年发布。
  • 是 GBK 的超集。总共收录了 7w 多个汉字。
  • 字符的编码长度可变,包括:
    • 1 字节,向下兼容 ASCII 。
    • 2 字节,向下兼容 GBK 。
    • 4 字节

# ♢ codecs

:Python 的标准库,用于管理 Python 的编解码器。

  • 它将编解码器称为 codec ,包括 encoder 和 decoder 。
  • 它为所有编解码器定义了抽象的基类:
    class Codec:
        def encode(self, input, errors='strict'):
            pass
        
        def decode(self, input, errors='strict'):
            pass
    
  • Python 解释器内置了很多种编码格式的编解码器,它们都在 codecs 模块中注册了。
    • 编码格式的名称不区分大小写。对于连字符 - ,可以替换成下划线 _ ,也可以省略。
    • 例:查询一种编码格式对应的编解码器
      >>> import codecs
      >>> codecs.lookup('utf-8')
      <codecs.CodecInfo object for encoding utf-8 at 0x151dc6a99a0>
      >>> codecs.lookup('utf_8')
      <codecs.CodecInfo object for encoding utf-8 at 0x151dcf59400>
      >>> codecs.lookup('utf8')
      <codecs.CodecInfo object for encoding utf-8 at 0x151dcf59280>
      

# ♢ chardet

:Python 的第三方库,用于检测 bytes 对象采用的字节编码格式。

  • 安装:pip install chardet
  • 其原理是通过比对各种字符集的特征字符来猜测编码格式。
    • 检测的数据量太少就容易猜错。
    • 不能处理 str 对象,因为 str 已经是按 Unicode 格式编码了。
  • 例:检测一个字符串
    >>> import chardet
    >>> chardet.detect(b'Hello, world!')
    {'encoding': 'ascii', 'confidence': 1.0, 'language': ''}    # confidence 表示可信度,这里为 100%
    >>> chardet.detect('你'.encode('GBK')))
    {'encoding': None, 'confidence': 0.0, 'language': None}
    >>> chardet.detect('你好'.encode('GBK'))
    {'encoding': 'TIS-620', 'confidence': 0.3598212120361634, 'language': 'Thai'}
    >>> chardet.detect('你好,欢迎来到这里!'.encode('GBK'))      # 增加检测的字符数量时,检测结果可能改变
    {'encoding': 'GB2312', 'confidence': 0.99, 'language': 'Chinese'}
    - 即使 chardet 识别出为 GB2312 格式,建议也当作 GBK 格式解码。以免 chardet 把 GBK 误识别成了 GB2312 。
    
  • 例:检测一个文件
    >>> f = open(path, 'rb')
    >>> chardet.detect(f.read())['encoding']
    'GB2312'