Python进阶编程：编写更高效、优雅的Python代码
上QQ阅读APP看书，第一时间看更新
上一章目录下一章

2.5　将Unicode文本标准化

在处理Unicode字符串时，为了保证字符串的可用性，需要确保所有字符串在底层有相同的表示。

在Unicode字符串中，某些字符能够用多个合法的编码表示，代码（unicode_standard.py）示例如下：

uni_str_1 = 'Spicy Jalape\u00f1o'
uni_str_2 = 'Spicy Jalapen\u0303o'
print(uni_str_1)
print(uni_str_2)
print(uni_str_1 == uni_str_2)
print(len(uni_str_1))
print(len(uni_str_2))
执行py文件，输出结果如下：
Spicy Jalapeño
Spicy Jalapen~o
False
14
15

示例中的文本Spicy Jalapeño使用了两种形式来表示。第一种形式使用整体字符“ñ”（U+00F1），第二种形式使用拉丁字母“n”后面跟一个“~”的组合字符（U+0303）。

在比较字符串的程序中使用字符的多种表示会产生问题。为了避免这个问题的发生，我们可以使用unicodedata模块先将文本标准化，代码（unicode_standard.py）示例如下：

import unicodedata

t_1 = unicodedata.normalize('NFC', uni_str_1)
t_2 = unicodedata.normalize('NFC', uni_str_2)
print(t_1 == t_2)
print(ascii(t_1))
t_3 = unicodedata.normalize('NFD', uni_str_1)
t_4 = unicodedata.normalize('NFD', uni_str_2)
print(t_3 == t_4)
print(ascii(t_3))

执行py文件，输出结果如下：

True
'Spicy Jalape\xf1o'
True
'Spicy Jalapen\u0303o'

normalize()第一个参数指定了字符串标准化的方式。NFC表示字符由同一种编码组成，而NFD表示字符可分解为多个组合字符。

Python同样支持扩展的标准化形式——NFKC和NFKD。它们在处理某些字符的时候增加了额外的兼容特性，代码（unicode_standard.py）示例如下：

test_str = '\ufb01'
print(test_str)
print(unicodedata.normalize('NFD', test_str))
print(unicodedata.normalize('NFKD', test_str))
print(unicodedata.normalize('NFKC', test_str))

标准化对于任何需要以一致的方式处理Unicode文本的程序都是非常重要的，特别是在处理来自用户输入的字符串但很难去控制编码的时候。

在清理和过滤文本的时候，字符的标准化也是很重要的。如想清除一些文本上面的变音符（可能是为了搜索和匹配），相关代码（unicode_standard.py）示例如下：

test_1 = unicodedata.normalize('NFD', uni_str_1)
print(''.join(c for c in test_1 if not unicodedata.combining(c)))

执行py文件，输出结果如下：

Spicy Jalapeno

该示例展示了unicodedata模块的另一个重要方面——测试字符类的工具函数。combining()函数可以测试一个字符是否为和音字符。这个模块中的其他函数可用于查找字符类别、测试字符是否为数字字符等。

Unicode是一个很大的主题。读者如果想更深入地了解关于标准化方面的信息，可以到Unicode官网查找更多相关信息。

上一章目录下一章