两个é看起来一样,哈希为什么不同?用码点和NFC核对组合字符
把两个看起来相同的é分别计算SHA-256,结果完全不同。先别急着认为哈希工具随机:一个外观相似的字形,可能由不同的Unicode码点序列组成。
本文在文本与Unicode互转中查看两种写法,再用MD5与哈希工具比较同样文本的SHA-256。例子只有公开字符,不包含真实账号、签名原文或业务数据。
第一种é由一个码点组成
第一组输入预组合字符é,码点为U+00E9。为了准确复现,可以在本地JavaScript中用字符串字面量 "\u00E9" 构造,再复制它的字符值。

本次结果是 é。十进制233对应十六进制E9,表示输入中的这一个码点。这里看到的是工具的实体表示,不是UTF-8原始字节。
同一个字符编码成UTF-8时,字节是 C3 A9。码点、UTF-16表示和UTF-8字节属于不同层次,不能把实体里的233直接当作文件中唯一的一个字节。
第二种写法由e和组合重音组成
第二组输入小写e加组合尖音符,码点顺序为U+0065、U+0301。可以用JavaScript字符串 "e\u0301" 准确构造。

本次输出 é。101是e,769是组合尖音符。当前字体把它们组合显示,外观看起来与第一组很接近,字符序列却没有因此自动变成一个U+00E9。
这组输入的UTF-8字节为 65 CC 81,与第一组的两个字节不同。浏览器里的直接字符串相等比较也会得到false,不能因为屏幕上像同一个字,就认为原文逐字相同。
Unicode提供规范化方式处理这类规范等价序列。NFC通常把可组合的这组字符整理成预组合形式;它不等于删除重音,也不是把所有长得像的字母替换成同一个字符。
哈希比较的是实际输入字节
保持哈希工具输出编码为Hex,先输入第一种é。

本次SHA-256是:
4a99557e4033c3539de2eb65472017cad5f9557f7a0625a09f1c3f6e2ba69c4c
再输入第二种分解写法:

本次结果为:
bf12767b0f2a56b2190075bae8169f656e3ce8d6357d4aff184bc6c7ea48f9f6
两项都与独立按UTF-8字节计算的SHA-256一致。这组差异有明确的字节原因,不是用来说明哪一个字符“更正确”,也不能拿其中一个摘要替换另一份原文的摘要。
需要统一时,先约定规范化位置
在本地Node.js中可用下面代码核对这两份字符串:
const a = "\u00E9";
const b = "e\u0301";
console.log(a === b); // false
console.log(a.normalize("NFC") === b.normalize("NFC")); // true
如果接口需要把这两种写法视为相同内容,应由发送方和接收方明确约定规范化形式及处理时机。签名前做NFC与对原始文本签名,是两种不同协议;不能在拿到已有签名后,单方面规范化再宣称原文未变。
文件归档、内容校验或日志取证要保留原始字节。用于检索或比较的规范化文本,可以与原文分开保存,记录采用NFC还是其他形式。不要为了让两个摘要相同,就把所有输入不加区分地统一处理。
规范化也不解决全部视觉相似问题。不同文字系统中的近似字母、字体造成的相似字形,未必是规范等价关系。本例只证明U+00E9与U+0065 U+0301这组字符在NFC后的关系,实际数据仍需先看码点和字节再判断。