Unicode编码解码工具 - 码点、\u转义与UTF-16/UTF-8互转
一段 \u4F60\u597D,三种人看到三种东西
排查线上问题时,日志里经常出现这样的字段:
{"msg":"\u4f60\u597d\uff0c\u4e16\u754c","code":0}后端说”输出是正常的”,前端说”页面上明明显示的是中文”,而在你眼里它就是一堆反斜杠加字母和数字。同一个岗位换个方向,问题就换一副面孔:
- 运营反馈”这个输入框最多 20 个字,我打了 10 个表情就满了”;
- 测试截图说,用户昵称里的 emoji 存进数据库之后变成了两个问号;
- 昨天还正常的 CSV,今天在一台新电脑上打开是一屏看不懂的汉字。
这三件事表面毫无关系,其实是同一个坐标系里的三个位置:字符、码点、编码单元、字节。把这四层的对应关系理顺,上面这些现象都能自己解释清楚,不用靠猜”是不是又编码错了”。
星点 Unicode 编码解码工具 做的事情就是把这条链路摊开:文本和码点互转、文本和 \u 转义互转,并且在下面用表格逐个字符列出它的码点、UTF-16 代码单元和 UTF-8 字节。你不需要记住换算规则,但看完这些数字,很多”玄学问题”会立刻变得有迹可循。
Unicode 是字符集,UTF-8 和 UTF-16 才是编码
先把最容易含混的一层拆掉。Unicode 本身不是一个”编码格式”,它是一张编号表:给世界上每个字符分配一个唯一编号,这个编号叫码点(code point),写作 U+4F60 这种形式。
码点的取值范围是 U+0000 到 U+10FFFF,一共 1114112 个位置。其中 U+D800 到 U+DFFF 这 2048 个位置被单独划出来,叫代理区,永远不分配给任何字符,只留给 UTF-16 做”拼接”用。目前实际分配出去的字符是十几万个量级,剩下的位置留给以后新增的文字和符号。
UTF-8 和 UTF-16 是两种把码点变成实际存储/传输形式的编码方式:
| UTF-8 | UTF-16 | |
|---|---|---|
| 基本单位 | 字节(8 位) | 代码单元(16 位) |
| 长度 | 1~4 字节变长 | 1 或 2 个单元 |
| ASCII 兼容 | 兼容,A 就是 41 | 不兼容,A 是 00 41 |
| 典型使用场景 | 文件、HTTP、JSON、HTML、Linux | JS/Java/C# 的内存字符串、Windows API |
所以”Unicode 编码”这个说法其实是模糊的:你可能是要把文字转成码点,可能是要生成 \u4F60 这样的转义写法,也可能是要看它在 UTF-8 里到底是哪几个字节。三种需求,三种答案,混在一起讨论就会一直打架。
举个最直接的例子:你 这个字。
- 码点:
U+4F60 - UTF-16 代码单元:
4F60,一个单元就够 - UTF-8 字节:
E4 BD A0,三个字节 - GBK 字节(不是 Unicode):
C4 E3,两个字节
同一个字,四组完全不同的数字。看到 C4 E3 的时候如果你按 UTF-8 去解,得到的就是乱码——这也是后面排查乱码的起点。
码点、UTF-16 代码单元、UTF-8 字节:三种度量对照
这三种度量最容易混淆的地方在于:它们在”常用汉字”范围内经常表现得很像(BMP 内的字符,码点是一个值,UTF-16 也是一个单元,UTF-8 是三个字节),一旦出了这个范围,差异立刻放大。
| 概念 | 度量单位 | 你 | 😀 | 谁在用它 |
|---|---|---|---|---|
| 码点 | 抽象编号 | U+4F60 | U+1F600 | Unicode 标准、字符属性查询 |
| UTF-16 代码单元 | 16 位 | 4F60(1 个) | D83D DE00(2 个) | JS 的 length、Java 的 char |
| UTF-8 字节 | 8 位 | E4 BD A0(3 字节) | F0 9F 98 80(4 字节) | 文件、网络传输、数据库存储 |
| 字素簇 | 用户感知的”一个字” | 1 个 | 1 个 | 光标移动、截断、字数统计 |
读完这张表能得出三个实用结论:
- 码点是唯一的,一个字符只有一个码点;字节数是不唯一的,同一个字符在不同编码下字节数不同。
- UTF-16 的单元数不等于字符数。BMP 内一个字符一个单元,BMP 外一个字符两个单元。这就是 JS 里
"😀".length === 2的原因。 - UTF-8 的字节数也不等于字符数。ASCII 是 1 字节,欧洲文字多是 2 字节,常用汉字是 3 字节,emoji 通常是 4 字节。
还有一个常被忽略的第四层:字素簇。用户眼里的”一个字符”,可能是多个码点组合出来的。比如 e 加一个组合重音符 U+0301,在屏幕上是一个 é,实际是两个码点;再比如肤色修饰、国旗、家庭 emoji,都是多个码点粘在一起。码点数和”看起来几个字”之间没有必然相等的关系。
代理对是怎么算出来的
非 BMP 字符(码点大于 U+FFFF)在 UTF-16 里必须用两个代码单元表示,这一对就叫代理对。规则是固定的,不是随便拼的:
码点 = 0x1F600减去 0x10000 → 0x0F600
高代理 = 0xD800 + (0x0F600 >> 10) = 0xD800 + 0x3D = 0xD83D低代理 = 0xDC00 + (0x0F600 & 0x3FF) = 0xDC00 + 0x200 = 0xDE00反推也一样:(0xD83D - 0xD800) << 10 得到 0xF400,加上 (0xDE00 - 0xDC00) = 0x200,再加回 0x10000,正好回到 0x1F600。
这段算术的实际意义在于:高代理和低代理都不能单独存在。它们只是把一个 21 位的码点切成两半塞进 16 位单元里的技术手段,本身不表示任何字符。所以 \uD83D 单独出现时,它不是一个合法字符,而是一个语法上能通过、语义上无意义的残片。这也是下面第一个大坑的由来。
工具能做什么:四个方向、三种格式、一张逐字符表
这个工具的输入输出方向有四个,覆盖了日常会遇到的全部组合:
- 文本 → 码点:
你好变成U+4F60 U+597D - 码点 → 文本:把
U+4F60 U+597D贴回去变回你好 - 文本 → 转义:
你好变成\u4F60\u597D,可以直接塞进 JSON 或 JS 字符串 - 转义 → 文本:把日志里那段
\u4f60\u597d\uff0c\u4e16\u754c还原成你好,世界
码点输出支持三种格式,对应三种不同的下游用途:
| 格式 | 你 的输出 | 适用场景 |
|---|---|---|
U+ 十六进制 | U+4F60 | 文档、规范、字符属性查询 |
\u 转义 | \u4F60 | JSON、JavaScript、Java 字符串字面量 |
| 十进制 | 20320 | 部分语言/表格里的字符码、老系统字段 |
十进制这里要多说一句:U+4F60 换成十进制是 20320,U+597D 是 22909,U+1F600 是 128512。有些接口和数据库字段把字符码存成十进制整数,直接拿十六进制去对会一直对不上,切一下格式就通了。
码点序列之间的分隔符是可选的。输出一串码点的时候,带分隔符方便人读,也方便直接切成数组贴进代码;如果你要的是一段紧凑的转义串,就按转义形式输出,不要自己再手动拼。
最后是逐字符详情表,这是排错时最有用的部分。把一段文本贴进去,每个字符占一行,左边是字符本身,右边依次是码点、UTF-16 代码单元、UTF-8 字节。它可以回答很多”肉眼看不出来”的问题:
- 这个空格到底是普通空格
U+0020、不换行空格U+00A0,还是全角空格U+3000? - 这段文本里是不是混进了零宽字符?
- 某个字段为什么”长度对不上”,是哪个字符占了两个单元?
有个细节值得强调:工具对非法码点和孤立代理项是直接报错的,不会默默替换成问号。理由是替换会把问题藏起来——你看到结果”成功”了,实际上数据已经变了,等到下游报错时排查成本高得多。
拿 😀 走一遍完整流程
用一个 emoji 把所有层串起来。😀(咧嘴笑)的完整档案:
| 项目 | 值 |
|---|---|
| 字符 | 😀 |
| 码点 | U+1F600 |
| 十进制 | 128512 |
| UTF-16 代码单元 | D83D DE00(2 个单元,共 4 字节) |
| UTF-8 字节 | F0 9F 98 80(4 字节) |
| JSON / JS 转义 | \uD83D\uDE00(必须写成代理对) |
| Python / Go / C++ | \U0001F600(8 位十六进制,注意是大写 U) |
把它放进具体字符串里,长度的差别就很直观了:
| 字符串 | 码点数 | UTF-16 单元数 | UTF-8 字节数 | JS 的 length |
|---|---|---|---|---|
你好 | 2 | 2 | 6 | 2 |
你好😀 | 3 | 4 | 10 | 4 |
👨👩👧👦 | 7 | 11 | 25 | 11 |
第三行是家庭 emoji:4 个人物字符 + 3 个零宽连接符(ZWJ,U+200D,UTF-8 是 E2 80 8D)。在屏幕上它是”一个 emoji”,在码点层面是 7 个,在 UTF-16 里占 11 个单元,在 UTF-8 里占 25 个字节。如果哪个系统跟你说”这里只能存 5 个字符”,你得先问清楚它数的是哪一层。
容易踩的五个坑
1. 孤立代理项:语法能过,语义是错的
\uD83D 单独出现时,很多语言的解析器不会拦你。JS 的字符串可以合法地装着一个孤立高代理,JSON.parse('"\\ud83d"') 也能跑通。但一旦你要把它编码成 UTF-8 存起来或发出去,问题就来了:UTF-8 里没有”半个字符”这种东西,这个单元无法被合法编码。不同实现的处理方式还不一样——有的输出替换字符 U+FFFD(UTF-8 是 EF BF BD),有的直接抛异常,有的悄悄替换成 ?。
这就是昵称里的 emoji 变成”两个问号”或”两个方块”的常见成因之一:截断或转码过程中把代理对切开了。工具对孤立代理项报错,就是为了让这个问题在转换这一步暴露,而不是留到数据库里。
2. 把 UTF-16 长度当字符数
"😀".length 在 JS 里是 2,不是 1。这个数字来自 UTF-16 代码单元数,不是字符数。于是:
- 输入框的
maxlength限制可能比你以为的更早触发; str.substring(0, 10)有可能正好切在一个代理对中间,切出一个孤立代理项;- 后端校验”长度 ≤ 20”用的是字节数、单元数还是码点数,三套口径能差出一倍。
正确做法是先明确口径。要按用户感知的字数算,得按字素簇;要按码点算,用 Array.from(str).length 或 [...str].length;要按字节算,用 TextEncoder 编码后再取长度。别拿一个 .length 到处用。
3. \u 和 \U 混用
这两个写法长得像,规则完全不同:
\uXXXX:固定 4 位十六进制,最大值\uFFFF。要表示更大的字符必须写代理对,比如\uD83D\uDE00。\UXXXXXXXX:固定 8 位十六进制,Python、Go、C++ 里用它直接写完整码点,比如\U0001F600。
常见的翻车方式是:在 JSON 里写 \u1F600,以为能表示 😀。JSON 规范只认 4 位的 \uXXXX,\u1F60 会被解析成另一个字符,后面跟一个 0。还有些环境根本不认 \u 转义,比如 CSS 用的是 \1F600(最多 6 位、不带 u),PHP 双引号字符串用的是 \u{1F600}。抄转义写法之前,先确认目标语言是哪一套。
顺带一句:\u4f60 和 \u4F60 是等价的,十六进制大小写不影响结果。
4. 非法码点
不是所有数字都能当码点用。以下都会报错:
- 超过
U+10FFFF,比如U+110000; - 落在代理区
U+D800~U+DFFF里的单个值; - 负数、空值、位数不对的转义。
这类输入在宽松的实现里会被替换成 ? 或 U+FFFD,看起来”转换成功”,实际已经丢字了。严格报错的意义就在这儿:错误应该在输入侧被拦住。
5. 把 \u 转义和 URL 编码、HTML 实体混为一谈
这三种东西都是”把字符换成别的写法”,但规则和用途完全不同:
| 形式 | 例子 | 规则 | 用在哪 |
|---|---|---|---|
| Unicode 转义 | \u4F60 | 码点的十六进制 | 代码字符串字面量 |
| URL 编码 | %E4%BD%A0 | UTF-8 字节的百分号转义 | URL、表单 |
| HTML 实体 | 你 / 你 | 十进制或十六进制码点 | HTML 源码 |
注意 URL 编码那一列:%E4%BD%A0 是 你 的 UTF-8 三个字节逐个转义,不是码点。所以 URL 解码要看字节,转义解码要看码点,两套东西别互相套。想看字节层面的东西,用 Hex 十六进制工具 会更直接;如果是代码里的字符串字面量(含引号、换行、反斜杠),字符串转义工具 管的是那一类。
乱码排查:先看字节,再看声明
乱码不是”字符坏了”,绝大多数时候是字节被按另一套规则解释了。排查顺序建议固定成两步。
第一步,看字节。 把出问题的文本按 UTF-8 取字节,你 应该是 E4 BD A0;如果拿到的是 C4 E3,那这段数据本来就不是 UTF-8,而是 GBK。经典现象是:UTF-8 的 6 个字节(你 和 好)被按 GBK 每两字节一组去解释,得到三个毫不相关的字。再比如屏幕上出现”锟斤拷”,那通常说明数据在某个环节已经被替换成了 U+FFFD(UTF-8 的 EF BF BD),又被按 GBK 读了一遍——这时候原始信息已经丢了,转回去也救不回来。
第二步,看声明。 字节对得上,还要看是谁在解释它:
- 文件开头有没有 BOM(UTF-8 的 BOM 是
EF BB BF)。有些解析器会把 BOM 当内容,JSON 更是不允许 BOM; - HTTP 响应头、HTML 的
meta charset、数据库连接字符集是否一致; - MySQL 里
utf8和utf8mb4不是一回事。老的三字节utf8存不了 4 字节的 emoji,写入时要么报错要么截断,这是”emoji 变问号”的高发区; - Windows 上的文本文件、Excel 打开的 CSV,默认编码经常不是 UTF-8,导出时最好显式选一次。
有个反直觉的结论值得记住:乱码通常不能靠”再转一次”修好。如果转换过程中已经产生了替换字符,原始字节就不存在了,再折腾只是把错误换个样子。
这个工具的边界
写清楚不做什么,比列一堆功能更有用:
- 不做 Unicode 规范化。
é可能是单码点U+00E9,也可能是e+U+0301两个码点,视觉一样、字节不同,工具只如实展示,不做 NFC/NFD 转换; - 不做字素簇切分。详情表按码点逐个列出,像家庭 emoji 这种组合序列会拆成 7 行,这是它的本意,不是 bug;
- 不做 URL 编码和 HTML 实体。
%E4%BD%A0去 Hex 工具 看字节,你用 HTML 实体工具; - 不自动猜测输入是什么编码。它处理的是 Unicode 码点和转义,不做”这是 GBK 还是 Shift-JIS”的探测;
- 不上传内容。转换在浏览器本地完成,粘贴的日志、昵称、密钥都不会发出去。
常见问题(FAQ)
码点和 UTF-16 到底差在哪?
码点是字符在 Unicode 表里的编号,一个字符一个码点;UTF-16 是把这个编号变成 16 位单元序列的编码方式。BMP 内的字符两者数值相同(`你` 都是 4F60),非 BMP 字符就不一样了:`😀` 的码点是 U+1F600,UTF-16 里是两个单元 D83D DE00。看到两个值对不上时,先确认看的是哪一层。为什么日志里的 \u4f60 是小写,工具输出是大写?
十六进制大小写不影响数值,`\u4f60` 和 `\u4F60` 表示同一个字符。不同语言、不同库的输出习惯不一样(JS 的 `JSON.stringify` 一般输出小写,Java 常见大写),对接时不用为此改代码,按数值比较就行。一个汉字到底占几个字节?
取决于用什么编码。UTF-8 下常用汉字是 3 字节(`你` = E4 BD A0),GBK 下是 2 字节(C4 E3),UTF-16 下是 2 字节(4F60)。所以"这个字段能存多少汉字"这种问题,必须先问编码;UTF-8 下按 3 字节估,遇到生僻字和 emoji 还要按 4 字节算。emoji 存进数据库变成问号了,还能恢复吗?
大概率不能。变成 `?` 或 `U+FFFD` 说明原始码点已经被替换,信息在那一刻就丢了。能做的是防止再发生:数据库用 utf8mb4、连接字符集统一 UTF-8、写入前校验长度按字节而不是按"字"、截断逻辑避开代理对。已经丢的那部分只能从原始来源重新导入。为什么 JSON 里不能写 \u1F600?
JSON 的转义只支持 4 位十六进制的 `\uXXXX`,没有 8 位的写法。非 BMP 字符必须拆成代理对,也就是 `\uD83D\uDE00`。写成 `\u1F600` 会被解析成 `\u1F60` 加上字符 `0`,结果完全是另一个东西。输入里混了全角空格、零宽字符,能查出来吗?
能。逐字符详情表会把每个字符单独列一行,全角空格是 U+3000、不换行空格是 U+00A0、零宽连接符是 U+200D,跟普通空格 U+0020 一眼就能区分。这类字符肉眼几乎看不出来,但会让去重、匹配、长度校验全部失准。总结
Unicode 这块真正让人绕晕的,不是算法有多复杂,而是同一个字在不同层上有不同的数字:码点、UTF-16 单元、UTF-8 字节、字素簇,四层各有各的用途,混着用就会出错。
记住几条就够应付大部分场景:
- 码点是字符的唯一编号,UTF-8/UTF-16 是它的两种表示;
- 常用汉字在 UTF-8 里 3 字节、UTF-16 里 1 个单元,emoji 是 4 字节、2 个单元;
\uXXXX是 4 位,非 BMP 必须写代理对,\UXXXXXXXX是另一套规则;- 代理项不能单独存在,看到孤立代理项先怀疑截断;
- 乱码先看字节,再看声明,不要指望”再转一次”能修好。
星点 Unicode 编码解码工具 把这四层同时摆在一个页面上:上面转换,下面逐字符对照,遇到非法码点和孤立代理项直接报错。全程浏览器本地处理,粘贴进去就能看结果。
立即体验:访问 Unicode 编码解码工具
文章分享
如果这篇文章对你有帮助,欢迎分享给更多人!