Unicode编码解码工具 - 码点、\u转义与UTF-16/UTF-8互转

4624 字
23 分钟
Unicode编码解码工具 - 码点、\u转义与UTF-16/UTF-8互转

一段 \u4F60\u597D,三种人看到三种东西#

排查线上问题时,日志里经常出现这样的字段:

{"msg":"\u4f60\u597d\uff0c\u4e16\u754c","code":0}

后端说”输出是正常的”,前端说”页面上明明显示的是中文”,而在你眼里它就是一堆反斜杠加字母和数字。同一个岗位换个方向,问题就换一副面孔:

  • 运营反馈”这个输入框最多 20 个字,我打了 10 个表情就满了”;
  • 测试截图说,用户昵称里的 emoji 存进数据库之后变成了两个问号;
  • 昨天还正常的 CSV,今天在一台新电脑上打开是一屏看不懂的汉字。

这三件事表面毫无关系,其实是同一个坐标系里的三个位置:字符、码点、编码单元、字节。把这四层的对应关系理顺,上面这些现象都能自己解释清楚,不用靠猜”是不是又编码错了”。

星点 Unicode 编码解码工具 做的事情就是把这条链路摊开:文本和码点互转、文本和 \u 转义互转,并且在下面用表格逐个字符列出它的码点、UTF-16 代码单元和 UTF-8 字节。你不需要记住换算规则,但看完这些数字,很多”玄学问题”会立刻变得有迹可循。


Unicode 是字符集,UTF-8 和 UTF-16 才是编码#

先把最容易含混的一层拆掉。Unicode 本身不是一个”编码格式”,它是一张编号表:给世界上每个字符分配一个唯一编号,这个编号叫码点(code point),写作 U+4F60 这种形式。

码点的取值范围是 U+0000 到 U+10FFFF,一共 1114112 个位置。其中 U+D800 到 U+DFFF 这 2048 个位置被单独划出来,叫代理区,永远不分配给任何字符,只留给 UTF-16 做”拼接”用。目前实际分配出去的字符是十几万个量级,剩下的位置留给以后新增的文字和符号。

UTF-8 和 UTF-16 是两种把码点变成实际存储/传输形式的编码方式:

UTF-8UTF-16
基本单位字节(8 位)代码单元(16 位)
长度1~4 字节变长1 或 2 个单元
ASCII 兼容兼容,A 就是 41不兼容,A 是 00 41
典型使用场景文件、HTTP、JSON、HTML、LinuxJS/Java/C# 的内存字符串、Windows API

所以”Unicode 编码”这个说法其实是模糊的:你可能是要把文字转成码点,可能是要生成 \u4F60 这样的转义写法,也可能是要看它在 UTF-8 里到底是哪几个字节。三种需求,三种答案,混在一起讨论就会一直打架。

举个最直接的例子:你 这个字。

  • 码点:U+4F60
  • UTF-16 代码单元:4F60,一个单元就够
  • UTF-8 字节:E4 BD A0,三个字节
  • GBK 字节(不是 Unicode):C4 E3,两个字节

同一个字,四组完全不同的数字。看到 C4 E3 的时候如果你按 UTF-8 去解,得到的就是乱码——这也是后面排查乱码的起点。


码点、UTF-16 代码单元、UTF-8 字节:三种度量对照#

这三种度量最容易混淆的地方在于:它们在”常用汉字”范围内经常表现得很像(BMP 内的字符,码点是一个值,UTF-16 也是一个单元,UTF-8 是三个字节),一旦出了这个范围,差异立刻放大。

概念度量单位你😀谁在用它
码点抽象编号U+4F60U+1F600Unicode 标准、字符属性查询
UTF-16 代码单元16 位4F60(1 个)D83D DE00(2 个)JS 的 length、Java 的 char
UTF-8 字节8 位E4 BD A0(3 字节)F0 9F 98 80(4 字节)文件、网络传输、数据库存储
字素簇用户感知的”一个字”1 个1 个光标移动、截断、字数统计

读完这张表能得出三个实用结论:

  1. 码点是唯一的,一个字符只有一个码点;字节数是不唯一的,同一个字符在不同编码下字节数不同。
  2. UTF-16 的单元数不等于字符数。BMP 内一个字符一个单元,BMP 外一个字符两个单元。这就是 JS 里 "😀".length === 2 的原因。
  3. UTF-8 的字节数也不等于字符数。ASCII 是 1 字节,欧洲文字多是 2 字节,常用汉字是 3 字节,emoji 通常是 4 字节。

还有一个常被忽略的第四层:字素簇。用户眼里的”一个字符”,可能是多个码点组合出来的。比如 e 加一个组合重音符 U+0301,在屏幕上是一个 é,实际是两个码点;再比如肤色修饰、国旗、家庭 emoji,都是多个码点粘在一起。码点数和”看起来几个字”之间没有必然相等的关系。


代理对是怎么算出来的#

非 BMP 字符(码点大于 U+FFFF)在 UTF-16 里必须用两个代码单元表示,这一对就叫代理对。规则是固定的,不是随便拼的:

码点 = 0x1F600
减去 0x10000 → 0x0F600
高代理 = 0xD800 + (0x0F600 >> 10) = 0xD800 + 0x3D = 0xD83D
低代理 = 0xDC00 + (0x0F600 & 0x3FF) = 0xDC00 + 0x200 = 0xDE00

反推也一样:(0xD83D - 0xD800) << 10 得到 0xF400,加上 (0xDE00 - 0xDC00) = 0x200,再加回 0x10000,正好回到 0x1F600。

这段算术的实际意义在于:高代理和低代理都不能单独存在。它们只是把一个 21 位的码点切成两半塞进 16 位单元里的技术手段,本身不表示任何字符。所以 \uD83D 单独出现时,它不是一个合法字符,而是一个语法上能通过、语义上无意义的残片。这也是下面第一个大坑的由来。


工具能做什么:四个方向、三种格式、一张逐字符表#

这个工具的输入输出方向有四个,覆盖了日常会遇到的全部组合:

  • 文本 → 码点:你好 变成 U+4F60 U+597D
  • 码点 → 文本:把 U+4F60 U+597D 贴回去变回 你好
  • 文本 → 转义:你好 变成 \u4F60\u597D,可以直接塞进 JSON 或 JS 字符串
  • 转义 → 文本:把日志里那段 \u4f60\u597d\uff0c\u4e16\u754c 还原成 你好,世界

码点输出支持三种格式,对应三种不同的下游用途:

格式你 的输出适用场景
U+ 十六进制U+4F60文档、规范、字符属性查询
\u 转义\u4F60JSON、JavaScript、Java 字符串字面量
十进制20320部分语言/表格里的字符码、老系统字段

十进制这里要多说一句:U+4F60 换成十进制是 20320,U+597D 是 22909,U+1F600 是 128512。有些接口和数据库字段把字符码存成十进制整数,直接拿十六进制去对会一直对不上,切一下格式就通了。

码点序列之间的分隔符是可选的。输出一串码点的时候,带分隔符方便人读,也方便直接切成数组贴进代码;如果你要的是一段紧凑的转义串,就按转义形式输出,不要自己再手动拼。

最后是逐字符详情表,这是排错时最有用的部分。把一段文本贴进去,每个字符占一行,左边是字符本身,右边依次是码点、UTF-16 代码单元、UTF-8 字节。它可以回答很多”肉眼看不出来”的问题:

  • 这个空格到底是普通空格 U+0020、不换行空格 U+00A0,还是全角空格 U+3000?
  • 这段文本里是不是混进了零宽字符?
  • 某个字段为什么”长度对不上”,是哪个字符占了两个单元?

有个细节值得强调:工具对非法码点和孤立代理项是直接报错的,不会默默替换成问号。理由是替换会把问题藏起来——你看到结果”成功”了,实际上数据已经变了,等到下游报错时排查成本高得多。


拿 😀 走一遍完整流程#

用一个 emoji 把所有层串起来。😀(咧嘴笑)的完整档案:

项目值
字符😀
码点U+1F600
十进制128512
UTF-16 代码单元D83D DE00(2 个单元,共 4 字节)
UTF-8 字节F0 9F 98 80(4 字节)
JSON / JS 转义\uD83D\uDE00(必须写成代理对)
Python / Go / C++\U0001F600(8 位十六进制,注意是大写 U)

把它放进具体字符串里,长度的差别就很直观了:

字符串码点数UTF-16 单元数UTF-8 字节数JS 的 length
你好2262
你好😀34104
👨‍👩‍👧‍👦7112511

第三行是家庭 emoji:4 个人物字符 + 3 个零宽连接符(ZWJ,U+200D,UTF-8 是 E2 80 8D)。在屏幕上它是”一个 emoji”,在码点层面是 7 个,在 UTF-16 里占 11 个单元,在 UTF-8 里占 25 个字节。如果哪个系统跟你说”这里只能存 5 个字符”,你得先问清楚它数的是哪一层。


容易踩的五个坑#

1. 孤立代理项:语法能过,语义是错的#

\uD83D 单独出现时,很多语言的解析器不会拦你。JS 的字符串可以合法地装着一个孤立高代理,JSON.parse('"\\ud83d"') 也能跑通。但一旦你要把它编码成 UTF-8 存起来或发出去,问题就来了:UTF-8 里没有”半个字符”这种东西,这个单元无法被合法编码。不同实现的处理方式还不一样——有的输出替换字符 U+FFFD(UTF-8 是 EF BF BD),有的直接抛异常,有的悄悄替换成 ?。

这就是昵称里的 emoji 变成”两个问号”或”两个方块”的常见成因之一:截断或转码过程中把代理对切开了。工具对孤立代理项报错,就是为了让这个问题在转换这一步暴露,而不是留到数据库里。

2. 把 UTF-16 长度当字符数#

"😀".length 在 JS 里是 2,不是 1。这个数字来自 UTF-16 代码单元数,不是字符数。于是:

  • 输入框的 maxlength 限制可能比你以为的更早触发;
  • str.substring(0, 10) 有可能正好切在一个代理对中间,切出一个孤立代理项;
  • 后端校验”长度 ≤ 20”用的是字节数、单元数还是码点数,三套口径能差出一倍。

正确做法是先明确口径。要按用户感知的字数算,得按字素簇;要按码点算,用 Array.from(str).length 或 [...str].length;要按字节算,用 TextEncoder 编码后再取长度。别拿一个 .length 到处用。

3. \u 和 \U 混用#

这两个写法长得像,规则完全不同:

  • \uXXXX:固定 4 位十六进制,最大值 \uFFFF。要表示更大的字符必须写代理对,比如 \uD83D\uDE00。
  • \UXXXXXXXX:固定 8 位十六进制,Python、Go、C++ 里用它直接写完整码点,比如 \U0001F600。

常见的翻车方式是:在 JSON 里写 \u1F600,以为能表示 😀。JSON 规范只认 4 位的 \uXXXX,\u1F60 会被解析成另一个字符,后面跟一个 0。还有些环境根本不认 \u 转义,比如 CSS 用的是 \1F600(最多 6 位、不带 u),PHP 双引号字符串用的是 \u{1F600}。抄转义写法之前,先确认目标语言是哪一套。

顺带一句:\u4f60 和 \u4F60 是等价的,十六进制大小写不影响结果。

4. 非法码点#

不是所有数字都能当码点用。以下都会报错:

  • 超过 U+10FFFF,比如 U+110000;
  • 落在代理区 U+D800 ~ U+DFFF 里的单个值;
  • 负数、空值、位数不对的转义。

这类输入在宽松的实现里会被替换成 ? 或 U+FFFD,看起来”转换成功”,实际已经丢字了。严格报错的意义就在这儿:错误应该在输入侧被拦住。

5. 把 \u 转义和 URL 编码、HTML 实体混为一谈#

这三种东西都是”把字符换成别的写法”,但规则和用途完全不同:

形式例子规则用在哪
Unicode 转义\u4F60码点的十六进制代码字符串字面量
URL 编码%E4%BD%A0UTF-8 字节的百分号转义URL、表单
HTML 实体&#20320; / &#x4F60;十进制或十六进制码点HTML 源码

注意 URL 编码那一列:%E4%BD%A0 是 你 的 UTF-8 三个字节逐个转义,不是码点。所以 URL 解码要看字节,转义解码要看码点,两套东西别互相套。想看字节层面的东西,用 Hex 十六进制工具 会更直接;如果是代码里的字符串字面量(含引号、换行、反斜杠),字符串转义工具 管的是那一类。


乱码排查:先看字节,再看声明#

乱码不是”字符坏了”,绝大多数时候是字节被按另一套规则解释了。排查顺序建议固定成两步。

第一步,看字节。 把出问题的文本按 UTF-8 取字节,你 应该是 E4 BD A0;如果拿到的是 C4 E3,那这段数据本来就不是 UTF-8,而是 GBK。经典现象是:UTF-8 的 6 个字节(你 和 好)被按 GBK 每两字节一组去解释,得到三个毫不相关的字。再比如屏幕上出现”锟斤拷”,那通常说明数据在某个环节已经被替换成了 U+FFFD(UTF-8 的 EF BF BD),又被按 GBK 读了一遍——这时候原始信息已经丢了,转回去也救不回来。

第二步,看声明。 字节对得上,还要看是谁在解释它:

  • 文件开头有没有 BOM(UTF-8 的 BOM 是 EF BB BF)。有些解析器会把 BOM 当内容,JSON 更是不允许 BOM;
  • HTTP 响应头、HTML 的 meta charset、数据库连接字符集是否一致;
  • MySQL 里 utf8 和 utf8mb4 不是一回事。老的三字节 utf8 存不了 4 字节的 emoji,写入时要么报错要么截断,这是”emoji 变问号”的高发区;
  • Windows 上的文本文件、Excel 打开的 CSV,默认编码经常不是 UTF-8,导出时最好显式选一次。

有个反直觉的结论值得记住:乱码通常不能靠”再转一次”修好。如果转换过程中已经产生了替换字符,原始字节就不存在了,再折腾只是把错误换个样子。


这个工具的边界#

写清楚不做什么,比列一堆功能更有用:

  • 不做 Unicode 规范化。é 可能是单码点 U+00E9,也可能是 e + U+0301 两个码点,视觉一样、字节不同,工具只如实展示,不做 NFC/NFD 转换;
  • 不做字素簇切分。详情表按码点逐个列出,像家庭 emoji 这种组合序列会拆成 7 行,这是它的本意,不是 bug;
  • 不做 URL 编码和 HTML 实体。%E4%BD%A0 去 Hex 工具 看字节,&#20320; 用 HTML 实体工具;
  • 不自动猜测输入是什么编码。它处理的是 Unicode 码点和转义,不做”这是 GBK 还是 Shift-JIS”的探测;
  • 不上传内容。转换在浏览器本地完成,粘贴的日志、昵称、密钥都不会发出去。

常见问题(FAQ)#

码点和 UTF-16 到底差在哪? 码点是字符在 Unicode 表里的编号,一个字符一个码点;UTF-16 是把这个编号变成 16 位单元序列的编码方式。BMP 内的字符两者数值相同(`你` 都是 4F60),非 BMP 字符就不一样了:`😀` 的码点是 U+1F600,UTF-16 里是两个单元 D83D DE00。看到两个值对不上时,先确认看的是哪一层。
为什么日志里的 \u4f60 是小写,工具输出是大写? 十六进制大小写不影响数值,`\u4f60` 和 `\u4F60` 表示同一个字符。不同语言、不同库的输出习惯不一样(JS 的 `JSON.stringify` 一般输出小写,Java 常见大写),对接时不用为此改代码,按数值比较就行。
一个汉字到底占几个字节? 取决于用什么编码。UTF-8 下常用汉字是 3 字节(`你` = E4 BD A0),GBK 下是 2 字节(C4 E3),UTF-16 下是 2 字节(4F60)。所以"这个字段能存多少汉字"这种问题,必须先问编码;UTF-8 下按 3 字节估,遇到生僻字和 emoji 还要按 4 字节算。
emoji 存进数据库变成问号了,还能恢复吗? 大概率不能。变成 `?` 或 `U+FFFD` 说明原始码点已经被替换,信息在那一刻就丢了。能做的是防止再发生:数据库用 utf8mb4、连接字符集统一 UTF-8、写入前校验长度按字节而不是按"字"、截断逻辑避开代理对。已经丢的那部分只能从原始来源重新导入。
为什么 JSON 里不能写 \u1F600? JSON 的转义只支持 4 位十六进制的 `\uXXXX`,没有 8 位的写法。非 BMP 字符必须拆成代理对,也就是 `\uD83D\uDE00`。写成 `\u1F600` 会被解析成 `\u1F60` 加上字符 `0`,结果完全是另一个东西。
输入里混了全角空格、零宽字符,能查出来吗? 能。逐字符详情表会把每个字符单独列一行,全角空格是 U+3000、不换行空格是 U+00A0、零宽连接符是 U+200D,跟普通空格 U+0020 一眼就能区分。这类字符肉眼几乎看不出来,但会让去重、匹配、长度校验全部失准。

总结#

Unicode 这块真正让人绕晕的,不是算法有多复杂,而是同一个字在不同层上有不同的数字:码点、UTF-16 单元、UTF-8 字节、字素簇,四层各有各的用途,混着用就会出错。

记住几条就够应付大部分场景:

  • 码点是字符的唯一编号,UTF-8/UTF-16 是它的两种表示;
  • 常用汉字在 UTF-8 里 3 字节、UTF-16 里 1 个单元,emoji 是 4 字节、2 个单元;
  • \uXXXX 是 4 位,非 BMP 必须写代理对,\UXXXXXXXX 是另一套规则;
  • 代理项不能单独存在,看到孤立代理项先怀疑截断;
  • 乱码先看字节,再看声明,不要指望”再转一次”能修好。

星点 Unicode 编码解码工具 把这四层同时摆在一个页面上:上面转换,下面逐字符对照,遇到非法码点和孤立代理项直接报错。全程浏览器本地处理,粘贴进去就能看结果。

立即体验:访问 Unicode 编码解码工具

文章分享

如果这篇文章对你有帮助,欢迎分享给更多人!

相关文章 智能推荐
1
Hex十六进制编码解码工具 - 文本与十六进制在线互转
编码工具 Hex 十六进制编码解码工具使用指南:讲清一个字节为什么对应两位十六进制、UTF-8 文本怎么变成字节(含中文 3 字节实例),以及协议调试、抓包看字节、写测试数据、识别文件头时的实际用法;说明大小写、分隔符、0x 前缀三个选项的差异,非 UTF-8 时按字节展示与 BOM/NUL 提示的含义,附对比表与常见错误。
2
Punycode/IDN转换工具 - 中文域名与xn-- 编码互转
编码工具 中文等国际化域名的 Unicode 写法与 DNS 传输用的 xn-- ASCII 写法怎么互转,讲清 U-label 与 A-label 的关系、从完整 URL 提取主机名,以及「只做 Punycode 与标签校验、不等于完整 IDNA/UTS46」这个边界。
3
Base64编码解码工具 - 在线Base64/Base64URL/Data URL互转(本地处理)
编码工具 在线 Base64 编码解码工具:标准 Base64(+ /)与 URL 安全 Base64URL(- _)双字母表互转,填充可选、可忽略排版空白、自动识别 Data URL 并拆出 MIME,解码结果非 UTF-8 时按 Hex 展示原始字节。含长度膨胀、填充规则、中文乱码与「+ 变空格」排查,浏览器本地处理,不上传数据。
4
星点编码工具完整指南 - 11个在线编码解码/哈希/签名工具导航
编码工具 星点编码工具系列总览:11 个工具完整导航,覆盖 Base64/Base64URL、Base32、Hex、Unicode、HTML 实体、多语言字符串转义、MD5/SHA/SHA-3/SM3 哈希、HMAC、UUID、文件哈希校验与 Punycode 域名转换。含编码与加密、哈希、签名的区别对比、按场景选工具表和常见误区,全部浏览器本地处理不上传。
5
字符串转义工具 - JSON/Java/Python/Go/C 多语言在线转义与反转义
编码工具 在线字符串转义与反转义工具使用指南:讲清反斜杠、双引号、换行、制表符、回车与 NUL 为什么要转,对照 JSON、JavaScript、Java、Python、Go、C/C++ 在 Unicode 表示、\x 与八进制、raw string、行连接上的差异,说明 JSON 反转义走标准 parser、只接受字符串字面量,并给出五步操作、跨语言示例与常见错误。
随机文章 随机推荐
公告
🎉 已升级 2.0 版本,欢迎使用。
分类
标签
站点统计
文章
247
分类
31
标签
973
总字数
633,901
运行时长
0 天
最后活动
0 天前

目录