文本统计工具 - 字数、字符、行数、段落与UTF-8字节统计

6012 字
30 分钟
文本统计工具 - 字数、字符、行数、段落与UTF-8字节统计

🌟 同一段文字,Word 和系统报了两个不同的数#

上个月帮同事处理一份申报材料,摘要框旁边写着”不超过 300 字”。Word 里选中摘要,状态栏显示 296 字,看着还有余量。粘进系统,输入框角落显示 348/300,红字提示超出限制。删了两句,还是超。最后把摘要丢进统计工具,才发现问题所在:那 296 里混着一堆英文缩写,Word 按”中文算字、英文算词”的方式数,一个缩写只记一个字,可系统是老老实实按字符一个一个数的,实际字符数早就过了 300。两把尺子量同一段文字,结果当然对不上。

这类”数字对不上”的事,几乎每个岗位都撞过:

  • 公众号、知乎后台提示超字数,复制到 Word 里数出来却还差一截;
  • 接口返回 content too long, max 2000,可你明明只写了九百多个字;
  • 往 MySQL 里插一条用户昵称,报 Data too long for column,字段明明写的是 VARCHAR(20);
  • 运维问”这个日志多少行”,编辑器里最后一行行号是 10 万,wc -l 报 99999;
  • 简历要求”不超过 500 字”,你数了三遍,三次结果都不一样。

问题不在工具坏了,在于”字数”这个词本身就不精确。它至少可能指四样东西:字符、字节、行、词。搞清楚你手上这个限制用的是哪把尺子,比反复删字有用得多。

星点文本统计工具 把这几个数一次算全,粘贴即出结果。下面先把每把尺子的口径讲清楚,再讲工具怎么用、坑在哪里。

🧭 四把尺子:字符、字节、行段、词#

先把名词对齐。日常说的”字数”在不同场合指向不同东西:

你看到的说法真正在数什么单位典型出错场合
字数平台或软件自己定义的口径(中文按字、英文按词,标点空格另算)混合论文、公众号、简历、申报表
字符数Unicode 码点,或字素簇(看实现怎么定义)字符前端 maxlength、表单校验、平台限制
字节数编码之后的字节,Web 场景基本都是 UTF-8字节(byte)接口限长、数据库字段、短信、协议头
行数 / 段落数换行符与空行构成的结构行 / 段日志统计、批处理、文本清洗

拿一段真实的中英混排文本走一遍:你好,world 😀

口径结果说明
Unicode 码点10每个符号算一个,emoji 也算一个
UTF-16 码元(JavaScript .length)11emoji 在 UTF-16 里占两个码元
用户感知字符(字素簇)10眼睛看到几个”字”就是几
UTF-8 字节19汉字和全角标点各 3 字节,emoji 4 字节

同一段文本,四个数:10、11、10、19。没有哪个是错的,只是它们回答的不是同一个问题。你要填 300 字的摘要框,得先知道那个框用的是哪一种。

顺带说一个常见误解:HTML 的 maxlength 按 UTF-16 码元算,所以一个 😀 会占掉两个名额。后端如果按码点或字节校验,就会出现”前端说没超、后端说超了”或者反过来的情况。前后端校验口径不一致,是这类 bug 的头号来源。

🔤 字符数:码点、UTF-16、字素簇,到底数哪个#

码点:Unicode 给每个字符的编号#

Unicode 给世界上每个字符分配一个编号,叫码点(code point),写作 U+XXXX。a 是 U+0061,中 是 U+4E2D,😀 是 U+1F600。一个码点就是一个”字符”,这是最接近”文本里有多少个符号”的定义。JavaScript 里 [...text].length 或 Array.from(text).length 数的是码点。

UTF-16 长度:.length 数的其实是码元#

JavaScript 字符串内部用 UTF-16 存储。基本多文种平面(BMP,U+0000 到 U+FFFF)内的字符占 1 个码元,之外的字符——大量 emoji、部分生僻汉字——要用一对代理项表示,占 2 个码元。Java 的 String.length()、C# 的 string.Length 也是同样的道理。

"😀".length // 2,不是 1
"𠮷".length // 2,不是 1
[... "😀"].length // 1
Array.from("😀").length // 1

所以当你看到”这段文字 200 个字符”,一定要追问一句:是 .length 还是码点数?差了 emoji 和生僻字的那部分。

字素簇:人眼看到的一个”字”#

码点也不完全等于”看起来的一个字”。有些字符由多个码点组合而成,人眼只看到一个:

文本码点数UTF-16 码元字素簇UTF-8 字节
a1111
é(单码点 U+00E9)1112
e + U+0301(分解形式)2213
中1113
😀1214
👍🏽(点赞 + 肤色修饰)2418
🇨🇳(两个区域指示符)2418
👨‍👩‍👧‍👦(一家四口)711125

最后一行值得单独看:一家四口 emoji 在码点口径下是 7 个字符,在 JavaScript .length 下是 11,在字素簇口径下是 1,占 25 个字节。同一个”字”,四个数字。如果某个产品按”用户看到几个字符”来限制输入,它应该用字素簇;如果按存储或传输算,就得看字节;如果按表单校验算,多数是码点或 UTF-16。

还有更隐蔽的情况:é 可以是单码点 U+00E9,也可以是 e + 组合重音 U+0301。两者显示一样,但码点数不同、字节数不同,程序比较时也不相等。这就是为什么两份”看起来一样”的文本,搜索匹配不上、去重没去掉、校验通不过。Unicode 规范里有 NFC/NFD 两种归一化形式,处理用户输入的系统通常要先做归一化再比较。想看某个字符到底由哪些码点组成、UTF-8 编码长什么样,可以用Unicode 编码转换工具 逐字符展开。

星点文本统计同时给出两个数:字符数(按 Unicode 码点) 和 用户感知字符数(按字素簇)。前者是程序世界最通用的口径,后者是你眼睛看到的口径。两个都摆出来,你就知道差在哪、该用哪个去填表。

📦 UTF-8 字节数:中文 3 字节、emoji 4 字节是怎么来的#

变长编码的规则#

UTF-8 是变长编码,一个字符占几个字节,取决于它的码点大小:

码点范围UTF-8 字节数典型内容
U+0000 – U+007F1ASCII:英文字母、数字、半角标点
U+0080 – U+07FF2拉丁扩展、希腊字母、西里尔字母
U+0800 – U+FFFF3汉字、日文假名、韩文、全角标点
U+10000 – U+10FFFF4emoji、部分生僻汉字、音乐符号

具体到字节:

字符码点UTF-8 字节十六进制
aU+0061161
éU+00E92C3 A9
中U+4E2D3E4 B8 AD
,U+FF0C3EF BC 8C
😀U+1F6004F0 9F 98 80
𠮷U+20BB74F0 A0 AE B7

记住这张表,很多”玄学问题”就有了答案:为什么一个汉字占 3 个字节、为什么 emoji 特别占地方、为什么中文标点也算 3 字节。

为什么字符数和字节数永远不成比例#

因为比例取决于内容构成:

  • 1000 个汉字 ≈ 3000 字节;
  • 1000 个英文字母 ≈ 1000 字节;
  • 1000 个 emoji ≈ 4000 字节;
  • 1000 个中英混排的字符,可能落在 1000 到 3000 字节之间的任何位置。

所以”字符数 × 3”这种估算只对纯中文成立,一混英文就偏高,一混 emoji 就偏低。要填字节限制,别估,直接看字节数。

顺带一提,很多人脑子里的”1 个汉字 = 2 字节”来自 GBK/GB2312 时代。GBK 里汉字确实是 2 字节,但那是另一种编码。同一个”中”字,GBK 是 D6 D0(2 字节),UTF-8 是 E4 B8 AD(3 字节)。编码不同,字节数就不同。说字节数时必须带上编码,否则没有意义。

数据库和接口按字节限长的坑#

这是最容易被坑的地方,因为界面上的字段定义和实际限制经常不是一回事:

MySQL。 VARCHAR(20) 里的 20 是字符数,不是字节数,utf8mb4 下能存 20 个汉字。但有两道暗坑:一是老版本 utf8(其实是 utf8mb3)最多 3 字节,存不了 4 字节的 emoji,插入直接报 Incorrect string value;二是索引长度按字节算,早期 InnoDB 单列索引前缀上限 767 字节,utf8mb4 下大约只能索引 191 个字符——老项目里到处都是 VARCHAR(191),来源就是这道算术。

Oracle。 VARCHAR2(20) 默认是 BYTE 语义,20 个字节,utf8mb4 等效的 AL32UTF8 下一个汉字 3 字节,实际只能放 6 个多汉字。想按字符算,得显式写 VARCHAR2(20 CHAR)。这个默认值坑过不少人。

接口限长。 大量 API 文档写的是 max 2000,单位是字节,但不会专门标注。你按字数算着写,中文一多就超。HTTP 头部、Cookie、签名串这类场景更是严格按字节。

短信。 一条短信的容量按编码算:纯英文 GSM-7 编码约 160 个字符,中文走 UCS-2 编码约 70 个字。中英混排时整条会切到 UCS-2,一条能塞的字数立刻掉一半多。做验证码、通知模板的人对这点应该都有体会。

JSON 序列化。 部分网关或序列化实现会把非 ASCII 字符转成 \uXXXX 形式,一个汉字从 3 字节膨胀到 6 个 ASCII 字节。如果你的限长是在转义之后算的,实际可用字数还要再打折。

换行符。 CRLF 是两个字节,LF 是一个。1000 行的文件,光换行就差 1000 字节。做严格的字节预算时,这部分不能漏。

📏 行数、非空行、空行、段落:口径先对齐#

行数看着最简单,实际最容易吵起来。先看一组例子(下面的 \n 表示一个换行):

输入行数非空行空行
空字符串000
你好110
你好\n110
你好\n世界220
你好\n\n211
\n101

规则其实就一句话:行数 = 换行符个数 +(结尾没有换行符则加 1),空字符串特例为 0 行。 结尾那个换行不额外产生一行内容,这是大多数编辑器和统计工具的共识。

为什么值得单独讲?因为不同工具的口径真的不一样:

  • "".split("\n") 在 JavaScript 里返回 [""],长度 1,但内容行数应该是 0;
  • "a\n".split("\n") 返回 ["a", ""],长度 2,实际只有 1 行;
  • Linux 的 wc -l 数的是换行符个数,文件最后一行没有换行符时,它会少算一行。日志文件被程序写了一半、末尾没换行,wc -l 就比编辑器少 1。

CRLF 和 CR 也要当心。Windows 换行是 \r\n,Linux/macOS 是 \n,旧 Mac 是 \r。识别时必须先匹配 CRLF 再匹配单独的 CR 和 LF,否则一个 CRLF 会被算成两个换行,行数直接翻倍。文本统计会把 LF、CRLF、CR 的数量分开列出来,混用时一眼能看出问题。

空行的定义也要统一。 一行里一个字符都没有,是真空行;一行里只有几个空格或一个制表符,字面上不是空行,但看起来是空的。统计里的空行数按真空行算;要把”只含空格的行”也当空行处理,得用文本清理工具 里”空白行视为空行”的开关,那是另一套口径。

段落则是另一回事。 段落不是按换行算的,是按连续空行分隔的:

输入段落数说明
第一段\n第二段1只有换行,没有空行,属于同一段
第一段\n\n第二段2一个空行分隔出两段
第一段\n\n\n\n第二段2连续多个空行不会产生空段落
只有空格和换行0纯空白输入不算段落

最常见的错误是”每行算一段”。一段文字在编辑器里因为宽度自动折行、或者从 PDF 复制时每行都带硬换行,按行算出来的段数会虚高好几倍。判断段落,看的是空行,不是换行。

🔢 单词数:Intl.Segmenter 能给你什么,给不了什么#

英文的单词数相对好办:按空格和标点切,don't、e-mail 这类算一个还是两个,各家规则略有差异,但大体可控。

中文就是另一回事了——中文压根没有”词”的天然边界。“研究生命的起源”可以切成”研究 / 生命 / 的 / 起源”,也可以切成”研究生 / 命 / 的 / 起源”,两种切法都说得通,意思还不同。任何分词结果都是一种约定,不是唯一答案。

星点文本统计的单词数用的是浏览器的语言分段能力(Intl.Segmenter),按语言规则估算,中文结果按”语言分词规则估算”标注。它能给你一个数量级的参考,但不承诺专业中文分词的准确度,也不保证在不同浏览器、不同版本上完全一致——因为底层词典是浏览器自带的。

那什么时候该用它?做英文文案、写英文摘要、估算阅读时长、检查一段英文有没有漏词,这些场景够用。如果是论文、申报表这类有硬性字数要求的中文材料,别只看单词数,把中日韩字符数和英文单词数分开看更靠谱:中文按字、英文按词,评审系统的”字数”大多是这个意思。

📊 分布指标:比总数更有信息量的部分#

总数只告诉你”有多少”,分布能告诉你”是什么”。文本统计除了长度指标,还会给出字符类型分布:

  • 中日韩字符(CJK) 数量——判断这段文本的主体语言;
  • 英文字母数量、数字数量;
  • 空白字符数量(空格、制表符、换行都算空白);
  • 标点数量;
  • LF / CRLF / CR 换行符各自的数量;
  • 制表符数量。

这些数字单独看没什么,组合起来能快速定位问题:

判断文本是不是被转义过。 一段本该是中文的内容,CJK 字符数是 0,标点和字母却一大堆,八成是被转义成了 \u4e2d\u6587 这种形式,或者被 HTML 实体化了。

判断换行符有没有混用。 LF 和 CRLF 同时出现,说明这份文件被 Windows 和 Linux 两边的编辑器都改过。混用换行的文件在 Git 里容易出现整文件 diff,Shell 脚本会报 bad interpreter: /bin/bash^M,在服务器上跑直接失败。

判断有没有制表符混进来。 从 Excel 复制出来的”一列”数据,有时候单元格里带着制表符,粘到系统里就变成了错列。制表符计数能提醒你这一点。

估算字节更准。 看到 CJK 300、英文 800、数字 100,你就能估出字节大概在 1800 到 2000 之间;如果只有”总字符数 1200”,估出来的误差可能上千字节。

一段”看起来 500 字”的文本,实际可能是 120 个汉字加 300 个英文字母加 50 个数字,字节数远小于”500 × 3”。分布就是用来纠正这类直觉偏差的。

🛠 工具怎么用:完整视图、快速计数、复制与 JSON#

打开文本统计工具,粘贴或直接输入文本,统计是实时的,不需要点按钮。

两个视图,按需切换。

  • 完整视图把指标分成四组:长度(字符数、非空白字符数、字节数)、结构(行数、非空行数、空行数、段落数)、内容(单词数、CJK、英文字母、数字、空白、标点)、技术(换行符分类、制表符)。适合排查问题、写技术文档、核对数据。
  • 快速计数只保留最常用的几个:字符数、非空白字符数、单词数、行数、段落数、字节数。适合边写边看,填表时瞄一眼就走。

结果的三种取用方式。

  1. 点单个指标复制。 写周报要填”约 3000 字”、工单里要写”日志 12 万行 8.4 MB”,点一下对应的数字就复制走了,不用手动选中,也不会把旁边的标签一起复制进去。
  2. 复制全部。 把当前所有指标一次性复制成文本,适合贴到汇报、群聊、文档里存档。
  3. 下载 JSON。 需要把统计结果接到脚本、流水线或数据表里时,下载 JSON 比手抄可靠。做多版本文案的字数对比、批量核对接口字段长度,都可以拿这个 JSON 做留档。

操作步骤:

  1. 打开页面,把文本粘进输入区(也可以直接打字);
  2. 需要看细节就留在完整视图,只想看几个数就切到快速计数;
  3. 在分组里找你要的指标,点数字复制;
  4. 要整份结果就”复制全部”,要程序处理就”下载 JSON”;
  5. 改完文本,数字会跟着更新,不需要重新提交。

所有统计都在浏览器本地完成,文本不会上传。合同草稿、客户名单、日志片段这类内容,粘进去不用担心外泄。

有个操作上的小提醒:如果文本是从某个有长度限制的输入框里复制出来的,先确认它没被截断。有些后台的编辑框本身就有 maxlength,你以为复制了全文,其实只拿到了前 2000 个字符,统计出来的数字当然不对。

⚠️ 六个常见错误#

错误一:拿 Word 的”字数”去填系统的字数限制。

Word 的中文统计是混合口径:汉字按字算,英文按词算,标点、空格、脚注、文本框在不同版本里的处理还不完全一样。系统的限制大概率按字符数或字节数算。两边的数对不上是常态,不是谁算错了。填表前先用字符统计核对一遍。

错误二:把 JavaScript 的 .length 当字数。

"😀".length 是 2。一段全是 emoji 的文本,.length 能虚高出一倍。用 [...text].length 数码点,用 Intl.Segmenter 数字素簇。

错误三:把字节当字符。

接口说 max 2000,你按 2000 个汉字去写,实际提交了 6000 字节,直接被拒。看到”限长”两个字,先确认单位是字符还是字节。

错误四:按固定系数换算字节。

“1 个汉字 2 字节”是 GBK 的记忆,“1 个汉字 3 字节”只对 UTF-8 纯中文成立。中英混排、emoji、全角标点一掺进来,任何固定系数都会失准。

错误五:把每行当一段。

从 PDF、网页、聊天记录里复制出来的文本,经常每行都带硬换行。按行数当段落数,段数会翻好几倍。段落看空行。

错误六:只改字符集,不改字段长度。

把 MySQL 从 utf8 升到 utf8mb4 之后,emoji 能存了,但索引前缀的字节上限没变,长索引照样报错。字符集、字段长度、索引长度、行大小限制,这四件事要一起看。

✅ 你要哪个数:一张对照表#

你的目的该看哪个指标注意事项
平台字数限制(公众号、知乎、表单)字符数(码点),部分平台按 UTF-16先看平台说明,再用字符数校对
论文、申报表、简历学校或单位规定的口径中文按字、英文按词时,CJK 与单词数分开看
接口字段限长UTF-8 字节数注意 JSON 转义与换行符
数据库字段设计字符数或字节数,看数据库语义MySQL 按字符,Oracle 默认按字节;同时看索引上限
日志、文件行数行数wc -l 数的是换行符,末行无换行时会少 1
短信、计费、存储预算字节数中英混排会触发编码切换
排版、设计、输入限制字素簇emoji、组合字符按眼睛看到的算
英文文案、阅读时长单词数中文单词数仅供估算

❓ 常见问题#

字符数和字节数为什么不一样?

字符数按 Unicode 码点统计,字节数按 UTF-8 编码后的实际长度统计。一个汉字是 1 个码点、3 个字节;一个 emoji 是 1 个码点、4 个字节;一个英文字母是 1 个码点、1 个字节。两者不是换算关系,是两种不同的度量。

emoji 到底算几个字?

看口径。按码点算 1 个(😀 U+1F600),按 JavaScript 的 .length 算 2 个,按字素簇算 1 个,按 UTF-8 字节算 4 个。组合 emoji 差别更大,一家四口 👨‍👩‍👧‍👦 是 7 个码点、11 个 UTF-16 码元、1 个字素簇、25 个字节。工具里”字符数”是码点,“用户感知字符数”是字素簇。

中文单词数准吗?

不承诺专业准确。中文没有唯一的分词标准,“研究生命”这种串怎么切都能自圆其说。工具用浏览器自带的分段能力估算,不同浏览器版本可能有差异。要严格按字数考核的场合,看 CJK 字符数更稳。

段落是怎么算的?

按连续空行分隔。第一段\n第二段 是一段,第一段\n\n第二段 是两段,连续多个空行只算一个分隔,不会额外产生空段落。纯空白输入算 0 段。

为什么行数和我数的差 1?

多半是结尾换行。文件以换行符结尾时,工具不会把这个结尾换行再算成一行;而 wc -l 数的是换行符个数,文件末尾没换行时它反而会少算一行。编辑器显示的行号又是另一套口径(末行没换行也显示行号)。三种说法都”对”,只是定义不同。

想统计某个词出现了几次,这个工具能做吗?

文本统计给的是整体指标,不做词频。要数某个词出现几次,用文本替换工具:查找内容填那个词,替换内容填同一个词,选”替换全部”,它会显示匹配数量,原文不受影响。

统计结果会上传吗?

不会。所有统计在浏览器本地完成,不产生上传请求,文本不会离开你的设备。

为什么和 Word 的字数对不上?

Word 的”字数”是混合口径,中文按字、英文按词,标点空格在不同统计项里处理不同。你要填的表单如果按字符算,就该看字符数;如果按”中文一个字算一个、英文一个词算一个”算,就把 CJK 字符数和英文单词数加起来看。先确认对方的口径,再决定看哪个数。

收个尾#

字数统计这件事,难点从来不在”点哪个按钮”,而在先确认限制用哪把尺子。字符、字节、行段、词,四个口径各自成立,混用就会得出互相矛盾的结论。

记住三句话基本够用:码点不等于 .length,字符不等于字节,行不等于段落。 再记住一条操作习惯:填任何有长度限制的框之前,先用字符统计和字节统计各看一眼,比删半天字再被系统打回要省事。

星点文本统计工具 把这些指标放在一屏里,实时更新,单项可复制、整体可导出 JSON,全程本地处理。文本系列还有十个工具,从对比、去重、排序到清理、替换、批处理,都收在星点文本工具 里。

文章分享

如果这篇文章对你有帮助,欢迎分享给更多人!

相关文章 智能推荐
1
星点文本工具完整指南 - 11个在线文本对比/去重/统计/清洗工具导航
文本工具 星点文本工具系列完整指南:文本对比、按行去重、文本排序、字数与字节统计、查找替换、去除空行与换行符转换、大小写与命名格式、分割合并、行号处理、批量清洗与本地笔记本共 11 个在线工具的选型导航。含按场景选工具、三套组合工作流、字符数与字节数/行与段落/普通替换与正则替换的概念对照、五个常见误区与 FAQ,全部浏览器本地处理。
2
文本行号工具 - 批量添加、移除与重建行号
文本工具 文本行号工具指南:给清单、代码片段、日志批量添加行号,可设起始值、步长、分隔符、补零、前缀并选择是否给空行编号;按 1.、1)、1:、数字加空格或自定义正则移除编号,移除前先看匹配行数;支持拆掉旧编号后按新规则重建。含补零宽度、行首数字被误删的真实原因、常见错误与 FAQ。
3
文本排序工具 - 字符、数字与自然排序(中文/文件名友好)
文本工具 在线文本排序工具指南:讲清字符串(语言感知)、数字、自然三种排序模式的差别,用同一组数据对照 2 与 10、file2 与 file10、中文姓名的实际结果;说明升序降序、忽略大小写、中文拼音排序、空行排前排后与稳定排序各管什么,附 Excel 文本列排序、混合内容误判数字等常见错误、操作步骤与 FAQ,全程浏览器本地处理。
4
文本分割与合并工具 - 按分隔符拆分、按行合并
文本工具 在线文本分割与合并工具使用指南:按换行、字面分隔符或正则把一段文本拆成条目,可输出每行一条或 JSON 数组;也能把多行按逗号、空格、分号、竖线、制表符或任意文本拼成一段。覆盖保留与移除空项、每项 trim、最大分割次数、忽略空行、前缀后缀与整体包裹,并说明分隔符按字面处理、. | * 不是正则、JSON 标准序列化,以及 CSV 字段内逗号、多余分隔符、下标错位、中文逗号四个常见错误。浏览器本地处理。
5
在线文本对比工具 - 两段文本差异高亮(行/词/字符级)
文本工具 在线文本对比指南:左右粘贴原始文本与新版本,按行(默认)、词、字符三种粒度对比,新增标绿、删除标红并统计差异区块。以左侧为基准判定增删,可忽略行尾空白、大小写、空行,比较选项不影响原文。支持并排与统一视图切换、复制 diff 或下载 txt。含改稿核对、配置变更、日志对比、合同版本、代码片段五类场景,以及 CRLF、行尾空格、编码、超大文本降级等常见坑。
随机文章 随机推荐
公告
🎉 已升级 2.0 版本,欢迎使用。
分类
标签
站点统计
文章
247
分类
31
标签
973
总字数
633,901
运行时长
0 天
最后活动
0 天前

目录