批量文本处理工具 - 多步骤清洗文本(去空行/去重/排序/替换)
🌟 要清洗的文本,很少只脏在一个地方
从后台导出的名单、同事交接过来的配置文件、从网页上整段复制下来的数据——它们出问题的方式几乎一模一样:行首行尾挂着空格,中间夹着连续空行,同一条记录出现两三次,顺序是乱的,大小写不统一,有的还带着上一手留下的行号和前缀。
单看每一项都是小活。麻烦的是它们叠在一起。你先删空行,再一行行看空格,再去重,再排序,中途还得回头检查有没有漏。半小时过去,下次拿到同类文件,同样的动作再走一遍,还是要从头开始。
星点 批量文本处理工具 处理的就是这一层:把 12 种常见操作排成一条可见、顺序可调、可重复执行的步骤链,一次跑完,每一步的结果都能单独看。全部在浏览器本地完成,文本不上传。
三类最常见的场景:
一、一次性整理脏清单。 三份报名表合成一份,手机号列里同一个人出现两次;从多个渠道攒下来的关键词,四百多行里一半是重复的;客户名单里有人叫”张伟”,有人叫”张伟 “(末尾一个空格)。这类活的特点是要得急、只做一次,但手工做又慢又不敢保证没漏。
二、标准化配置或代码片段。 几个人的编辑器不一样,有人存成 CRLF,有人存成 LF;行尾空格是历史遗留;块与块之间有五六个连续空行。你要把它整理成能进版本库的样子,还要保证下次别人改完,你还能用同一条链再压一遍。
三、预处理数据。 导出的那一列带着行号,数字里带千分位逗号,最后还要变成 'a','b','c' 这种能直接塞进 SQL 的形式。这类处理每次的形状都差不多,只是数据换了。
这三种场景有个共同点:工序是固定的。固定的工序就该固化成一条链,而不是每次凭记忆重走一遍——记忆会漏步骤,链不会。
🧩 12 种步骤,各自到底改什么
工具的步骤列表是固定的 12 项,每项一个勾选框,右侧有上移/下移按钮调整顺序,勾上之后才展开参数。先把每一项的真实行为说清楚,后面讲顺序才有依据。
| 步骤 | 做什么 | 界面上的参数 | 执行后显示的计数 |
|---|---|---|---|
| 全文首尾去空白 | 只清整段文本开头和结尾的空白,段落内部逐行的首尾不动 | 无 | 删除 N 字符 |
| 每行首尾去空白 | 逐行清掉行首行尾的空白(空格、制表符、全角空格、不换行空格都算) | 无 | 修改 N 行 |
| 删除空行 | 删掉所有空行;只含空格或制表符的行也算空行 | 无 | 删除 N 行 |
| 压缩连续空行 | 连续多个空行只保留一个,适合要留住段落间隔的文稿 | 无 | 删除 N 行 |
| 去重 | 整行完全相等才算重复,保留第一次出现 | 无 | N 行 → M 行 |
| 排序 | 三种比较方式 + 升降序,比较结果相同的行保持原有先后 | 字符串 / 数字 / 自然;升序 / 降序 | 共 N 行 |
| 大小写转换 | 全部大写、全部小写、标题式、camelCase、snake_case | 目标格式 | 无 |
| 文本替换 | 字面替换或正则替换,默认区分大小写、替换全部匹配 | 查找、替换为、正则开关 | 替换 N 处 |
| 添加行号 | 每行前面加编号,空行也会编号 | 起始编号、分隔符(. 、) 、: ) | 无 |
| 删除行号 | 只剥掉行首的点号编号(如 1. ),正文里的数字不动 | 无 | 移除 N 行 |
| 换行符标准化 | 把 CRLF / CR / LF 统一成一种 | LF / CRLF / CR | 无 |
| 添加每行前缀/后缀 | 每行前后拼接固定文本,空行也会加 | 前缀、后缀 | 无 |
几条容易被表格盖过去的细节:
trim 只动首尾。 行尾那个看不见的全角空格、从 Excel 复制时带上的不换行空格(NBSP),都在 trim 的处理范围内;夹在句子中间的空格一个都不会动。这一点后面单独讲,因为它是最容易被误解成”删空格”的地方。
删除空行和压缩连续空行不是一回事。 名单、URL 清单、关键词表这类”一行一条”的数据,空行没有意义,直接删;一份带分节的配置或 Markdown 草稿,空行是结构的一部分,用压缩把连续空行收成一个更合适。
去重是按整行判等。 张伟 和 张伟 (末尾一个空格)在去空白之前是两条不同的行,先去重再去空白,两条都会留下。这个顺序问题后面有对照。
排序的行为细节。 字符串模式走浏览器本地化比较(中文按 zh-CN 规则,不是按字符编码硬排);数字模式按数值比,转不成数字的行统一排到最后;自然排序会把 item2 排在 item10 前面,而不是 item10 在前。空行无论升序降序都会被集中到末尾——这是排序本身的行为,也说明空行该在排序前处理掉。值相同的行保持原有相对顺序。
大小写里的 camelCase / snake_case 会合并整行。 它把一行里的多个词拼成一个标识符,用在代码符号列表上合适,用在姓名列上会把”张 伟”变成别的东西。改之前先想清楚这一列是不是标识符。
替换默认区分大小写、默认全部替换。 界面上没有这两个开关。想忽略大小写,得切到正则模式自己写字符组,比如把 todo 和 TODO 一起换掉,可以写 [Tt][Oo][Dd][Oo];字面模式下 $ 只是普通字符,正则模式下才支持 $1 引用捕获组。
批量里的”删除行号”只认点号模板。 1. 、2. 这种能剥;1) 、1: 、(1) 剥不了,得先用替换处理,或者去 行号处理工具 用模板移除。
参数比独立工具少。 批量工具为了把 12 项塞进一屏,参数做了裁剪:去重固定保留首次、区分大小写;删除空行固定把空白行当空行;添加行号固定给空行也编号。需要”只删尾部空行""忽略大小写判重""跳过空行编号”这类细控制,用 文本清理 和 文本去重 更合适。
🚀 一次完整的操作流程
- 打开 批量文本处理工具。左侧是”原始文本(不会被覆盖)“,右侧是只读的处理结果。
- 把要处理的文本整段粘进左侧。打开时默认勾了三个步骤——删除空行、去重、排序——正好对应”脏清单”最常见的路径,用不上就取消勾选。
- 按你的工序勾选步骤,用每项右边的上移/下移按钮调整顺序,勾上的步骤会展开参数。没勾的步骤不参与执行,也不占界面。
- 点”执行全部”。结果出现在右侧,同时弹出”执行 N 个步骤”。
- 逐项看每个步骤的预览和变更数量(表格里那一列),确认每一步做的正是你想要的事。
- 复制或下载结果(文件名
text-batched.txt)。 - 如果还要在这一版基础上继续加工,点”把结果复制回输入区”,此时结果成为新的原始文本——这一步要谨慎,后面讲为什么。
左侧输入框顶部还有”示例""清除”两个按钮,想先熟悉流程可以点示例,里面是一份典型的”行首行尾带空格 + 空行 + 重复”的名单。
🔀 顺序:这类工具最容易被忽略的地方
同一批步骤,顺序换一下,结果可能就不一样。这不是工具的毛病,是文本处理本身的性质——每一步都在改文本,后面的一步看到的是前一步的结果。工具把顺序做成可见、可手动调整的列表,就是为了让这件事变成你能控制的东西,而不是藏在某个”一键智能清洗”里。
四个对照,都是能自己复现的:
对照一:先去空白,还是先去重
原始输入两行,第一行前后各一个空格,第二行没有:
aa先”去重”再”每行首尾去空白”:去重时 a 和 a 不相等,一条都不删;之后去空白,两行都变成 a。结果两行 a。
先”每行首尾去空白”再”去重”:去空白后两行完全一致,去重删掉后出现的那条。结果一行 a。
同样的输入,同样的两个步骤,一个剩两行,一个剩一行。如果你要的是”名单里不重复”,正确答案是第二个顺序——先把行内容规范化,再判等。
对照二:大小写转换放在去重前面还是后面
AppleappleApple先”去重”(区分大小写):Apple 和 apple 被当成两条,各留一条。再”全部小写”:两行都成了 apple。结果两行 apple,重复又回来了。
先”全部小写”再去重:三行都成了 apple,去重后只剩一行。
这条规则可以推得更广:凡是会改变行内容的步骤(大小写、替换、去前缀),都应该放在判重之前。放在后面,就等于让判重白做一遍,还留下新造出来的重复。
对照三:空行没删就加行号、加前后缀
第一行
第二行直接”添加行号”(起始 1、分隔符 . ):空行也占一个号,结果是 1. 第一行、2. (编号后面什么都没有)、3. 第二行。行号从这一刻起就和原文位置对不上了。
先”删除空行”再加行号:1. 第一行、2. 第二行,干净。
前后缀同理。给每行加 - 前缀时,空行会变成一行只有 - 的空壳,粘到 Markdown 里就是一条空列表项。而”排序”还会把空行统一挪到末尾,你原本用来分组的空行位置全部失效。
所以空行的处理要尽量靠前,在编号、加前后缀、排序之前完成。
对照四:先加行号再去重,等于没去重
这个更隐蔽。一旦每行前面挂上了 1. 2. ,所有行就都互不相同了,此时再执行去重,一行也删不掉——判重比的是整行,加过行号的行天然唯一。
行号、前缀、后缀都是”装饰性”步骤,它们会破坏行的可比性,所以只能放在最后,而且加完就不该再判重、再排序(排序会按带编号的字符串排,10. 会排到 2. 前面)。
顺序的三条经验
- 先规范化,再判重排序,最后装饰。 去空白、替换、换行标准化属于规范化;去重、排序属于结构性操作;行号、前后缀属于装饰。
- 会改行内容的步骤,放在判重之前。 否则判重依据的是还没洗干净的行。
- 删空行尽量早,加行号尽量晚。 空行只影响位置对齐,行号只影响可读性,两者撞在一起最容易出错。
工具不会阻止你排出一条错误的顺序——它只保证顺序是可见的、确定的、每次执行都一样。判断顺序对不对,靠的是每步预览。
👀 每步预览与”变更数量”怎么读
执行完,每个启用的步骤都有自己的预览输出和一个计数。这一列数字不是装饰,它是你确认”这一步到底做了什么”的唯一凭据。
| 步骤 | 计数含义 | 读到什么值得警惕 |
|---|---|---|
| 全文首尾去空白 | 删除 N 字符 | 0 字符:整段首尾本来就没有空白 |
| 每行首尾去空白 | 修改 N 行 | 0 行:可能空白在行中间,trim 管不到 |
| 删除空行 | 删除 N 行 | 0 行:可能空行里混着全角空格之外的可打印字符 |
| 压缩连续空行 | 删除 N 行 | 0 行:说明没有连续空行 |
| 去重 | N 行 → M 行 | N = M:判重没命中,先怀疑行内容不一致 |
| 排序 | 共 N 行(不是删除数) | 这里不表示删了什么,只表示参与排序的行数 |
| 文本替换 | 替换 N 处 | 0 处最值得查,见下文 |
| 删除行号 | 移除 N 行 | 0 行:模板不匹配,可能不是 1. 这种格式 |
| 大小写 / 加行号 / 前后缀 / 换行标准化 | 无计数 | 只能靠预览对比确认 |
两个关键点:
第一,计数是相对”上一步的输出”,不是相对原始文本。 第三条步骤显示”删除 0 行”不代表它没干活,只代表在它拿到的那份文本里没有可删的空行——很可能前一步已经删完了。
第二,“替换 0 处”是最该停下来看一眼的信号。 常见原因有四个:查找内容大小写对不上(默认区分大小写);全角半角和你想的不一样;行首行尾还挂着空格,导致 关键词 匹配不到 关键词;用了正则模式但元字符没转义——. 匹配任意字符,( 会报错,* 会贪心。处理办法很简单:先把那几行贴到 文本对比工具 里跟你的预期比一下,差异往往是看不见的空白或全角字符。
没有计数的四步怎么看?看预览本身。大小写转换后第一行的样子、行号有没有和原编号叠在一起、换行标准化后行数有没有变——这些一眼就能看出来,比数字更直接。
🛑 某一步失败:报出步骤名、停下、把上一份完整结果留给你
步骤失败不是”整批报废”,也不是”悄悄跳过继续往下跑”。工具的处理是明确的:
- 弹窗指出是哪一步失败、原因是什么,比如步骤「文本替换」失败:正则表达式无效;或者查找内容不能为空,请先填写要查找的内容;
- 该步骤之后的步骤不再执行;
- 结果区保留最后一个成功步骤的输出,也就是失败那一步之前的状态。
这个设计的价值在于:你拿到的永远是一份”某一步完整执行完”的文本,而不是被后续步骤加工过的半成品。半成品最危险——它看起来像结果,实际缺了一环,拿去用会出错。
实际处理时,两条路:
- 先把出问题的那一步关掉,让其余步骤照常跑完,拿到一份可用的结果,再单独研究那一步的参数;
- 把替换拆成单独一轮。第一轮只做结构清洗(去空白、删空行、去重、排序),确认结果对了;第二轮再加替换,一次只验证一件事。
最容易踩的失败是正则:[、(、* 开头、\ 结尾,都会让正则编译不过。写正则时先用一小段样本试,比拿整份数据试要快得多。
🔁 为什么反复点执行不会叠加行号,但有一种情况会
左侧输入框的标题写得很清楚:原始文本(不会被覆盖)。结果区是只读的。每次点”执行全部”,工具都拿左侧那份原始文本从头跑整条链,不会把上一次的结果当输入。
所以:原始文本是 x,勾上”添加行号”,点三次执行,结果仍然是 1. x,不会变成 1. 1. 1. x。加前缀也一样,- x 点多少次都是 - x。这是设计上刻意避免的坑——很多人用记事本配合手工编号时,最常犯的错就是”又跑了一遍,编号叠了一层”。
但有一处边界必须讲清楚:点”把结果复制回输入区”,结果就变成了新的原始文本。
- 输入
x,加前缀-,结果- x; - 点”把结果复制回输入区”,左侧输入变成
- x; - 再执行,得到
- - x。
行号同理,1. x 会变成 1. 1. x。这不是工具偷偷叠加,是你明确把上一版结果变成了新的起点。
判断方法很朴素:看左侧输入框的第一行。如果里面已经有你要加的前缀或者编号,说明原始输入已经被替换掉了。所以:
- 只是”再执行一次确认结果”,直接点执行,不用管输入区;
- 要把结果作为下一轮的输入,先确认这一轮不再需要”从原始输入重算”;
- 想保留最初那份原文,最稳的做法是在开始前把原文留在别处(笔记、编辑器都行)。页面上的”恢复输入”回到的是页面载入时的那份内容,你自己粘贴进去的文本它不会记住。
🧰 单项任务用专工具,多步重复流程用批量
这是两个不同的问题,工具也分开做了:
| 你的情况 | 建议 | 原因 |
|---|---|---|
| 只想删空行、改换行符 | 文本清理 | 一步到位,参数更细:能只删首部或尾部空行、选空白字符集、检测并互转 LF/CRLF/CR |
| 只想按行去重 | 文本去重 | 能选保留首次还是末尾、忽略大小写判重、忽略首尾空白判重、处理空行,还能导出重复清单 |
| 只想排序 | 文本排序 | 忽略大小写、空行位置、比较时是否去空白这些选项都在 |
| 只想替换几个词 | 文本替换 | 有区分大小写、只替换第一个、替换计数与撤销 |
| 只想加/去/重排行号 | 行号处理 | 模板可选、可跳过空行、支持重建编号 |
| 每周都要把同一套工序跑一遍 | 批量工具 | 步骤链搭一次,之后只换数据 |
| 要做”去空白 + 删空行 + 去重 + 排序 + 加后缀”这种组合 | 批量工具 | 一条链跑完,每步可核对 |
两者不冲突。底层规则是共享的:同一个操作在批量工具和独立工具里结果一致,不会出现”两个页面算出两个答案”。区别只在参数颗粒度和附加信息:独立工具把一件事做到最清楚,还给你重复清单、撤销、替换次数这类过程信息;批量工具把这些能力排成链,牺牲一部分参数,换来一次执行多步和整体可复现。
选择标准很简单:要的是”这一次的结果”,用专工具;要的是”以后每次都能一样”,用批量。
⚠️ 三个最常见的错误
一、把上一次的结果再执行,导致前缀/行号叠加
这是手工处理时代留下的肌肉记忆:改完不满意,再跑一遍。在批量工具里,直接点执行不会叠加(每次从原始输入重算),真正会叠加的是”复制回输入区之后再执行”。识别方法就是看输入框第一行有没有已经加好的东西。发现叠了,把输入区清空重新粘贴原文最干净。
二、顺序排错
三个高频版本:
- 大小写放在去重之后:判重时还区分大小写,转完小写又出现重复;
- 去重放在去空白之前:
张伟和张伟被当成两条; - 行号放在删空行之前:空行占了编号,行号和原文位置错位,后面再删空行,编号就断号了。
顺序错了不会有任何报错,结果看起来也”像那么回事”,只能靠逐步预览发现。
三、把 trim 当成”删空格”
“每行首尾去空白”听名字像能清理空格,实际只清行首和行尾。张 伟(中间一个空格)它不会动,hello world 也不会变成 helloworld。
要删中间的空格,用替换的正则模式写 \s+,替换为空。但要小心:\s+ 会把英文单词之间的分隔空格一起删掉,hello world 变成 helloworld。所以这一步要么限定字符集(只删全角空格 +),要么先确认这份文本里空格本来就不该存在。反过来,如果你只是想去掉从网页复制带来的那些看不见的空白,trim 就够了,别上正则。
另外两个小坑顺手记一下:删除空行 会把”只有空格的行”也算空行,如果你想保留缩进用的空白行,就得改用压缩连续空行;排序 会把空行统一挪到末尾,任何依赖空行位置的分组结构都会被打乱。
📋 三套可以直接套用的步骤链
参数按界面默认值写,勾选和顺序照抄即可。
链 A:脏名单清洗
输入:从三个渠道合并来的名单,行首行尾有空格、夹空行、有重复、顺序乱。
- 每行首尾去空白 —— 让
张伟和张伟变成同一行内容 - 删除空行 —— 空行在这里没有意义
- 去重(默认保留首次、区分大小写)—— 此时判重依据已经是洗干净的行
- 排序(字符串 / 升序)—— 方便人工核对,也方便和上一版对齐
如果名单里大小写混着(邮箱、英文名),把”全部小写”插在第 1 步和第 3 步之间,别放在去重后面。
链 B:配置或代码片段标准化
输入:几个人交上来的配置片段,换行符不统一、行尾有空格、块之间空行数量不一致。
- 换行符标准化(LF)—— 先把 CRLF/CR 统一,后面所有步骤的行边界才一致
- 每行首尾去空白 —— 清掉行尾空格和缩进尾部的制表符
- 压缩连续空行 —— 保留一个空行做分隔,不要直接删光
- 文本替换(字面:制表符 → 两个空格)—— 制表符可以在查找框里直接粘贴一个真实制表符,不一定要开正则
配置片段不要加行号、不要加前后缀,这两类装饰会直接破坏文件语法。
链 C:数据列预处理成 SQL IN 列表
输入:一列导出数据,带行号、带千分位逗号、需要变成 'a','b' 的形式。
- 删除行号 —— 剥掉
1.这种行首编号(1)这种要先换模板或用行号工具) - 每行首尾去空白
- 删除空行
- 文本替换(字面:
,→ 空)—— 去掉千分位逗号;如果数据里还有单位,再补一条替换 - 文本替换(正则:
^(.+)$→'$1')—— 每行加单引号,正则模式才认$1 - 添加每行后缀(
,)—— 拼成'a','b','c',,末尾那个逗号删掉就行 - 换行符标准化(LF)—— 保证贴进脚本后不会因为 CRLF 出问题
第 5 步和第 6 步都能给每行加东西,区别是:前缀/后缀是纯文本拼接,处理不了”每行内容不同但格式相同”的复杂情况;正则替换能做捕获组,但要保证正则写得对——写错了会在执行时立刻失败并停下,不会污染结果。
❓ 常见问题
它和文本清理、文本去重这些独立工具有什么区别?
独立工具把某一项任务做到最清楚,参数更全,还附带重复清单、撤销、替换计数这类过程信息;批量工具把常见任务排成可重复执行的步骤链,一条链跑完,逐步可核对。两者共享底层规则,同一个操作的结果一致。选哪个取决于你要的是"这次的结果"还是"以后每次都能一样"。步骤顺序重要吗?
重要,而且影响很直接。先去空行再去重,和先去重再去空行,结果可能不同;大小写转换放在去重之后,会把去重刚删掉的重复重新造出来;行号放在删空行之前,会让编号和原文位置错位。工具保证顺序可见、确定、可调,但不会替你判断顺序对不对——靠逐步预览确认。重复执行会叠加行号或前缀吗?
不会。每次执行都基于左侧的原始文本从头重算,原始文本不会被结果覆盖。唯一会叠加的情况是点了"把结果复制回输入区"——那等于你主动把上一版结果变成了新的原始文本,再执行自然会叠一层。某一步失败会怎样?已经跑完的步骤白做了吗?
不白做。工具会指出失败的步骤名称和原因,默认停止后续步骤,结果区保留最后一个成功步骤的输出。你可以把失败那一步关掉,让其余步骤照常跑完,也可以分两轮执行:先做结构清洗,确认后再加替换。一次能处理多长的文本?
工具没有按行数设置人为上限,实际能处理多大取决于浏览器和机器内存,处理过程是同步的。如果粘进去几十万行后界面明显卡顿,建议先按业务拆成几段分别处理,再把结果拼起来。具体上限没有测过统一数值。12 种步骤可以重复添加吗?比如连续做两次替换。
步骤列表固定 12 项,一项一个开关,不能把"替换"放两次。需要两步替换时,可以把两次替换写进分两轮执行(第二轮记得把第一轮的替换也勾上,因为每轮都从原始输入重算),或者用正则一次覆盖多种情况。替换为什么明明有却显示替换 0 处?
最常见的是大小写不一致(默认区分大小写)、全角半角不同、行首行尾还挂着空格,或者正则模式里的元字符没转义。先用文本对比工具把实际内容和预期比一下,差异通常在看不见的空白上。数据会上传吗?需要登录吗?
不上传,也不需要登录。所有步骤都在浏览器本地执行,不产生网络请求。关掉页面,文本就没了,不会留存在任何地方。💬 总结
批量文本处理解决的不是”某个操作不会做”,而是”一整套动作每次都要重来,而且做完心里没底”。把 12 种步骤排成一条链,顺序可见、每步可预览、失败会报名字并停下、每次执行都从原始输入重算——这四件事加起来,才让”清洗过的文本”变成可以交付的东西,而不是一份看起来差不多、实际不知道漏了哪一步的结果。
记住三条:先规范化再去重排序,最后加装饰;空行早点删,行号晚点加;单项任务交给独立工具,固定工序才值得做成链。
立即体验:访问 批量文本处理工具
文章分享
如果这篇文章对你有帮助,欢迎分享给更多人!