文本去重工具 - 按行去重、保留原顺序(名单/关键词/URL)
🌟 三个表格合并完,名单里有一百多个重复
周五下午,运营把三份报名表丢过来:一份是公众号后台导出的,一份是活动现场登记的,还有一份是同事手动补的。三份都要并成一张总表,姓名列贴到一起去重。你复制、粘贴、滚动,眼睛看到第三遍的时候已经开始怀疑自己——“这个张伟是不是上面那个张伟”。
同类的事还有:
- 做投放关键词,从竞品页、搜索下拉框、行业群里攒了四百多行,真正能用的可能只有一半,重复的占了一大截;
- 整理外链清单或站点地图,同一个 URL 在不同文档里出现了好几次,有的还带着
?utm_source=; - 排查日志,把某个报错前后的行抓出来,同一段堆栈在几十条记录里反复出现;
- 维护一份客户名单,销售 A 和销售 B 各记了一份,合并后同一个人出现两三次,写法还不太一样(一个带空格,一个大小写不同)。
手工去重的问题是慢和不确定:翻到第 200 行,你已经记不清前面有没有出现过这一条;用 Excel 的”删除重复项”,又常常被隐藏空格坑一次。星点 文本去重工具 处理的就是这件事:把按行排列的文本贴进去,按行去重,保留原顺序,顺带告诉你哪些条目重复了几次。全部在浏览器本地完成,名单不会上传。
但它有一个前提必须先讲清楚:它按「完整行」判重,不做子串、不做分词。 后面所有行为——保留哪一条、空行怎么算、大小写怎么处理——都建立在这条规则上。
🧭 判重规则:整行相等才算重复
工具把输入按换行拆成一行一行,然后逐行比较”这一行和之前出现过的那一行是否完全相同”。完全相同,就是重复;差一个字符,就不是。
先把几个容易误会的例子摆出来:
| 两行内容 | 算重复吗 | 原因 |
|---|---|---|
苹果 / 苹果 | 是 | 整行完全一致 |
苹果 / 苹果手机 | 否 | 一个是另一个的前缀,但行内容不等 |
苹果 手机 / 苹果手机 | 否 | 中间多了一个空格 |
a,b / b,a | 否 | 顺序不同,整行不同 |
https://x.com/a / https://x.com/a?utm_source=wx | 否 | 查询参数不同,整行不同 |
张三 / 张三 (行尾一个空格) | 否(默认) | 行尾空格也是字符,除非开启”忽略首尾空白判重” |
这张表就是”规则可预期”的含义:你不需要猜工具用了什么模糊匹配、会不会把”苹果手机”并进”苹果”,也不用担心它按逗号或空格把一行切成词再比。它只做一件事:整行是否相等。 想合并”看起来差不多”的行,得靠下面几个开关把判重键归一化,而不是靠工具自作聪明。
反过来说,这也意味着它不适合处理”语义重复”:北京市朝阳区 和 北京朝阳 在工具眼里是两行,SEO优化 和 seo 优化 也是两行(除非你开了忽略大小写和 trim 判重,空格仍在行内,还是不同)。语义归并需要人判断,工具只负责机械比对。
🚀 操作:粘贴、选规则、点去重、拿走结果
页面是左右两栏,左边原始文本,右边结果。整个流程五步:
- 粘贴文本。 一行一条,直接从 Excel 复制一列也行——复制单列时,每个单元格会变成一行;
- 选保留规则。 默认「第一次出现」,需要时切「最后一次出现」;
- 按需要勾选三个开关。 「忽略大小写」「忽略首尾空白判重」「输出去除首尾空白」,再加一个「结果排序」;
- 选空行策略。 默认「保留全部空行」,另外两个是「空行视为重复」「删除所有空行」;
- 点「去重」。 右侧出结果,下方显示”共 N 行,去重后 M 行,删除 K 行”,有重复项时列出条目和出现次数。
结果区支持复制,也可以下载成 text-deduplicated.txt。输出会沿用输入里占多数的换行风格(CRLF 还是 LF),并保留结尾是否有换行——这一点在把结果贴回配置文件或代码时很重要,不会因为过一次工具就把整份文件的换行符改掉。
一个操作细节:右边那栏文本是点「去重」时写进去的。之后你再改输入或选项,下面那行统计会跟着新输入变,但右边文本还是上一次的结果,看起来就是数字和内容对不上。再点一次「去重」,两边才一致。
📋 从 Excel 复制一列之前,先处理表头和列
合并三份表格时,最先撞上的往往不是重复姓名,是三个”姓名”表头。整列复制粘贴,表头也会变成一行数据;三份表合并后,“姓名”出现三次,去重只留一条,位置还停在名单中间——因为它是第一份表的第一行。
两个处理办法:
- 粘之前把表头删掉,或者去重之后手动删掉那一行;
- 留着也行,它会作为普通行参与判重,去重后再把它挪到顶部。
第二类问题是多列。工具按行判重,一行就是一条记录。如果你从 Excel 复制的是”姓名 + 手机号 + 城市”三列,粘贴进来每行其实是用制表符连起来的一整行。这时:
- 三列全都一样才算重复,任意一列不同就是两条;
- 想按”手机号”判重(同一个人换了城市也算重复),得先在表格里只选中手机号那一列复制出来;三列一起粘进来,工具没法只认其中一列;
- 反过来,如果三列里有一列是”备注”且经常变,整行判重会失效——备注不同就判成两条不同记录。
所以多列名单要先回答一个问题:这条记录的身份由哪几列决定? 只由一列决定,就把那列单独拿出来去重;由多列共同决定,整行去重正合适,但列的顺序和分隔符必须一致——从不同系统导出的表格,列顺序经常不一样。
🔀 保留第一次,还是保留最后一次
默认保留第一次出现:第一条占住位置,后面重复的都删掉。顺序基本保持原样——准确说是”保留下来的那些行,按它们第一次出现的位置排列”。
拿一份六行的名单举例:
张三李四张三王五李四张三| 规则 | 结果 | 说明 |
|---|---|---|
| 保留第一次 | 张三 / 李四 / 王五 | 第 1、2、4 行留下 |
| 保留最后一次 | 王五 / 李四 / 张三 | 第 4、5、6 行留下 |
注意第二种:保留最后一次,顺序会变。 因为留下的是每个值最后一次出现的那一行,位置也跟着那一行走。张三最后出现在第 6 行,就排到了末尾。如果你要的是”最新状态 + 原始顺序”,这两件事在保留最后一次时是冲突的,得二选一,或者去重后再用排序工具重新排。
什么时候用哪个?
- 保留第一次:名单、关键词、URL 清单这类”以第一条为准”的场景。第一次出现的写法通常是你最初录入的规范写法,后面的是复制扩散出来的;
- 保留最后一次:追加式日志、状态流水、多人依次补充的清单。同一订单的状态行反复追加,最后一条才是当前状态;同一客户的备注被多次修改,最后一条才是最新的。
判断标准其实是一句话:你要的是”最早的那份记录”还是”最新的那份记录”。 想不清就先用保留第一次,因为它的顺序最接近你看到的原文,核对起来省事。
另外还有个「结果排序」开关,勾上后去重结果按字典序重排。它适合”两份名单比完整性”这种场景:各自去重、各自排序,再逐行对照。要注意它是按字符编码比较,不是拼音,也不是数字大小,中文和数字行的表现见后面第 5 条常见错误。
🔤 判重键和输出内容是两件事
这是整个工具里最值得花五分钟理解的设计,也是它和很多”一键去重”脚本最大的区别。
工具内部有两个东西:
- 判重键:拿来比较的值。键相同,就算重复;
- 输出内容:最终写进结果里的那行文本。
默认两者是同一行原文。但你可以只改其中一个:
- 勾「忽略首尾空白判重」→ 判重键去掉首尾空白,输出仍是原文(空格还在);
- 勾「输出去除首尾空白」→ 输出被 trim,判重键不变;
- 勾「忽略大小写」→ 判重键转小写,输出保留第一次出现时的原始大小写。
如果把这几个开关合并成一个”智能去重”,会发生什么?你会被迫在两种糟糕的结果里选一个:要么该合并的没合并(比如带前导空格的” 张三”和”张三”被当成两个人),要么合并了但原文被悄悄改掉(比如 iPhone 被写成 iphone,SEO工具 变成 seo工具,而你的名单本来是要按原样交付的)。
分开之后,四种组合各管一件事。拿这三行举例:
alphaalphaAlpha| 忽略首尾空白判重 | 忽略大小写 | 结果 | 说明 |
|---|---|---|---|
| 关 | 关 | alpha / alpha / Alpha | 三行全不同,一条都不删 |
| 开 | 关 | alpha / Alpha | 前两行键都是 alpha,保留第一条原文;Alpha 大小写不同,仍是独立一条 |
| 关 | 开 | alpha / alpha | 第 2、3 行键都是 alpha;第 1 行带空格,键仍不同 |
| 开 | 开 | alpha | 三行键全部归一成 alpha,只留第一条原文 |
再单独看”输出去除首尾空白”:上表最后一行的结果会从 alpha 变成 alpha,判重结果不变,只是交付的文本干净了。这就是两个开关分离的价值——判断是否重复,和决定交付什么格式,本来就是两个决定。
几个必须知道的边界:
- 忽略大小写只影响判重。 输出保留被选中那条的原始大小写,不会统一转成小写。所以合并后你看到的是
iPhone还是iphone,取决于它第一次(或最后一次)出现时怎么写的; - 忽略大小写用的是通用小写转换,不区分语言环境。土耳其语里
I和i的大小写关系跟英文不同,这类场景工具不会替你做本地化处理; - 输出 trim 只去行首行尾,行内空格、制表符一概不动。全角空格(U+3000)在首尾时也会被去掉;
- 重复项清单显示的是第一次出现时的原文,不是归一化后的判重键。开了 trim 判重和忽略大小写以后,清单里可能出现”看起来不像同一个键”的写法,这是正常的——它展示的是你原文里的样子,方便你回表格里找。
⬜ 空行:三种策略,先想清楚它算不算一条
空行在名单里通常是分隔符或排版残留,在日志里可能是真的空记录。工具给了三个选择:
| 策略 | 行为 | 适合 |
|---|---|---|
| 保留全部空行 | 空行原样保留,不参与去重 | 用空行分隔分组的文本,比如多段配置、分段名单 |
| 空行视为重复 | 空行也进判重,只留第一条 | 空行没有语义,但想保留一个视觉分隔 |
| 删除所有空行 | 所有空行都删掉 | 交付给程序处理的数据、逐行清单 |
先明确”空行”的口径:完全空的行才算空行。只含空格或制表符的行不是空行,它是一条内容行。这一点和直觉有偏差,但很有必要——不然一行三个空格到底算分隔还是算数据,永远说不清。
拿七行文本举例(· 表示空行):
张三·李四张三·王五李四| 空行策略 | 去重后 | 行数变化 |
|---|---|---|
| 保留全部空行 | 张三 / · / 李四 / · / 王五 | 7 → 5,删 2 |
| 空行视为重复 | 张三 / · / 李四 / 王五 | 7 → 4,删 3 |
| 删除所有空行 | 张三 / 李四 / 王五 | 7 → 3,删 4 |
三种策略下”删除数”都不一样,但都是同一个口径:总行数减去输出去重后的行数。所以看到删除 4 行,不等于有 4 条重复内容——其中可能包含被删掉的空行。
还有两个边界:
- 结尾换行不算一行。
张三\n李四\n是两行,不是三行。输入框里最后一个换行只是”末尾有换行”这个状态,工具输出时会保留它,但不会多算一条空行。空字符串输入是 0 行; - 空格行和空行是两个东西。 只含空格的行在「删除所有空行」下不会被删。如果你同时勾了「输出去除首尾空白」,这一行会被 trim 成真正的空行,留在结果里——于是结果里出现了空行,而你明明选了删除所有空行。这不是 bug,是两个规则的叠加结果。遇到这种情况,把结果再过一遍 文本清理工具 的”去除空行”,或者干脆先把源文本的空白行清理掉再来去重。
📊 统计数字与重复项清单
结果下方那行统计有三个数字,读法很简单:
- 总行数:输入按换行拆开后的行数,结尾换行不算;
- 去重后:结果里实际有多少行,包含按策略保留下来的空行;
- 删除数:总行数 − 去重后。它等于”重复行 + 被策略删掉的空行”。
有重复项时,下面会列出清单,格式是”条目 × 次数”。几个细节:
- 按出现次数从多到少排,一眼能看出哪一条被复制得最厉害;
- 次数包含第一次出现。
× 3表示这条一共出现了 3 次,删掉 2 条; - 空行会显示成”(空行)“,只在空行参与判重(策略为”空行视为重复”)时出现;
- 清单里的文本是第一次出现时的原文。开了忽略大小写或 trim 判重后,清单可能把
Alpha和alpha合并成一条显示Alpha × 2,这是对的——判重键相同,展示用原文。
这份清单的实际用途,比”看一眼”要多:
- 判断重复是正常还是异常。 关键词清单里某个词出现 20 次,多半是多次采集叠加;客户名单里同一个人出现 2 次,可能是两个销售重复录入,需要人工核对归属;
- 定位数据源问题。 如果重复集中在某一批条目上,通常说明某个导出文件被合并了两次;
- 核对去重是否正确。 你以为该合并的没合并,去清单里找不到它,说明判重键不同——多半是空格或不可见字符。
如果你要把这份清单交给同事或存档,做法是:结果本身下载为 text-deduplicated.txt;清单在页面上以”条目 × 次数”展示,并可直接导出重复项 CSV。 条目里本身带逗号或引号时,导出会按标准 CSV 规则正确转义,不要手工拼 CSV,否则列会错位。想要更细的计数(比如按来源文件分组统计重复),那就得回到原始表格用数据透视表做,工具只给”整份文本里每条出现几次”这个维度的结果。
🪵 日志和订单流水:为什么一行都去不掉
有人拿日志来去重,贴进去几百行,点完发现删除数是 0。原因很直接:每行开头都带着时间戳,毫秒还各不相同,整行自然没有一条相等。
2026-10-25 10:01:02.113 ERROR timeout order=88212026-10-25 10:01:02.887 ERROR timeout order=88212026-10-25 10:02:15.004 ERROR timeout order=8821三行的错误信息一模一样,整行却都不同。工具没有”忽略时间戳”这种开关,也不该有——它不知道你的日志格式。可行的做法是先把行改成”要比较的那部分”再去重:
- 截掉前缀。 用文本替换工具的正则模式,把行首的时间戳和级别去掉,只留
ERROR timeout order=8821,再去重; - 只粘关键列。 把日志导入表格,只复制”错误信息”这一列来去重,时间戳留在原表里;
- 保留原行,另建一列做键。 在表格里用公式截出要比较的片段,对这一列去重,再回原表筛出对应记录。
这里还有一点容易忽略:日志去重的结果不是”越少越好”。 同一错误出现 300 次,这个次数本身就是信息——说明它在持续发生。去重后清单只剩一条、次数写着 300,比删到只剩一行更有用。所以日志场景更常见的用法是”按次数看分布”,而不是把重复清干净。
订单和流水同理:订单号每行不同,整行去重一定无效;要判断”同一订单重复推送”,比较的是订单号,不是整行。先把订单号列提出来去重,命中的才是重复推送。
⚠️ 六个常见错误
1. 以为它会按子串或分词去重
最典型的误会:贴进去”苹果”和”苹果手机”,期待只留”苹果手机”或者只留”苹果”。不会。工具按整行比,两行都留着。
同样,“SEO”、“SEO工具”、“SEO 工具”是三行,一条都不会合并。要处理这种包含关系,要么先人工确认规则,要么用 文本替换工具 把已知的变体统一成一种写法,再来去重。
2. 勾了忽略大小写,以为输出也会变小写
不会。忽略大小写只改判重键。iPhone 和 iphone 合并后,留下的是先出现的那条的原文。想让输出统一成小写,那是 大小写转换工具 的活,两步分开做,顺序明确。
3. 把 URL 参数不同当成重复,或者反过来
https://x.com/a?id=1 和 https://x.com/a?id=2 是两行,不会被合并——它们确实指向不同内容。但 https://x.com/a 和 https://x.com/a?utm_source=wechat 也会被当成两行,虽然指向同一个页面。
去重解决不了”URL 语义相同”的问题。正确顺序是先清洗参数,再去重:用 URL 清洗器 去掉 UTM、gclid 这类追踪参数,把链接口径统一,再贴进来去重。如果手上是一大段混杂文本、需要先把 URL 挑出来,用 URL 提取器 提成一列,再去重。
4. Excel 里”看起来一样”却没被合并
这是最高频的一类。肉眼一样,字符不一样,常见的有四种:
- 行尾空格:从网页或 PDF 复制过来,末尾带一个半角空格,甚至制表符;
- 全角空格:
张三用的是 U+3000,看起来比半角宽一点,不注意看不出来; - 零宽字符:从某些网页复制会带 U+200B(零宽空格),肉眼完全不可见,也不在 trim 的范围内;
- 单元格里的换行:Excel 一个单元格内按 Alt+Enter 换行,复制出来会拆成两行,原来的”一条”变成了”两条”。
前两种,勾上「忽略首尾空白判重」就能合并(半角、全角空格都在 trim 范围内)。零宽字符 trim 不掉,得用替换功能把它删掉:在 文本替换工具 里把零宽字符粘进查找框,替换为空。查不到就说明不是这个原因,再去看是不是制表符或不可见的分隔符。
排查思路很简单:把两行分别复制到 文本对比工具 里按字符级对比,差在哪个位置、差的是什么字符,一眼就看出来了。
5. 排序打开后,以为去重没生效
「结果排序」勾上以后,输出按字典序重排。原本”第几次出现”的顺序消失了,看起来像换了份名单。排序和保留规则是叠加的:先按你选的规则去重,再把留下来的行整体排序。
还要注意这里的排序是按字符编码顺序,不是拼音,也不是数字大小:
- 中文按 Unicode 顺序排,不是按拼音 A–Z;
- 纯数字行
10会排在9前面,因为逐字符比较时1<9; - 空字符串最小,所有保留下来的空行会跑到最前面。
需要拼音排序、中文语言排序、数字排序或自然排序(file2 在 file10 前),用 文本排序工具,那里的比较规则更细,还支持稳定排序。
6. 去重完直接覆盖原始数据
去重是单向的:删掉的行不会留在结果里,页面上也没有”恢复上一次”的按钮。原始名单如果是唯一的副本,覆盖之后就找不回来了。
两个习惯:先留原始文件,结果另存一份;需要核对删了什么,去重复项清单里看条目和次数,或者把去重前后的文本丢进 文本对比工具 做一次行级对比,删了哪些行一目了然。涉及客户名单、订单数据这类不能出错的内容,这一步别省。
🧰 和文本系列其它工具怎么配合
去重很少单独出现,通常是一串处理里的一步。常见的组合:
| 你手上的问题 | 先做什么 | 再做什么 |
|---|---|---|
| 名单里混着空行、行尾空格 | 用 文本清理 去空行、去首尾空白 | 再来去重,判重键更干净 |
| 去重后要按拼音或数字排 | 去重 | 用 文本排序 做语言排序或自然排序 |
| 一段混杂文本里提取链接再去重 | 用 URL 提取器 提链接 | 清洗追踪参数后去重 |
| 固定流程要每天跑一遍(去空行 → trim → 去重 → 排序) | 用 批量文本处理 把步骤串起来 | 默认设置下结果与独立工具一致,一次点完 |
| 想确认去重删得对不对 | 去重前后各留一份 | 用 文本对比 看差异 |
批量文本处理里的去重步骤和这个独立工具用的是同一个判重实现,按完整行比较这一点完全一致。差别在选项:批量工具的去重步骤只暴露保留规则和忽略大小写,trim 判重、输出 trim、空行策略走默认值(按原文比、保留空行)。如果你的流程依赖后面这几项,就在独立工具里单独做,或者先清理再进批量工具。
整个文本系列有十一个工具,从对比、去重、排序、统计到清理、替换、分割合并,都收在 星点文本工具 里,按任务类型分组。不确定该用哪个,先看系列导航里的场景划分。
❓ 常见问题
会按子串或分词去重吗?
不会。只按完整行判重,一行内出现的子串重复不会触发去重,也不会按逗号、空格把行切开比较。苹果 和 苹果手机 是两条。
忽略大小写会改我的原文吗?
不会。忽略大小写只影响判重时的比较,输出保留第一次(或最后一次)出现时的原始文本。要让输出统一大小写,用大小写转换工具单独处理。
Excel 里看着一模一样的两行,为什么没被合并?
九成是看不见的字符:行尾半角空格、全角空格、零宽字符、制表符,或者单元格内换行导致一条变两条。先勾”忽略首尾空白判重”试试,还不行就把两行放进文本对比工具做字符级对比,找出差异字符。
URL 参数不一样,算重复吗?
不算。整行不同就是两条。如果它们其实是同一个页面(只差 UTM、gclid 这类追踪参数),先用 URL 清洗器把参数去掉,再来去重。
保留最后一次,为什么顺序变了?
因为留下来的是每个值最后一次出现的那一行,行位置也跟着走。张三最后一次出现在末尾,结果里就排在末尾。要保留原顺序又想要”最新值”,只能去重后重新排序,或者接受顺序变化。
「结果排序」是按拼音排吗?
不是。按字符编码顺序排,中文不是拼音序,数字行按字符比较(10 在 9 前),空行排最前。要拼音、中文语言排序、数字或自然排序,用文本排序工具。
空行算不算行?
完全空的行算一行;只含空格或制表符的行算内容行,不算空行。结尾的那一个换行不算额外一行。三种空行策略会给出不同的删除数,选之前先确认你要不要保留分隔。
能导出 CSV 吗?
去重结果可以复制,或下载为 text-deduplicated.txt;重复项清单在页面上以”条目 × 次数”展示,并可导出 CSV。条目里含逗号或引号时,导出会按标准 CSV 规则正确转义。
文本会上传吗?
不会。拆分、判重、统计都在浏览器本地完成,不产生网络请求,名单和日志不会离开你的设备。
和批量文本处理里的去重有什么不同?
判重规则一致,都是按完整行比较,共用同一个实现。差别在选项:批量工具的去重步骤只有保留规则和忽略大小写,trim 判重、输出 trim、空行策略都走默认值。独立工具适合一次性核对,选项全、结果和清单更直观;批量工具适合把去重当成流程里的固定一步,和去空行、排序串起来重复执行。
收个尾
文本去重看着简单,真正会出错的从来不是”怎么点按钮”,而是三件事:判重单位是整行、判重键和输出是两回事、空行和空白各有口径。
记住这三点,剩下的就是选项组合:要最早的记录还是最新的记录,判重时要不要忽略大小写和首尾空白,交付时要不要把空格清掉,空行留不留。每个选择都有明确后果,工具不会替你猜。
星点 文本去重工具 把这些选项放在一屏里,粘贴、选择、点一下,统计和重复清单同时给你。下次合并名单、清关键词、整理 URL 清单,别再靠眼睛数了。
文章分享
如果这篇文章对你有帮助,欢迎分享给更多人!