星点 星点-文本 工具 首页星点导航
关于
版本 v0.1.0

文本去重工具

粘贴按行排列的文本,一键去重。保留第一次出现与原始顺序,可选忽略大小写、按去除首尾空白判重,控制空行策略,并查看每个重复项的出现次数。

文本去重 · 工具介绍

名单、关键词、URL 清单、日志片段和词条整理经常出现重复行。本工具按行(完整行)判断重复,不做子串或分词去重,规则清晰可预期。

默认保留第一次出现的条目与原始顺序;可切换保留最后一次,或去重后按字典序排序。

判重键与输出内容分离:可开启“忽略首尾空白判重”把“ alpha ”与“alpha”判为重复,而输出是否保留原始空格由单独的“输出 trim”选项决定,默认保留原始行文本。

空行策略可选保留全部空行、把空行也视为重复项、或删除所有空行。

结果统计去重前后行数与删除行数,可查看每个重复项的出现次数并导出 CSV。全部处理在浏览器本地完成。

文本去重 · 功能特点

  • 默认按行去重,保留第一次出现
  • 可切换保留最后一次、去重后字典序排序
  • 可选忽略大小写判重
  • 判重键与输出内容分离(trim 判重 / trim 输出独立)
  • 空行策略:保留全部 / 空行视为重复 / 删除空行
  • 统计总行数、去重后行数、删除重复行数
  • 重复项清单 + 出现次数,可 CSV 下载
  • 复制 / 下载 text-deduplicated.txt,本地处理

文本去重 · 使用方法

  1. 粘贴按行排列的文本;
  2. 选择保留规则、大小写、判重键与空行策略;
  3. 点击“去重”,右侧输出结果;
  4. 查看统计或展开重复项清单;
  5. 复制 / 下载结果,或导出重复项 CSV。

文本去重 · 常见问题

Q:判重键和输出内容有什么区别?

判重键决定“是否算重复”(例如按 trim 后的值比较),输出内容决定“最终保留什么文本”(例如是否保留原始空格)。两者独立,避免意外丢失原文空格。

Q:忽略大小写会改我的原文吗?

不会。忽略大小写只影响判重比较,输出保留第一次(或最后一次)出现的原始文本。

Q:会按子串去重吗?

不会。只按完整行判重,同一行内出现的子串重复不会触发去重。

Q:空行怎么处理?

可选保留全部空行、把空行也视为重复项(只留一次)、或删除所有空行,按需选择。

相关工具

继续使用本站其它文本处理工具:

文本对比

左右对比两段文本,标出新增/删除差异

打开工具

文本排序

字符、数字与自然排序

打开工具

文本统计

统计行数、段落、字符、单词与字节

打开工具

文本替换

查找替换与正则替换

打开工具

文本清理

去除空行、去除首尾空格、换行符转换

打开工具

大小写转换

大小写与命名格式转换

打开工具

文本分割与合并

按分隔符拆分或合并文本

打开工具

行号处理

添加、移除与重排行号

打开工具

批量文本处理

多步骤清洗文本

打开工具

在线笔记本

本地保存文本、代码与 Markdown

打开工具