粘贴按行排列的文本,一键去重。保留第一次出现与原始顺序,可选忽略大小写、按去除首尾空白判重,控制空行策略,并查看每个重复项的出现次数。
名单、关键词、URL 清单、日志片段和词条整理经常出现重复行。本工具按行(完整行)判断重复,不做子串或分词去重,规则清晰可预期。
默认保留第一次出现的条目与原始顺序;可切换保留最后一次,或去重后按字典序排序。
判重键与输出内容分离:可开启“忽略首尾空白判重”把“ alpha ”与“alpha”判为重复,而输出是否保留原始空格由单独的“输出 trim”选项决定,默认保留原始行文本。
空行策略可选保留全部空行、把空行也视为重复项、或删除所有空行。
结果统计去重前后行数与删除行数,可查看每个重复项的出现次数并导出 CSV。全部处理在浏览器本地完成。
Q:判重键和输出内容有什么区别?
判重键决定“是否算重复”(例如按 trim 后的值比较),输出内容决定“最终保留什么文本”(例如是否保留原始空格)。两者独立,避免意外丢失原文空格。
Q:忽略大小写会改我的原文吗?
不会。忽略大小写只影响判重比较,输出保留第一次(或最后一次)出现的原始文本。
Q:会按子串去重吗?
不会。只按完整行判重,同一行内出现的子串重复不会触发去重。
Q:空行怎么处理?
可选保留全部空行、把空行也视为重复项(只留一次)、或删除所有空行,按需选择。
继续使用本站其它文本处理工具: