如何批量删除txt小说文件中的重复段落且不破坏章节顺序？

6天前发布 esoua

熬夜整理的《诡秘之主》全集TXT，打开一看差点心梗——“第001章绯红” 像复读机刷了20遍！剧情被重复段落切割得支离破碎，手机听书时主角名字卡在喉咙里憋出内伤……别急！小编翻遍全网亲测，终于揪出3种保顺序删重复的狠招，百万字小说5分钟洗得干干净净，章节顺序0打乱！

▍痛点暴击：为什么通用工具会毁掉小说顺序？

小说去重有两大雷区：

无差别删重：普通工具把“第001章”和正文重复段一视同仁删光，目录直接蒸发；
行序乱套：Python的set()去重后章节倒置，第1章变结局，悬疑秒变魔幻片！

小编血泪史：用某360清理《雪中悍刀行》，结果“徐凤年”的成长线碎成拼图……

▍方法1：Python脚本【顺序保镖+章节头防护】

适用场景：50本以上小说库批量洗稿，技术党首选

核心代码（直接复制就能用）：

python下载复制运行

from collections import OrderedDict
def clean_novel(input_file, output_file):
    seen = set()
    keep_lines = []
    with open(input_file, 'r', encoding='utf-8') as f:
        for line in f:
            if "第" in line and "章" in line:  # 自动识别章节头不删除
                keep_lines.append(line)
            elif line.strip() not in seen:   # 正文去重但保留首次出现
                seen.add(line.strip())
                keep_lines.append(line)
    with open(output_file, 'w', encoding='utf-8') as f_out:
        f_out.writelines(keep_lines)
# 调用：clean_novel("诡秘之主.txt", "清洁版.txt")

✅ 优势：

章节头防护盾：含“第X章”的行直接跳过，目录稳如泰山；
行序锁定：正文按首次出现顺序排列，剧情绝不跳戏；
💡 小白急救包：不会敲代码？用 精英txt去重工具，勾选“跳过标题行”一样效果！

▍方法2：Word通配符【肉眼定位精准爆破】

适用场景：单文件精细处理，重复段落有规律（比如带空格/无空格）

操作流：

Word打开TXT → Ctrl+H调出替换框；

查水表公式：

复制查找内容：`(^13)[ ]{1,}(.*?)(^13)\2`  
替换为：`\1\2`

勾选 ☑️使用通配符 → 狂点“全部替换”；
⛔ 避坑指南：
- 此公式专删连续重复段落（比如恶意注水连刷5遍的段落）；
- 遇到“第一卷西北有雏凤”这种唯一章节头，手动添加到 “跳过词表”！

▍方法3：海鸥文本工具【手机党3秒救命】

实测场景：地铁上紧急处理200MB《斗破苍穹》，安卓机无电脑

操作流：

安装 海鸥txt工具箱 v3.6 → 进入“重复行清理”；
开启 双重防护：
- ☑️ 保留首次出现行（防顺序乱）
- ☑️ 跳过关键词行 → 输入“第,章,卷”（防删目录）
点“开始处理” → 喝口奶茶功夫就洗完！

▍工具横评：哪种最省命？

方法	顺序保护	章节头防护	手机可用	大文件支持
Python脚本	✅ 自动	✅ 关键词识别	❌	⭐⭐⭐⭐⭐
Word通配符	⚠️ 需手动	⚠️ 需肉眼排查	❌	⭐⭐
海鸥文本工具	✅ 开关	✅ 自定义词库	✅	⭐⭐⭐

小编暴论：
电脑党冲 Python+精英工具 组合拳，百万字秒洗；
手机党 海鸥+MT管理器 走天下，通勤路上随手清废稿！

▍最后的心得：备份比手速更重要

版权红线：微信读书导正版TXT最安全，盗版去重可能吃律师函；
防手滑三连：
- 操作前复制原文件（文件名加 _原始版后缀）；
- 用 蓝梦文本处理器，开启自动生成.bak备份；
- 去重后文件名加 01_第一章.txt前缀，防播放器乱序；
别碰的坑：某60清理重复文件会把不同章节当重复删，血泪教训啊😭