保顺序去重

有没有经历过打开小说TXT，发现同一段话反复出现四五遍？章节跳着跳着剧情直接断层了……尤其那种上百万字的大部头，手动删重复简直能让人疯掉！今天小编就实测三套方案，专门解决​​大文件重复段落的清理难题​...