Sublime Text如何删除重复行_Sublime删除重复行技巧

Sublime Text的Remove Duplicate Lines命令仅删除相邻重复行，因其逐行比对且仅匹配上一行完全相同的行；非相邻重复、空白符或换行符差异均导致失效。

这里先说一个核心判断：Sublime Text 自带的 Remove Duplicate Lines 命令，并不能实现真正的全局去重。它只删相邻的重复行；要想彻底清理所有重复项，必须先排序，或者干脆换用正则表达式乃至插件。

为什么 Remove Duplicate Lines 总是漏删？

这个命令的底层逻辑其实很简单：它只会逐行比对，并且只删除和**上一行内容完全相同**的那一行。这就意味着，只要两行内容是重复的，但中间被其他内容隔开了，它就完全识别不出来。

• 举个例子，如果三行的顺序是 apple → banana → apple，第二个 apple 是不会被删除的。
• 更隐蔽的是，任何细微的格式差异，比如空格、制表符、BOM、甚至是换行符的不同（\r\n 对比 \n），都会导致它判定为“不同行”，哪怕肉眼看起来一模一样。
• 它既不区分大小写，也不会自动忽略行首行尾的空白——所以 hello （末尾带空格）和 hello 会被视为两行不同的内容。

可靠去重三步法：排序 + 正则替换

如果不打算安装插件，那么“排序后正则替换”是兼容性最好、无论文件大小都相对稳妥的方法。关键在于正则表达式的写法和执行节奏：

• 首先，全选文本（Ctrl+A 或 Cmd+A）。
• 调出命令面板（Ctrl+Shift+P），输入 Sort Lines 并回车，让所有行按字母顺序排列。
• 接着，打开替换面板（Ctrl+H），务必勾选 Regular Expression（也就是点击那个 .* 图标）。
• 在查找框填入：^(.*$)\n^\1$，替换框留空。
• 点击 Replace All。如果提示“0 occurrences found”，说明重复项已清理完毕；否则，可以再点击一次，确保万无一失。

需要留意的是，正则中的 \n 在Windows格式的文件里可能无法匹配 \r\n。保险起见，可以尝试使用 ^((?s:.*))$\s+^$，不过在大多数情况下，原来的表达式就够用了。

想保留原始顺序？别用 Sort Lines，改用插件或 Python 控制台

内置功能无法在去重的同时保留行序，强行排序会打乱原有的数据逻辑，比如日志的时间线或者代码的执行顺序。这时候，有两条更实用的路径：

• 安装 Find Duplicate Lines 这类插件。安装后，全选文本，打开命令面板输入 Remove All Duplicates，它会自动保留首次出现的行，并删除后续的重复项。
• 或者，使用 Sublime Text 内置的 Python 控制台（快捷键 Ctrl+`），粘贴并运行以下脚本：

  import sublime, sublime_plugin
  view = sublime.active_window().active_view()
  regions = view.sel()
  if not regions:
      regions = [sublime.Region(0, view.size())]
  for region in regions:
      lines = view.substr(region).splitlines(keepends=True)
      seen = set()
      unique_lines = []
      for line in lines:
          if line not in seen:
              seen.add(line)
              unique_lines.append(line)
      view.replace(sublime.Edit(), region, ''.join(unique_lines))

  这段代码会严格按行字符串进行全局判重，不碰空格、不排序、也不会丢失换行符。

大文件（10 万行以上）或需条件去重时，别在 Sublime 里硬扛

当面对海量文本或需要更复杂的去重条件时，Sublime Text 内置的正则引擎可能会卡顿甚至无响应。而且，它原生不支持“按指定列去重”、“忽略大小写”或“跳过空行”等常见需求。

• 在终端里，一行命令就能搞定（Linux/macOS）：sort -u input.txt > output.txt
• Windows PowerShell 用户可以用：Get-Content input.txt | Sort-Object -Unique | Set-Content output.txt
• 如果需要保留原始顺序并进行复杂过滤？直接写个 Python 脚本最省心：python3 -c "import sys; seen=set(); [print(l, end='') for l in sys.stdin if l not in seen and not seen.add(l)]"

最后必须警惕的是：Sublime Text 的任何去重操作都不会自动备份。在处理前，务必通过 File → Sa ve As… 另存一个副本。尤其是使用正则表达式反复点击 Replace All 时，一旦操作失误，很难回退到之前的状态。