C++如何实现字符串快速去重 _ std::sort与std::unique配合用法【干货】

C++如何实现字符串快速去重 _ std::sort与std::unique配合用法【干货】

std::unique 不能直接去重，必须先排序

很多开发者第一次接触 std::unique 时，容易产生一个美丽的误会：以为它能直接移除字符串里所有重复的字符。但真相是，它只负责清理「相邻的重复元素」。这就意味着，如果原始字符串是 "bacab"，直接调用 std::unique 后，结果依然是 "bacab"——因为两个 'a' 和两个 'b' 都被其他字符隔开了，并不相邻。

所以，正确的打开方式是什么？必须先用 std::sort 把相同的字符“赶到”一起，让它们成为邻居，std::unique 才能发挥作用。这里还有个常见的“坑”：std::unique 返回的迭代器，只是标识了新的逻辑结尾，它并没有真正删除末尾那些被移过来的重复项。如果你忘了后续的 erase 操作，容器长度不变，很容易误以为去重已经完成了。

• 因此，标准操作流程是固定的三步曲：std::sort → std::unique → erase。
• 对 std::string 使用 std::sort 时，默认按 ASCII 值排序，并且区分大小写（'A' 和 'a' 会被视为不同的字符）。
• 如果需要忽略大小写进行去重，那就得自己传入自定义的比较函数，例如 [](char a, char b) { return std::tolower(a) < std::tolower(b); }。

std::string 去重的最小可行代码模板

对于纯粹的 ASCII 字符串，下面这段代码是最简洁、可直接复用的模板：

std::string s = "hello world";
std::sort(s.begin(), s.end());
auto last = std::unique(s.begin(), s.end());
s.erase(last, s.end());
// 此时 s 的内容变为 " dehlorw"

需要注意的是，空格和标点符号也会参与排序和去重。如果只想处理字母，就需要先进行过滤，比如结合 std::remove_if 和 std::isalpha 来实现。

立即学习“C++免费学习笔记（深入）”；

• 记住，std::unique 返回的是新逻辑结尾的迭代器，而不是删除的元素个数。别费心用 std::distance 去计算长度再来 erase，直接用它返回的迭代器就行。
• 不要试图对 std::string_view 直接进行排序和去重操作——它是只读视图，不可变。必须先转换成 std::string。
• 性能考量：如果字符串非常长（比如超过10MB），std::sort 的 O(n log n) 时间复杂度可能会成为一个负担，甚至比遍历一次并用哈希表去重的开销还大。这时候就需要考虑换思路了。

不排序的去重：用 std::unordered_set 保持原始顺序

当需求变成「去重但要保留字符第一次出现的顺序」时（比如输入 "abac"，期望输出 "abc"），std::sort + std::unique 的组合就完全失效了，因为它会打乱原始顺序。此时，std::unordered_set 就该登场了。

std::string s = "abac";
std::unordered_set seen;
std::string result;
for (char c : s) {
    if (seen.insert(c).second) { // insert 返回 pair，second 为 true 表示是新插入的元素
        result += c;
    }
}
// result == "abc"

这里存在一个典型的性能与空间权衡：哈希表方案的时间复杂度是 O(n)，但需要额外的 O(n) 空间；而排序方案是原地操作，空间复杂度 O(1)，但会破坏顺序，且时间复杂度更高。

• std::unordered_set 从 C++11 开始就是标准库的一部分，可以直接使用。
• 如果字符范围非常有限（比如确认只有 ASCII 0-127），可以用一个固定大小的 std::array 来替代哈希表，访问速度更快，内存占用也更小。
• 一个小技巧：直接利用 seen.insert(c).second 来判断是否首次插入，这比先调用 if (!seen.count(c)) 再插入要高效，因为它避免了一次额外的查找。

Unicode 字符串不能直接用这套方法

前面讨论的所有方案，无论是排序还是哈希，都基于 char 或 std::string，本质上是针对字节（byte）级别的操作。一旦遇到 UTF-8 编码的字符串（比如包含中文 "你好" 或表情符号 "?"），问题就来了：一个 Unicode 字符可能由多个字节组成。此时如果直接调用 std::sort，它会粗暴地按照字节值排序，很可能打乱 UTF-8 的字节序列，产生无效的编码；而 std::unique 则可能在一个多字节字符的中间“下刀”，导致后续解析彻底崩溃。

处理 Unicode 字符串，必须使用能感知 Unicode 的专门库，比如 ICU、utf8cpp，或者利用 C++20 的 std::u8string 配合能正确遍历码点（code point）的迭代器。这已经完全超出了 std::sort 和 std::unique 的能力范围。

• 简单来说：如果你的输入能100%确定只有 ASCII 字符，那么放心使用排序+unique的方案。
• 只要字符串中可能出现任何一个非 ASCII 字符（包括中文、日文、表情符号等），就必须立刻切换赛道，使用专门的 Unicode 处理库，不要再套用针对 std::string 的常规方法。
• 编译器通常不会对此报错或警告，但运行时出现的乱码、或者 std::string 的 length() 与你预期不符，往往就是 UTF-8 字符串被误操作的典型信号。

std::unique仅移除相邻重复元素，需先sort再unique并erase才能真正去重；保序去重用unordered_set；UTF-8字符串须用Unicode-aware库处理。

在实际项目中，选择哪种去重方案，并不取决于哪种听起来更“高级”，而是由几个硬性约束决定的：是否需要保留原始顺序？字符集的范围有多大？对性能的临界点要求是什么？多数内部工具或脚本处理 ASCII 文本，排序去重就足够了；处理用户输入或日志分析，默认使用哈希表保序更稳妥；而一旦涉及国际化（i18n）或本地化（l10n），就必须立即停手，引入专业的 UTF-8 处理逻辑。