StringTokenizer 替代方案有哪些

本文档旨在帮助开发者解决在使用 StringTokenizer 处理文本文件时遇到的首行读取问题。我们将探讨 StringTokenizer 的局限性，并提供一种更现代、更灵活的解决方案，使用 BreakIterator 和 Java 8 Stream API 从文本文件中提取所有单词，并将其存储到 ArrayList 中。

问题分析：StringTokenizer 的局限性

最初的代码尝试使用 BufferedReader 逐行读取文件，并使用 StringTokenizer 将每行分解为单词。然而，代码跳过了文件的第一行，因为在进入 while 循环之前调用了 reader.readLine() 一次。此外，StringTokenizer 在处理复杂的文本时可能不够灵活，例如包含标点符号或特殊字符的单词。

解决方案：BreakIterator 和 Java 8 Stream API

为了更有效地提取单词，我们可以使用 BreakIterator 类，它提供了用于定位文本中的单词边界的工具。结合 Java 8 Stream API，我们可以简化代码并提高可读性。

以下是使用 BreakIterator 和 Stream API 的示例代码：

import java.text.BreakIterator;
import java.util.ArrayList;
import java.util.List;
import java.util.stream.Stream;
import java.nio.file.Files;
import java.nio.file.Paths;
import java.io.IOException;

public class WordCollector {

    public static void main(String[] args) {
        try {
            List words = WordCollector.getWords(Files.lines(Paths.get(args[0])));
            System.out.println(words);
        } catch (IOException e) {
            System.err.println("Error reading file: " + e.getMessage());
            e.printStackTrace();
        } catch (Throwable t) {
            t.printStackTrace();
        }
    }

    public static List getWords(Stream lines) {
        List result = new ArrayList<>();
        BreakIterator boundary = BreakIterator.getWordInstance();
        lines.forEach(line -> {
            boundary.setText(line);

            int start = boundary.first();
            for (int end = boundary.next(); end != BreakIterator.DONE; start = end, end = boundary.next()) {
                String candidate = line.substring(start, end).replaceAll("\\p{Punct}", "").trim();
                if (candidate.length() > 0) {
                    result.add(candidate);
                }
            }
        });
        return result;
    }
}

代码解释：

1. getWords(Stream lines) 方法：

   • 接收一个 Stream 对象，表示文件的所有行。
   • 创建一个 ArrayList 来存储提取的单词。
   • 使用 BreakIterator.getWordInstance() 获取一个用于查找单词边界的 BreakIterator 实例。
   • 使用 lines.forEach() 遍历每一行。
   • 对于每一行，使用 boundary.setText(line) 设置 BreakIterator 的文本。
   • 使用 boundary.first() 获取第一个单词的起始位置。
   • 使用一个 for 循环，通过 boundary.next() 迭代单词边界。
   • 使用 line.substring(start, end) 提取候选单词。
   • 使用 replaceAll("\\p{Punct}", "") 删除标点符号。\\p{Punct} 是一个正则表达式，匹配任何标点字符。
   • 使用 trim() 删除前导和尾随空格。
   • 如果候选单词的长度大于 0，则将其添加到结果列表中。
   • 返回包含所有提取单词的 ArrayList。

2. main(String[] args) 方法：

   • 使用 Files.lines(Paths.get(args[0])) 从命令行参数指定的文件中读取所有行，并创建一个 Stream 对象。
   • 调用 getWords() 方法来提取单词。
   • 打印提取的单词。
   • 处理 IOException 和其他 Throwable 异常。

使用方法：

1. 将代码保存为 WordCollector.java。
2. 使用 javac WordCollector.java 编译代码。
3. 使用 java WordCollector 运行代码，其中 是要处理的文本文件的名称。

注意事项和总结

• 此解决方案使用 BreakIterator 来更准确地识别单词边界，并使用 Java 8 Stream API 来简化代码。
• 使用 replaceAll("\\p{Punct}", "") 可以删除标点符号，但您可以根据需要调整正则表达式以满足您的特定需求。
• 确保在 main 方法中正确处理异常，以避免程序崩溃。
• StringTokenizer 在简单场景下仍然可用，但在处理复杂文本时，BreakIterator 和 Stream API 提供了更强大和灵活的替代方案。

通过使用 BreakIterator 和 Stream API，您可以更有效地从文本文件中提取单词，并避免 StringTokenizer 带来的问题。此解决方案提供了更高的灵活性和可读性，使其成为处理文本数据的更好选择。