自定义分词器解决CountVectorizer忽略数字问题

Python的`CountVectorizer`在默认分词时会忽略非字母数字字符，导致在处理如“+83”或“-193”这类带有正负号的数字字符串时，符号被丢弃。本文将详细介绍如何通过编写一个自定义的正则表达式分词器，并将其集成到`CountVectorizer`中，以确保在构建词袋模型时，数字及其前缀符号（正负号）能够被完整保留，从而生成符合预期的特征名称。

理解CountVectorizer的默认分词行为

CountVectorizer是Scikit-learn库中用于将文本数据转换为词频矩阵（词袋模型）的关键工具。它通过fit_transform方法对文本进行分词、构建词汇表并计算词频。然而，其默认的分词器（基于正则表达式r'(?u)\b\w\w+\b'）旨在提取单词，通常会忽略非字母数字字符。这意味着，当遇到像+83或-193这样的字符串时，+和-这些符号会被视为分隔符或噪声而被丢弃，只留下纯数字83或193作为词汇表中的特征。

考虑以下数据框：

RepID, Txt
1, +83 -193 -380 +55 +901
2, -94 +44 +2892 -60
3, +7010 -3840 +3993

如果直接使用默认的CountVectorizer，我们期望的列名是+83, -193等，但实际输出的列名将是83, 193等，丢失了重要的符号信息。

解决方案：自定义分词器

为了解决CountVectorizer默认行为带来的问题，我们需要提供一个自定义的分词函数。这个函数将负责以我们期望的方式解析文本，确保带有正负号的数字被视为一个完整的词元（token）。

1. 创建自定义分词函数

我们将使用Python的re模块来构建一个正则表达式，该表达式能够识别并捕获带有可选正负号的数字。re.split()函数在这里非常有用，它可以根据正则表达式将字符串分割成列表，并且如果正则表达式包含捕获组（括号），那么匹配到的分隔符也会被包含在结果列表中。

import re
import pandas as pd
import numpy as np
from sklearn.feature_extraction.text import CountVectorizer

def custom_tokenizer(text):
    """
    自定义分词器，用于将文本分割成词元，并保留数字前的正负号。
    例如："+83 -193" 会被分割为 ['+83', '-193']。
    """
    # 正则表达式解释：
    # ([+-]?\d+)
    #   - [+-]?  : 匹配一个可选的 '+' 或 '-' 符号
    #   - \d+    : 匹配一个或多个数字
    # 整个表达式作为一个捕获组，确保匹配到的符号和数字组合被保留为词元。
    tokens = [token.strip() for token in re.split('([+-]?\d+)', text) if token.strip()]
    return tokens

在custom_tokenizer函数中，re.split('([+-]?\d+)', text)会根据匹配到的[+-]?\d+模式来分割文本。由于([+-]?\d+)是一个捕获组，所以匹配到的部分（即带有符号的数字）也会作为列表元素返回。[token.strip() for token in ... if token.strip()]确保移除了空字符串和多余的空白。

2. 将自定义分词器集成到CountVectorizer

创建了自定义分词器后，只需在初始化CountVectorizer时，通过tokenizer参数指定这个函数即可。

def BOW_with_custom_tokenizer(df_column_series):
    """
    使用自定义分词器生成词袋模型的数据框。

    参数:
    df_column_series (pd.Series): 包含文本数据的DataFrame列。

    返回:
    pd.DataFrame: 包含词袋模型结果的数据框，列名保留了数字的正负号。
    """
    # 初始化CountVectorizer，并传入自定义分词器
    CountVec = CountVectorizer(tokenizer=custom_tokenizer)

    # 对文本数据进行拟合和转换
    Count_data = CountVec.fit_transform(df_column_series)

    # 将稀疏矩阵转换为密集数组，并指定数据类型以节省内存
    Count_data = Count_data.astype(np.uint8)

    # 创建Pandas DataFrame，列名为词汇表中的特征（已保留符号）
    cv_dataframe = pd.DataFrame(
        Count_data.toarray(), 
        columns=CountVec.get_feature_names_out(), 
        index=df_column_series.index
    )

    return cv_dataframe.astype(np.uint8)

注意事项：

• CountVectorizer的tokenizer参数期望一个可调用对象（函数），该对象接收一个字符串并返回一个字符串列表。
• ngram_range等其他参数仍然可以根据需求进行设置。如果同时使用ngram_range和tokenizer，CountVectorizer会先通过tokenizer分词，然后基于这些词元生成n-gram。

完整示例

让我们使用之前的数据框来测试这个改进后的BOW函数。

# 导入必要的库
import pandas as pd
import numpy as np
import re
from sklearn.feature_extraction.text import CountVectorizer

# 自定义分词器函数
def custom_tokenizer(text):
    tokens = [token.strip() for token in re.split('([+-]?\d+)', text) if token.strip()]
    return tokens

# 改进的BOW函数
def BOW_with_custom_tokenizer(df_column_series):
    CountVec = CountVectorizer(tokenizer=custom_tokenizer)
    Count_data = CountVec.fit_transform(df_column_series)
    Count_data = Count_data.astype(np.uint8)
    cv_dataframe = pd.DataFrame(
        Count_data.toarray(), 
        columns=CountVec.get_feature_names_out(), 
        index=df_column_series.index
    )
    return cv_dataframe.astype(np.uint8)

# 示例数据
data = {
    'RepID': [1, 2, 3],
    'Txt': ['+83 -193 -380 +55 +901', '-94 +44 +2892 -60', '+7010 -3840 +3993']
}
df = pd.DataFrame(data)

# 应用改进的BOW函数
result_df = BOW_with_custom_tokenizer(df['Txt'])
print(result_df)

输出结果：

   +2892  +3993  +44  +55  +7010  +83  +901  -193  -380  -3840  -60  -94
0      0      0    0    1      0    1     1     1     1      0    0    0
1      1      0    1    0      0    0     0     0     0      0    1    1
2      0      1    0    0      1    0     0     0     0      1    0    0

从输出可以看出，列名现在正确地包含了数字前的正负号，如+83、-193等，这正是我们期望的结果。

总结与扩展

通过为CountVectorizer提供一个自定义分词器，我们成功解决了其默认行为中忽略非字母数字字符的问题，尤其是在需要保留数字符号的场景下。这种方法不仅适用于处理数字符号，还可以推广到其他需要特殊分词规则的场景，例如：

• 特定格式的ID或编码： 如果文本中包含ABC-123或REF_XYZ等需要作为整体识别的字符串。
• 词形还原或词干提取： 在分词阶段集成nltk或spaCy等库的词形还原或词干提取功能。
• 过滤特定模式： 在分词时直接过滤掉不符合特定模式的词元。
• 复合词处理： 将某些由空格分隔但语义上紧密的词语（如“机器学习”）视为一个单一词元。

理解并掌握CountVectorizer的tokenizer参数的用法，极大地增强了其灵活性和适应性，使其能够满足更复杂的文本预处理需求。在实际应用中，根据数据的特点和分析目标，选择或设计合适的自定义分词器是构建高质量词袋模型的重要一步。