展开菜单
首页 精品内容 本月促销 装机必备 Windows PDF教程 macOS软件 IOS软件 Android AI 专题
全部分类

当前位置:

首页 > 编程开发 > 处理带双引号的Tab分隔文件:Pandas精准读写方法

处理带双引号的Tab分隔文件:Pandas精准读写方法

本文深入探讨了在使用Pandas处理制表符分隔文件(TSV)时,如何应对字段中包含未转义双引号的复杂情况。当标准read_csv和to_csv方法无法满足输入与输出文件格式精确匹配的需求时,我们提供了三种解决方案:利用Pythoncsv模块进行精细控制、实现自定义解码与编码逻辑以确保数据完整性,以及结合正则表达式预处理与Pandas的escapechar参数进行灵活处理,旨在帮助开发者实现非标准TSV文件的精确读写回溯。

本文目录

    处理Pandas中带嵌入双引号的制表符分隔文件:实现精确读写回溯

    在使用Pandas处理制表符分隔文件(TSV)时,我们经常会遇到一些非标准格式,其中一个常见且棘手的问题是字段值内部包含未转义的双引号,而整个字段又被双引号包裹。例如,一个字段可能是 `"Series 48SL–5 WEDGE–LOK, 2-56UNC-2B, 5.00", chem film, lock washer and flat"`,其中 `5.00"` 中的双引号并未被转义。标准的 `pd.read_csv` 方法在读取这类文件时,可能会错误地解析这些嵌入的引号,导致数据损坏;而 `df.to_csv` 在写回时,则可能以不同的方式转义,从而无法实现输入文件与输出文件的精确匹配。本教程将详细介绍如何有效解决这一挑战,确保数据在读取和写入过程中保持其原始格式的完整性。

    理解问题:Pandas默认行为与非标准TSV

    考虑以下制表符分隔数据示例 test.exp:

    "HEADER"    "ID"    "Part Reference"    "Value" "Part_Description"
    "PARTOCC:17306" "17306" "M1"    "48SL-5S-50-C-LF"   "Series 48SL–5 WEDGE–LOK, 2-56UNC-2B, 5.00", chem film, lock washer and flat"
    "PARTOCC:17310" "17310" "M2"    "48SL-5S-50-C-LF"   "Series 48SL–5 WEDGE–LOK, 2-56UNC-2B, 5.00", chem film, lock washer and flat"
    "PARTOCC:65494" "65494" "J4E"   "311P822-MC-095-BS-D"   "GSFC CPCI J3 RA MALE 95 Position 0.123" tails"

    其中 Part_Description 字段的值,如 "Series 48SL–5 WEDGE–LOK, 2-56UNC-2B, 5.00", chem film, lock washer and flat",包含了一个未转义的嵌入双引号 5.00"。当我们尝试使用 pandas.read_csv 读取并立即使用 df.to_csv 写回时,会发现输出文件与输入文件不一致。例如,原始的 5.00", chem film... 可能会变成 5.00, chem film..."""。这是因为Pandas试图遵循标准的CSV/TSV转义规则,将嵌入的引号视为字段结束或需要双重转义,而这与原始文件的非标准格式冲突。

    我们的目标是实现一个“读-写”回溯(roundtrip),即 check.exp 文件必须与 test.exp 文件完全一致。

    解决方案一:使用Python csv 模块进行手动解析和处理

    当文件格式不完全符合标准CSV/TSV规范,特别是当引用字符处理方式异常时,Python内置的 csv 模块提供了更底层的控制。通过设置 quoting=csv.QUOTE_NONE,我们可以指示解析器忽略引用规则,然后手动处理字段两端的引号。

    此方法适用于以下情况:

    1. 确定每个字段都严格以双引号开始和结束。
    2. 字段内容中不包含制表符或换行符(如果包含,则需要更复杂的转义逻辑)。
    import csv
    
    def parse_non_standard_tsv(filepath: str) -> list[list[str]]:
        """
        使用csv模块解析非标准TSV文件,手动剥离字段两端的双引号。
    
        Args:
            filepath (str): TSV文件的路径。
    
        Returns:
            list[list[str]]: 解析后的数据,每行是一个字符串列表。
        """
        rows_data: list[list[str]] = []
        with open(filepath, newline="", encoding='utf-8') as f:
            # 使用QUOTE_NONE告诉csv模块不要处理引用,我们将手动处理
            reader = csv.reader(f, delimiter="\t", quoting=csv.QUOTE_NONE)
    
            # 读取并处理头部
            header_raw = next(reader)
            # 剥离每个头部字段两端的双引号
            header = [x[1:-1] for x in header_raw]
            rows_data.append(header)
    
            # 读取并处理数据行
            for row_raw in reader:
                # 剥离每个数据字段两端的双引号
                processed_row = [x[1:-1] for x in row_raw]
                rows_data.append(processed_row)
        return rows_data
    
    # 示例文件路径
    exp_fn = r"test.exp"
    
    # 解析文件
    parsed_data = parse_non_standard_tsv(exp_fn)
    
    # 打印解析后的数据(前几行)
    for i, row in enumerate(parsed_data):
        if i < 5: # 打印前5行
            print(row)
        else:
            break
    
    # 注意:如果需要将数据写回原始的“坏”格式,此方法需要额外的编码逻辑。
    # 直接使用csv.writer写回,默认会尝试转义内部引号,可能无法匹配原始输入。
    # 例如,如果内部字段包含引号,csv.writer会将其双重转义。
    # 如果仅是解析并用于内部处理,此方法非常有效。

    此方法能成功将数据解析为干净的字符串列表。然而,如果目标是精确地将数据写回原始的“坏”格式(即不进行任何转义,保留嵌入的引号),则需要更定制化的写入逻辑,因为 csv.writer 默认会尝试对包含特殊字符的字段进行引用和转义。

    解决方案二:自定义解码与编码函数实现精确回溯

    为了实现输入与输出文件的字节级精确匹配,我们需要完全控制解码和编码过程,绕过Pandas或 csv 模块的默认转义逻辑。这要求我们根据文件的具体“坏”格式来编写自定义的 decode 和 encode 函数。

    此方法是实现“输入 == 输出”的最可靠方式。

    import sys
    
    # 定义文件格式常量
    END = "\n"  # 预期行结束符
    DELIM = "\t"  # 预期分隔符
    QUOT = '"'  # 预期引用字符
    
    Row = list[str] # 定义行类型
    
    def decode(line: str) -> Row:
        """
        解码一个非标准编码的CSV/TSV行。
        确保行以END结尾,按DELIM分割行,并验证每个字段是否以QUOT开始和结束,
        然后剥离这些外部的QUOT。
    
        Args:
            line (str): 待解码的单行字符串。
    
        Returns:
            Row: 解码后的字段列表。
    
        Raises:
            ValueError: 如果行格式不符合预期。
        """
        if not line.endswith(END):
            raise ValueError(f"行不以 {repr(END)} 结尾")
    
        # 移除行结束符
        line = line[:-len(END)]
        fields = line.split(DELIM)
    
        for i, field in enumerate(fields):
            # 验证字段是否被引用字符包裹
            if not (field.startswith(QUOT) and field.endswith(QUOT)):
                raise ValueError(f"字段 {i} 未被 {repr(QUOT)} 包裹: {repr(field)}")
    
            # 剥离字段两端的引用字符
            fields[i] = field[1:-1]
        return fields
    
    def encode(row: Row) -> str:
        """
        将一行字段编码回其原始的非标准格式。
        为每个字段添加引用字符,然后用分隔符连接,最后添加行结束符。
    
        Args:
            row (Row): 待编码的字段列表。
    
        Returns:
            str: 编码后的单行字符串。
        """
        # 为每个字段添加引用字符并用分隔符连接
        line = DELIM.join([f"{QUOT}{field}{QUOT}" for field in row])
        # 添加行结束符
        return line + END
    
    def exit_err(msg: str):
        """打印错误信息并退出程序。"""
        print(msg, file=sys.stderr)
        sys.exit(1)
    
    # 示例文件路径
    input_fn = "test.exp"
    output_fn = "check.exp"
    
    rows_data: list[Row] = []
    try:
        with open(input_fn, 'r', encoding='utf-8') as f_in:
            # 解码头部
            header_line = next(f_in)
            header = decode(header_line)
            rows_data.append(header) # 将头部也视为数据的一部分,方便后续统一处理
    
            # 解码数据行
            for i, line in enumerate(f_in):
                rows_data.append(decode(line))
    
        with open(output_fn, "w", encoding='utf-8') as f_out:
            # 编码并写入头部
            f_out.write(encode(rows_data[0])) # 写入第一个元素(头部)
    
            # 编码并写入数据行
            for row in rows_data[1:]: # 从第二个元素开始写入数据
                f_out.write(encode(row))
    
        print(f"文件 '{input_fn}' 已成功读入并以相同格式写回至 '{output_fn}'。")
        # 验证输入与输出是否完全一致(在shell中可以使用 diff input.txt output.txt)
        # 在Python中也可以读取两个文件内容进行比较
        with open(input_fn, 'r', encoding='utf-8') as f_in_orig, \
             open(output_fn, 'r', encoding='utf-8') as f_out_new:
            if f_in_orig.read() == f_out_new.read():
                print("输入文件与输出文件内容完全一致。")
            else:
                print("警告:输入文件与输出文件内容不一致。")
    
    except ValueError as e:
        exit_err(f"解码错误: {e}")
    except FileNotFoundError:
        exit_err(f"文件 '{input_fn}' 未找到。")
    except Exception as e:
        exit_err(f"发生意外错误: {e}")
    

    运行上述代码后,通过 diff test.exp check.exp 命令(在Linux/macOS)或比较文件内容,可以验证 check.exp 与 test.exp 完全一致。这种方法提供了对文件格式的最高控制度,是实现精确回溯的首选。

    解决方案三:结合正则表达式预处理与Pandas的escapechar

    如果需要在读取数据后利用Pandas的强大DataFrame功能进行数据分析和处理,但又必须实现精确的回溯,那么可以采用一种折衷方案:在将数据传递给Pandas之前,使用正则表达式预处理文件内容,将嵌入的引号临时“转义”成Pandas可以理解的形式;在Pandas处理完毕并写入后,再将这些临时转义“还原”。

    此方法适用于需要在Pandas DataFrame中进行操作,并且能够接受预处理和后处理的开销。

    import csv
    import re
    from io import StringIO
    import pandas as pd
    
    # 示例文件路径
    input_fn = "test.exp"
    output_fn = "check.exp"
    
    try:
        with open(input_fn, 'r', encoding='utf-8') as f:
            text = f.read()
    
        # 预处理:使用正则表达式将字段内部的未转义双引号替换为转义形式 \"
        # 这里我们假设嵌入的引号通常出现在数字后面,如 5.00"
        # 更通用的模式可能需要根据实际数据调整
        # 原始: "Series ..., 5.00", chem film..."
        # 目标: "Series ..., 5.00\"", chem film..." (Pandas能理解)
        # 确保只替换内部的引号,而不是字段的包裹引号
        # 这个正则表达式 (r'(\d+\.\d+)"') 是针对示例数据中 "5.00"" 的情况
        # 对于更复杂的内部引号,可能需要更精细的正则或更复杂的解析逻辑
        text = re.sub(r'(\d+\.\d+)"', r'\g<1>\\"', text)
    
        # 使用StringIO将处理后的文本作为文件对象传递给Pandas
        # quotechar='"': 指定双引号为引用字符
        # sep="\t": 指定制表符为分隔符
        # escapechar="\\": 指定反斜杠为转义字符,这样Pandas会把 \" 视为一个字面量引号
        df = pd.read_csv(StringIO(text), quotechar='"', sep="\t", escapechar="\\", dtype=str)
    
        # 创建一个StringIO对象用于捕获to_csv的输出
        out_f = StringIO()
    
        # 将DataFrame写回TSV格式
        df.to_csv(
            out_f,
            sep="\t",
            quoting=csv.QUOTE_ALL,  # 强制所有字段都被引用
            doublequote=False,      # 禁用双重引用内部引号(因为我们使用了escapechar)
            escapechar="\\",        # 使用反斜杠转义内部引号
            index=False,            # 不写入DataFrame索引
        )
    
        # 获取to_csv的输出文本
        text_output = out_f.getvalue()
    
        # 后处理:将Pandas生成的转义引号 \" 还原为原始的未转义引号 "
        text_output = text_output.replace(r"\"", '"')
    
        # 将最终文本写入输出文件
        with open(output_fn, "w", encoding='utf-8') as f_out:
            f_out.write(text_output)
    
        print(f"文件 '{input_fn}' 已通过Pandas处理并以相同格式写回至 '{output_fn}'。")
        # 验证输入与输出是否完全一致
        with open(input_fn, 'r', encoding='utf-8') as f_in_orig, \
             open(output_fn, 'r', encoding='utf-8') as f_out_new:
            if f_in_orig.read() == f_out_new.read():
                print("输入文件与输出文件内容完全一致。")
            else:
                print("警告:输入文件与输出文件内容不一致。")
    
    except FileNotFoundError:
        print(f"错误:文件 '{input_fn}' 未找到。", file=sys.stderr)
        sys.exit(1)
    except Exception as e:
        print(f"发生意外错误: {e}", file=sys.stderr)
        sys.exit(1)
    

    此方法通过在Pandas读取和写入前后进行字符串级别的转换,成功地利用了Pandas的DataFrame功能,同时实现了原始文件格式的精确回溯。其关键在于 re.sub 的预处理和 replace 的后处理,以及 pd.read_csv 和 df.to_csv 中 escapechar 参数的正确使用。

    总结与注意事项

    处理带有嵌入未转义双引号的制表符分隔文件是一项挑战,尤其是在需要实现精确回溯时。本文介绍了三种主要策略:

    1. csv 模块与手动剥离: 适用于仅需读取数据并剥离外层引号进行内部处理的场景。对于写回原始“坏”格式,需要额外的定制化编码。
    2. 自定义解码与编码函数: 这是实现输入与输出文件字节级精确匹配的最直接和最可靠的方法。它提供了对文件格式的完全控制,适用于对数据完整性要求极高的场景。
    3. Pandas结合正则表达式预处理与escapechar: 当需要在读取数据后利用Pandas DataFrame进行复杂的数据操作时,此方法提供了一个优雅的解决方案。它通过临时转义和还原嵌入的引号,使得Pandas能够正确处理数据,同时满足回溯要求。

    注意事项:

    • 理解数据格式: 在选择任何方法之前,务必彻底理解文件的具体“坏”格式。嵌入引号的模式、是否存在其他特殊字符(如未转义的制表符或换行符)都会影响方法的选择和实现细节。
    • 性能考量: 对于非常大的文件,自定义逐行处理(方法二)或正则表达式预处理(方法三)可能会比Pandas默认的C引擎解析稍慢。但对于非标准格式,性能往往需要让步于数据准确性。
    • 可维护性: 自定义解码/编码函数虽然强大,但需要仔细维护,以确保它能适应未来可能出现的格式变动。
    • 最佳实践: 尽可能推动数据源提供符合标准CSV/TSV规范的文件。这可以大大简化数据处理的复杂性。

    通过选择适合您具体需求的方法,您可以有效地处理这些非标准数据文件,确保数据在整个处理流程中的完整性和一致性。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    编程开发
    相关文章 更多
    精品专题 更多
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    macOS软件

    正软商城macOS软件专区,精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具,提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。

    IOS软件

    正软商城iOS软件专区,精选适用于iPhone和iPad的办公、学习、影音、设计、效率及AI应用,提供功能介绍、适用设备、系统要求和正版获取方式等信息。

    AI

    正软商城AI软件专区,汇集AI写作、AI绘画、AI视频、AI办公、AI编程、AI翻译、智能客服和数据分析等人工智能工具,提供功能介绍、适用平台、收费方式及正版购买信息。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    立刻MV 网页版
    立刻MV 网页版

    立刻MV 面向音乐人、内容创作者和品牌团队,帮助用户低成本完成歌曲 MV、歌词视频、AI 分镜、图生视频与最终合成。

    蛙蛙写作 网页版
    蛙蛙写作 网页版

    蛙蛙写作 AI 创作工具,覆盖小说、剧本、文案,一键生成文稿,打通文字转视频全流程,高效解决创作难题。

    超级简历WonderCV 网页版
    超级简历WonderCV 网页版

    超级简历WonderCV是面向应届生和AI小白的智能求职平台,覆盖简历、面试与职业规划。

    音述AI 网页版
    音述AI 网页版

    音述AI,是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区。

    AionClaw macOS版
    AionClaw macOS版

    AionClaw 是可在桌面端运行的任务型 AI 助手,通过数字专家与技能市场组合办公、创作、数据和开发能力。

    Loomy macOS版
    Loomy macOS版

    Loomy 是科大讯飞推出的桌面 AI 助手,可通过对话、任务与工作目录协助处理办公、内容创作和资料整理。

    AirBuddy 3 macOS版
    AirBuddy 3 macOS版

    AirBuddy 3 是面向 macOS 的蓝牙外设增强工具,可集中查看 AirPods、Beats 与苹果设备电量,提供快速连接、播放控制、电量提醒、桌面小组件和多台 Mac 外设接力等功能。

    AirServer macOS版
    AirServer macOS版

    AirServer macOS版可把 Mac 转换为无线投屏接收端,通过 AirPlay 或 Google Cast 接收手机、平板和电脑画面,并支持多设备同时连接、高清镜像及会话录制,适合家庭娱乐、课堂教学、会议演示和应用展示。

    AnyDesk macOS版
    AnyDesk macOS版

    AnyDesk macOS版是一款适用于远程办公、设备维护和客户支持的远程桌面工具,可连接并操作异地计算机,支持文件传输、无人值守访问、会话权限控制及跨平台协作。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。

    讯飞绘文 网页版
    讯飞绘文 网页版

    讯飞绘文网页版是科大讯飞推出的AI图文创作与内容运营工具,覆盖热点选题、文章生成、稿件校对、智能配图、排版发布和数据复盘等环节,适合自媒体创作者及内容团队在线使用。

    Maya(Autodesk Maya) Windows版
    Maya(Autodesk Maya) Windows版

    Autodesk Maya 是面向影视、电视、动画和游戏行业的专业三维制作软件,集多边形与 NURBS 建模、角色绑定、关键帧和动作捕捉动画、Bifrost 特效模拟、材质开发及 Arnold 渲染于一体,

    Aperty Windows版
    Aperty Windows版

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    立刻MV 网页版
    立刻MV 网页版

    立刻MV 面向音乐人、内容创作者和品牌团队,帮助用户低成本完成歌曲 MV、歌词视频、AI 分镜、图生视频与最终合成。

    蛙蛙写作 网页版
    蛙蛙写作 网页版

    蛙蛙写作 AI 创作工具,覆盖小说、剧本、文案,一键生成文稿,打通文字转视频全流程,高效解决创作难题。

    超级简历WonderCV 网页版
    超级简历WonderCV 网页版

    超级简历WonderCV是面向应届生和AI小白的智能求职平台,覆盖简历、面试与职业规划。

    音述AI 网页版
    音述AI 网页版

    音述AI,是一个以“用声音述说故事”为核心的 AI 音乐创作与声音分享社区。

    AionClaw Windows版
    AionClaw Windows版

    AionClaw 是可在桌面端运行的任务型 AI 助手,通过数字专家与技能市场组合办公、创作、数据和开发能力。

    Loomy Windows版
    Loomy Windows版

    Loomy 是科大讯飞推出的桌面 AI 助手,可通过对话、任务与工作目录协助处理办公、内容创作和资料整理。