Python如何实现内存映射文件？优缺点详解

Python 使用 mmap 模块通过内存映射文件实现高效文件操作。1. 创建或打开文件并获取文件描述符；2. 使用 mmap.mmap() 函数将文件映射到进程的虚拟地址空间，参数包括 fileno（文件描述符）、length（映射长度）和 access（访问模式）；3. 像操作字节数组一样直接读写内容，支持索引、readline()、seek() 等方法；4. 完成后关闭 mmap 对象以释放资源。内存映射的优势在于避免内核与用户空间的数据拷贝，提升 I/O 效率，简化代码结构，并支持多进程共享文件数据。但需注意同步问题、文件大小限制及平台差异。相比传统 read/write 系统调用，内存映射减少了上下文切换和数据复制次数，尤其适用于大型数据库、日志处理、图像处理等需要频繁访问大文件的场景。例如，结合正则表达式可高效统计大型文本文件中单词出现的次数，且无需逐行读取。

内存映射文件，简单来说，就是把文件的一部分或者全部映射到进程的虚拟地址空间。这样，你就可以像访问内存一样访问文件，而不用像传统的文件I/O那样，需要read/write 系统调用。Python 提供了 mmap 模块来操作内存映射文件。

import mmap

# 创建一个文件 (或者打开一个已存在的文件)
with open("test.txt", "wb") as f:
    f.write(b"Hello, memory map!")

# 打开文件，并创建一个内存映射
with open("test.txt", "rb+") as f:
    mm = mmap.mmap(f.fileno(), length=0, access=mmap.ACCESS_WRITE)

    # 打印当前内容
    print(mm.readline())

    # 修改内容
    mm[0:5] = b"World"

    # 回到起始位置
    mm.seek(0)
    print(mm.readline())

    # 关闭内存映射
    mm.close()

Python 如何使用 mmap 模块？

mmap 模块的核心在于 mmap() 函数。它接受几个关键参数：

• fileno: 文件的文件描述符，可以通过 file.fileno() 获取。
• length: 映射的长度，默认为 0，表示映射整个文件。
• access: 访问模式，例如 mmap.ACCESS_READ (只读), mmap.ACCESS_WRITE (读写), mmap.ACCESS_COPY (写时复制)。

一旦创建了 mmap 对象，你就可以像操作字节数组一样操作它。你可以使用索引来访问和修改内容，也可以使用 readline(), seek(), tell() 等方法。

内存映射的优势是什么？

• 效率: 避免了内核空间和用户空间之间的数据拷贝，提高了 I/O 效率。特别是对于大文件，可以显著减少系统调用的次数。
• 简单: 可以像访问内存一样访问文件，代码更简洁。
• 共享: 多个进程可以同时映射同一个文件，实现进程间通信。

当然，它也有缺点：

• 同步: 需要注意多进程访问时的同步问题。
• 文件大小: 映射长度受到文件大小的限制。
• 平台依赖: 不同操作系统对内存映射的实现可能有所差异。

内存映射与传统文件 I/O 的区别？

传统文件 I/O (例如 read()/write()) 需要进行系统调用，将数据从内核缓冲区复制到用户空间缓冲区，反之亦然。这个过程涉及上下文切换，开销比较大。

内存映射则直接将文件内容映射到进程的虚拟地址空间，避免了数据拷贝。进程可以直接访问映射的内存区域，而不需要系统调用。

举个例子，假设你要读取一个 1GB 的文件。使用传统 I/O，你可能需要多次调用 read()，每次读取一小部分数据。而使用内存映射，你可以一次性将整个文件映射到内存，然后像访问一个大数组一样访问它。

内存映射在哪些场景下特别有用？

• 大型数据库: 数据库系统经常使用内存映射来访问数据文件，提高性能。
• 共享内存: 多个进程需要共享数据时，可以使用内存映射来实现。
• 日志处理: 快速读取和分析大型日志文件。
• 图像处理: 处理大型图像文件，避免频繁的 I/O 操作。

例如，你可以使用内存映射来快速统计一个大型文本文件中某个单词出现的次数。

import mmap
import re

def count_word(filename, word):
    with open(filename, "r") as f:
        with mmap.mmap(f.fileno(), 0, access=mmap.ACCESS_READ) as mm:
            count = 0
            for match in re.finditer(word.encode('utf-8'), mm):
                count += 1
            return count

filename = "large_text_file.txt"
word = "example"
count = count_word(filename, word)
print(f"The word '{word}' appears {count} times in {filename}")

这个例子展示了如何使用 mmap 和正则表达式来快速查找大型文件中的单词。注意，我们需要将单词编码为字节串，因为 mmap 对象返回的是字节。